GAR: Carbon-Aware Routing for LLM Inference via Constrained Optimization
تقدم هذه الورقة البحثية "التوجيه الواعي بالبيئة" (GAR)، وهو إطار عمل للتحسين متعدد الأهداف المقيد يعمل على تقليل انبعاثات ثاني أكسيد الكربون لعمليات استنتاج النماذج اللغوية الكبيرة (LLM) من خلال توجيه الطلبات ديناميكيًا إلى نماذج غير متجانسة مع الالتزام الصارم بأهداف مستوى الخدمة المتعلقة بالدقة وزمن الاستج</strong>استجابة.