🤖 AI

GAR: Carbon-Aware Routing for LLM Inference via Constrained Optimization

Dieser Beitrag stellt Green-Aware Routing (GAR) vor, ein eingeschränktes multi-objektives Optimierungsframework, das CO2-Emissionen für die Inferenz von LLMs minimiert, indem es Anfragen dynamisch an heterogene Modelle weiterleitet und dabei die Service-Level-Ziele hinsichtlich Genauigkeit und Latenz strikt einhält.

Ursprüngliche Autoren: Disha Sheshanarayana, Rajat Subhra Pal, Manjira Sinha, Tirthankar Dasgupta

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Disha Sheshanarayana, Rajat Subhra Pal, Manjira Sinha, Tirthankar Dasgupta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten einen ausgelasteten Lieferdienst für ein Unternehmen, das einen Fuhrpark unterschiedlich großer Lkw einsetzt, um Pakete (Antworten auf Fragen) auszuliefern. Manche Lkw sind winzig und spritsparend, aber langsam oder schlecht im Transport schwerer Lasten. Andere sind riesige, kraftvolle Super-Lkw, die alles sofort bewältigen können, aber den Sprit in Strömen verbrauchen, als gäbe es kein Morgen.

In der Welt der Künstlichen Intelligenz sind diese „Lkw" Large Language Models (LLMs). Derzeit wählt das System, wenn ein Nutzer eine Frage stellt, einen Lkw meist nur basierend auf Geschwindigkeit oder Kosten aus. Es schenkt der Menge an „Kohlenstoffverschmutzung", die dieser Lkw erzeugt, kaum Beachtung, obwohl der „Sprit" (Strom) zu bestimmten Tageszeiten oder an bestimmten Orten schmutziger wird.

Das von Ihnen geteilte Papier stellt ein neues System namens GAR (Green-Aware Routing) vor. Betrachten Sie GAR als einen überaus intelligenten Verkehrsleiter, der nicht nur auf Geschwindigkeit und Preis achtet, sondern auch auf die Umweltauswirkungen jeder einzelnen Lieferung.

Hier ist die Funktionsweise von GAR, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Der „schmutzigste" Lkw ist oft der Standard

Derzeit könnte das System, wenn Sie eine Frage stellen, sie nur zur Sicherheit an den größten, leistungsstärksten Lkw oder zur Zeitersparnis an den schnellsten Lkw senden.

Das Problem: Manchmal könnte ein kleinerer Lkw die Aufgabe genauso gut erledigen, aber das System weiß das erst, nachdem es bereits den großen, verschmutzenden Lkw losgeschickt hat.
Der Faktor Stromnetz: Stellen Sie sich das Stromnetz wie einen Fluss vor. Manchmal ist das Wasser sauber (erneuerbare Energien wie Wind/Solar), und manchmal ist es schlammig (fossile Brennstoffe). Die „schlammigen" Zeiten ändern sich je nach Tageszeit und Standort. GAR weiß das. Es versucht, die „schmutzigen" Lkw nur dann zu senden, wenn das Wasser sauber ist, oder noch besser, die „sauberen" Lkw, wenn das Wasser schlammig ist.

2. Die Lösung: Der „grünbewusste" Verkehrsleiter

GAR ist ein Entscheidungsträger, der vor der Auswahl eines Lkw drei Dinge prüft:

Wird die Aufgabe richtig erledigt? (Genauigkeit)
Wird es schnell genug sein? (Latenz)
Wie viel Verschmutzung wird erzeugt? (Kohlenstoffemissionen)

Es verwendet einen speziellen Satz von Regeln (mathematische Einschränkungen), um sicherzustellen, dass es niemals einen Lkw wählt, der zu langsam oder zu ungenau ist. Aber unter den Lkws, die schnell und genau genug sind, wählt es denjenigen aus, der die geringste Menge an Verschmutzung erzeugt.

3. Wie es Entscheidungen trifft (Die „leichtgewichtigen Vorhersager")

GAR möchte keine Zeit verschwenden, indem es den Lkw tatsächlich fahren lässt, um zu sehen, ob er funktioniert. Das wäre zu langsam. Stattdessen verwendet es Glaskugeln (leichtgewichtige Schätzer), die auf historischen Daten trainiert wurden, um vorherzusagen:

„Wenn wir diese Frage an das 7B-Modell senden, wird sie dann die richtige Antwort erhalten?"
„Wie lange wird es dauern?"
„Wie viel Kohlenstoff wird diese spezifische Fahrt gerade jetzt erzeugen?"

Diese Vorhersagen geschehen in weniger als einer Millisekunde. Basierend auf diesen Vorhersagen wählt GAR die „grünste" Option aus, die dennoch die Qualitätsstandards erfüllt.

4. Das „rollende Budget" (Die Kohlenstoffbörse)

Stellen Sie sich vor, Sie haben ein monatliches Budget für Verschmutzung. Sie können nicht einfach Ihre gesamte Verschmutzung bis zum Monatsende aufsparen; Sie müssen jeden Tag innerhalb der Grenzen bleiben.

GAR-PD (Der intelligente Manager): Dies ist die fortschrittlichste Version von GAR. Es führt ein „schiebendes Fenster" der letzten 100 Lieferungen. Wenn das Team in letzter Zeit zu viel Kohlenstoff verbraucht hat, wird das System automatisch strenger und zwingt zur Auswahl saubererer Lkw. Wenn das Team sehr grün war, erlaubt es etwas mehr Flexibilität. Es gleicht die Bücher in Echtzeit aus.

5. Die Ergebnisse: Mehr mit weniger Rauch erreichen

Die Autoren testeten dieses System mit sechs verschiedenen Arten schwieriger Aufgaben (wie Matheaufgaben, Wissenschaftsquiz und Leseverständnis) und einem Fuhrpark aus fünf verschiedenen KI-Modellen (von klein bis riesig).

Der große Gewinner: Der Standard-Ansatz „Größter Lkw" (Größtes LLM) war sehr genau, erzeugte aber eine enorme Menge an Verschmutzung (2,75 Gramm CO2 pro Anfrage).
Der Ansatz „Kleinster Lkw": Dies sparte viel Verschmutzung, lieferte aber viel zu oft falsche Antworten.
GAR-PD: Dies war der Sweet Spot. Es lieferte die Antworten fast genauso gut wie der größte Lkw (97 % so gut), reduzierte aber die Verschmutzung um 74 %. Es schaffte es, gleichzeitig schnell, genau und grün zu sein.

Zusammenfassende Analogie

Stellen Sie es sich wie die Bestellung einer Essenslieferung vor.

Alter Weg: Sie bestellen immer beim berühmtesten, teuersten Restaurant, weil Sie das beste Essen wollen, auch wenn es weit entfernt ist und einen spritfressenden Motorradfahrer nutzt.
GAR-Weg: Sie fragen eine intelligente App: „Ich möchte einen Burger, der gut schmeckt und in 20 Minuten ankommt." Die App prüft das Wetter (ist das Netz sauber?), prüft die Restaurants (welches kann das leisten?) und wählt denjenigen aus, der ein elektrisches Fahrrad nutzt und in der Nähe ist. Sie erhalten denselben leckeren Burger, aber der Planet ist glücklicher.

Kurz gesagt: GAR ist eine neue Art, KI-Anfragen zu routen, bei der das „Rettung des Planeten" als primäres Ziel behandelt wird und nicht als nachträglicher Gedanke, wodurch sichergestellt wird, dass wir intelligente Antworten erhalten, ohne die Welt zu verbrennen, um sie zu erhalten.

Technische Zusammenfassung: Green-Aware Routing (GAR) für LLM-Inferenz

1. Problemstellung

Der Einsatz von Large Language Models (LLMs) im großen Maßstab erfordert Routing-Architekturen, die Antwortqualität, Tail-Latenz und Rechenkosten über heterogene Modellpools hinweg ausbalancieren. Während bestehende Routing-Frameworks die Genauigkeit und Latenz optimieren (wobei monetäre Kosten oft als nachrangig behandelt werden), ignorieren sie weitgehend die Umweltauswirkungen. Dies stellt eine kritische Lücke dar, weil:

Variabilität der Netz-Kohlenstoffintensität: Die Kohlenstoffintensität variiert aufgrund der Verfügbarkeit erneuerbarer Energien und der Abhängigkeit von fossilen Brennstoffen je nach Region und Zeitraum erheblich (bis zu 10-fach).
Modellheterogenität: Der Energieverbrauch variiert drastisch je nach architektonischen Entscheidungen, Skalierung der Parameter und Mustern der Token-Generierung.
Fehlausrichtung der Ziele: Eine Optimierung nur nach monetären Kosten oder Latenz kann den Datenverkehr systematisch in kohlenstoffintensive Zeiträume oder Regionen lenken, selbst wenn mehrere Modelle eine äquivalente Genauigkeit bieten.

Aktuelle Systeme behandeln Kohlenstoffemissionen typischerweise nur durch nachträgliche Messung und Berichterstattung und fehlen Echtzeit-Routing-Entscheidungen pro Anfrage, die die Minimierung von Kohlenstoff als primäres Optimierungsziel neben formellen Service-Level-Garantien betrachten.

2. Methodik: Green-Aware Routing (GAR)

Die Arbeit stellt GAR vor, ein eingeschränktes, multi-objektives Optimierungsframework, das entwickelt wurde, um die CO2-Emissionen pro Anfrage zu minimieren und gleichzeitig explizite Genauigkeitsuntergrenzen und p95-Latenz-Service-Level-Ziele (SLOs) zu erfüllen.

2.1 Problemformulierung

Für eine Abfrage $x$ , die zur Zeit $t$ eintrifft, verwaltet der Router einen Pool von Modellen $\mathcal{M}$ . Vor der Inferenz generiert das System leichte Vorhersagen für:

Korrektheit ( $\hat{p}_m$ ): Wahrscheinlichkeit einer korrekten Antwort.
Latenz ( $\hat{\ell}_{m,p95}$ ): Geschätzte p95-Antwortzeit.
Emissionen ( $\hat{c}_m$ ): Geschätztes CO2, berechnet als $energy(m, tokens) \times grid\_intensity(t, region)$ .

Das Framework definiert eine zulässige Menge $F(x, t)$ , die alle Modelle enthält, die die datensatzspezifische Genauigkeitsuntergrenze $\tau_d(x)$ und das p95-Latenzziel $L$ erfüllen. Innerhalb dieser Menge wählt der Router das Modell aus, das die vorhergesagten Emissionen minimiert. Um Robustheit zu gewährleisten, werden Sicherheitsmargen auf Kohlenstoff- und Latenzschätzungen angewendet.

2.2 Rollierende Kohlenstoffbudgets

Für Streaming-Workloads führt GAR ein gleitendes Fenster der realisierten Emissionen über die letzten $W$ Anfragen. Dies stellt sicher, dass die durchschnittlichen Emissionen innerhalb eines Budgets pro Anfrage $B$ bleiben, was die Akkumulation von langfristiger Kohlenstoffschuld verhindert, während kurzfristige Flexibilität ermöglicht wird.

2.3 Algorithmen und Richtlinien

Die Arbeit schlägt mehrere Strategien vor, um dieses Framework operationalisierbar zu machen:

GAR-PD (Online Primal-Dual): Ein Algorithmus, inspiriert von Shalev-Shwartz & Singer (2007), der kohlenstoffbewusstes Routing als online Lagrange-Problem behandelt. Er verwendet eine duale Variable $\lambda_t$ (Schattenpreis), um die Einhaltung von Einschränkungen mit der ökologischen Optimierung auszubalancieren. Das Auswahlziel minimiert eine gewichtete Summe aus Qualitätsverlust, Latenz und Kohlenstoffemissionen, die dynamisch basierend auf der rollierenden Summe der realisierten Emissionen aktualisiert wird.
GAR-Fixed: Erzwingt ein hartes Kohlenstofflimit pro Anfrage. Wenn das Limit die zulässige Menge leer macht, wird auf das verfügbare Modell mit den geringsten Emissionen zurückgegriffen.
GAR- $\epsilon$ : Erhält die Genauigkeit innerhalb einer Toleranz $\epsilon$ des bestperformenden Modells in der zulässigen Menge, während gleichzeitig Kohlenstoff minimiert wird.
GAR-Target: Legt pro Datensatz Zielgenauigkeitsuntergrenzen via binärer Suche fest, um gewünschte makroskopische Genauigkeitsniveaus zu erreichen, und leitet das Routing zum kohlenstoffärmsten Modell, das diese Ziele erfüllt.

2.4 Implementierungsdetails

Das Framework verlässt sich auf leichte Pre-Route-Schätzer, die auf historischen Daten trainiert wurden (unter Verwendung von logistischer Regression für Genauigkeit, Quantilregression für Latenz und linearer Modelle für Kohlenstoff). Diese Prädiktoren laufen parallel, werden pro Abfrage in unter 1 Millisekunde abgeschlossen und ermöglichen Echtzeit-Entscheidungen ohne zusätzliche Inferenzdurchläufe.

3. Hauptbeiträge

Formalisierung: Die Arbeit formalisiert kohlenstoffbewusstes Routing als eingeschränktes multi-objektives Optimierungsproblem und liefert das erste prinzipielle Framework für die Minimierung von CO2 pro Anfrage beim LLM-Serving mit formellen Qualitätsgarantien.
Algorithmenentwicklung: Es wird GAR-PD entwickelt, ein praktischer online Primal-Dual-Routing-Algorithmus für rollierende Kohlenstoffbudgets, zusammen mit heuristischen Varianten (GAR-Fixed, GAR- $\epsilon$ , GAR-Target) für diverse Einsatzszenarien.
Adaptive Optimierung: Die Autoren etablieren Techniken zur adaptiven Einschränkungsoptimierung, die eine hohe Abdeckung der Zulässigkeit erreichen, während sie Genauigkeitsverschlechterungen begrenzen, und ermöglichen damit erhebliche Emissionsreduktionen ohne Kompromisse bei der Benutzererfahrung.
Empirische Validierung: Umfassende Experimente über Standard-NLP-Benchmarks (MMLU, HellaSwag, GSM8K, WinoGrande, SQuAD, ARC) mit heterogenen LLM-Pools (7B–70B) belegen die Wirksamkeit des Frameworks.

4. Experimentelle Ergebnisse

Die Evaluation vergleicht GAR mit regelbasierten Baselines (Größtes/Kleinstes LLM), auf Genauigkeit optimierten Baselines (AccMax) und einer Oracle-Obergrenze.

Leistungsabwägungen: GAR-PD erreicht eine makroskopische Genauigkeit von 0,737 mit 0,712 g CO2/Anfrage.
- Im Vergleich zum größten LLM (0,741 Genauigkeit, 2,750 g/Anfrage) reduziert GAR-PD die Emissionen um 74 %, während eine vergleichbare Genauigkeit beibehalten wird.
- Im Vergleich zum kleinsten LLM (0,592 Genauigkeit, 0,476 g/Anfrage) verbessert GAR-PD die Genauigkeit um 15 Prozentpunkte bei einem moderaten Anstieg des Kohlenstoffausstoßes.
- GAR-PD erreicht mindestens 97 % der optimalen Lösung (Oracle-Feasible).
Ablationsstudien: Das Entfernen von Komponenten verschlechtert die Leistung erheblich:
- Das Entfernen des Kohlenstoffschätzers erhöht die Emissionen um 152 % (1,794 g/Anfrage).
- Das Entfernen der Zulässigkeitsgatter führt zu einem Genauigkeitsabfall von 9,5 Punkten und einem Anstieg der CO2-Emissionen um 23 %.
- Das Entfernen des Latenzschätzers führt dazu, dass die mittlere Latenz um 147 % springt und SLOs verletzt werden.
Pareto-Optimalität: GAR-PD nimmt eine starke Position auf der Genauigkeit-CO2-Abwägungsgrenze ein, folgt eng der Pareto-Grenze und bleibt dabei praktikabel.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass GAR einen praktischen, theoretisch fundierten Ansatz für nachhaltige LLM-Inferenz bietet. Indem Kohlenstoff als primäres Optimierungsziel und nicht als nachträglicher Gedanke behandelt wird, zeigt das Framework, dass erhebliche Reduzierungen des Kohlenstoff-Fußabdrucks der KI-Infrastruktur erreicht werden können, ohne Servicequalität oder Zuverlässigkeit zu beeinträchtigen.

Die Autoren positionieren diese Arbeit als Grundlagenforschung. Sie erkennen ausdrücklich Einschränkungen an und stellen fest, dass ihre Modellierung der Kohlenstoffintensität auf öffentlich verfügbaren Netzdaten basiert, die den Echtzeitbedingungen um mehrere Stunden hinterherhinken können, und dass das aktuelle Framework finanzielle Kostenaspekte ausschließt. Für die Zukunft wird vorgeschlagen, Echtzeit-Kohlenstoff-APIs zu integrieren, das Framework auf Trainingsszenarien zu erweitern und das Management dynamischer Modell-Ensembles zu untersuchen.