Technische Samenvatting: Groenbewuste Routering (GAR) voor LLM-inferentie

1. Probleemstelling

De implementatie van Large Language Models (LLM's) op grote schaal vereist routeringsarchitecturen die een evenwicht vinden tussen antwoordkwaliteit, tail-latentie en computatiekosten over heterogene modelpools. Bestaande routeringsframeworks optimaliseren voor nauwkeurigheid en latentie (vaak met monetaire kosten als secundair aspect), maar negeren grotendeels de milieu-impact. Dit is een kritieke lacune omdat:

• Variabiliteit van de koolstofintensiteit van het net: De koolstofintensiteit varieert aanzienlijk (tot 10×) tussen regio's en tijdsperioden door de beschikbaarheid van hernieuwbare energie en afhankelijkheid van fossiele brandstoffen.
• Modelheterogeniteit: Het energieverbruik varieert drastisch op basis van architecturale keuzes, schaling van parameters en patronen in token-generatie.
• Mismatch van doelen: Optimalisatie voor alleen monetaire kosten of latentie kan verkeer systematisch leiden naar periodes met hoge koolstofuitstoot of regio's met een koolstofintensieve opwekking, zelfs wanneer meerdere modellen een vergelijkbare nauwkeurigheid bieden.

Huidige systemen behandelen koolstofemissies doorgaans slechts via meting en rapportage achteraf, zonder real-time routeringsbeslissingen per aanvraag die koolstofminimalisatie als primaire optimalisatiedoelstelling behandelen, naast formele service-level garanties.

2. Methodologie: Groenbewuste Routering (GAR)

Het artikel introduceert GAR, een framework voor beperkte multi-objectieve optimalisatie dat is ontworpen om CO2-emissies per aanvraag te minimaliseren terwijl expliciete vloeren voor nauwkeurigheid en p95-latentie Service-Level Objectives (SLO's) worden nageleefd.

2.1 Probleemformulering

Voor een query $x$ die op tijdstip $t$ binnenkomt, beheert de router een pool van modellen $\mathcal{M}$. Voorafgaand aan de inferentie genereert het systeem lichtgewicht voorspellingen voor:

• Juistheid ($\hat{p}_m$): De waarschijnlijkheid van een correct antwoord.
• Latentie ($\hat{\ell}_{m,p95}$): Geschatte p95-antwoordtijd.
• Emissies ($\hat{c}_m$): Geschatte CO2, berekend als $energy(m, tokens) \times grid\_intensity(t, region)$.

Het framework definieert een haalbare verzameling $F(x, t)$ die alle modellen bevat die voldoen aan de dataset-specifieke nauwkeurigheidsvloer $\tau_d(x)$ en de p95-latentiedoelstelling $L$. Binnen deze verzameling selecteert de router het model met de laagste voorspelde emissies. Om robuustheid te waarborgen, worden veiligheidsmarges toegepast op de schattingen voor koolstof en latentie.

2.2 Rollende Koolstofbudgetten

Voor streaming-workloads onderhoudt GAR een schuivende venster van gerealiseerde emissies over de laatste $W$ aanvragen. Dit zorgt ervoor dat de gemiddelde emissies binnen een budget per aanvraag $B$ blijven, waardoor accumulatie van koolstofschuld op lange termijn wordt voorkomen, terwijl flexibiliteit op korte termijn mogelijk blijft.

2.3 Algoritmen en Beleidslijnen

Het artikel stelt verschillende strategieën voor om dit framework operationeel te maken:

• GAR-PD (Online Primaal-Duaal): Een algoritme geïnspireerd door Shalev-Shwartz & Singer (2007) dat koolstofbewuste routering behandelt als een online Lagrangiaans probleem. Het gebruikt een duale variabele $\lambda_t$ (schaduwprijs) om naleving van beperkingen te balanceren met milieuoptimalisatie. Het selectiedoel minimaliseert een gewogen som van kwaliteitsverlies, latentie en koolstofemissies, dynamisch bijgewerkt op basis van de som van gerealiseerde emissies in het rollende venster.
• GAR-Fixed: Handhaaft een harde koolstofplafond per aanvraag. Als het plafond de haalbare verzameling leeg maakt, valt het terug op het beschikbaar model met de laagste koolstofuitstoot.
• GAR-$\epsilon$: Behoudt de nauwkeurigheid binnen een tolerantie $\epsilon$ van het best presterende model in de haalbare verzameling, terwijl koolstof wordt geminimaliseerd.
• GAR-Target: Stelt per dataset doelwitten voor nauwkeurigheidsvloeren in via binaire zoekopdrachten om gewenste macro-nauwkeurigheidsniveaus te bereiken, en routeert naar het model met de laagste koolstofuitstoot dat aan deze doelen voldoet.

2.4 Implementatiedetails

Het framework vertrouwt op lichtgewicht schatters voorafgaand aan de routering die zijn getraind op historische data (met logistische regressie voor nauwkeurigheid, quantile-regressie voor latentie en lineaire modellen voor koolstof). Deze voorspellers draaien parallel en worden voltooid in minder dan 1 millisecond per query, wat real-time besluitvorming mogelijk maakt zonder extra inferentierondes.

3. Belangrijkste Bijdragen

1. Formalisatie: Het artikel formaliseert koolstofbewuste routering als een beperkt multi-objectief optimalisatieprobleem en biedt het eerste principiële framework voor CO2-minimalisatie per aanvraag bij LLM-serving met formele kwaliteitsgaranties.
2. Algoritme-ontwikkeling: Het ontwikkelt GAR-PD, een praktisch online primaal-duaal routeringsalgoritme voor rollende koolstofbudgetten, naast heuristische varianten (GAR-Fixed, GAR-$\epsilon$, GAR-Target) voor diverse implementatiescenario's.
3. Adaptieve optimalisatie: De auteurs stellen adaptieve technieken voor beperkingsoptimalisatie vast die een hoge dekking van haalbaarheid bereiken terwijl ze degradatie van de nauwkeurigheid beperken, waardoor aanzienlijke emissiereducties mogelijk zijn zonder de gebruikerservaring te compromitteren.
4. Empirische validatie: Uitgebreide experimenten over standaard NLP-benchmarks (MMLU, HellaSwag, GSM8K, WinoGrande, SQuAD, ARC) met heterogene LLM-pools (7B–70B) demonstreren de effectiviteit van het framework.

4. Experimentele Resultaten

De evaluatie vergelijkt GAR met regelgebaseerde baselines (Grootste/Kleinste LLM), op nauwkeurigheid geoptimaliseerde baselines (AccMax) en een Oracle-bovengrens.

• Prestatietransacties: GAR-PD bereikt een macro-nauwkeurigheid van 0,737 met 0,712 g CO2/verzoek.
  • In vergelijking met de Grootste LLM (0,741 nauwkeurigheid, 2,750 g/verzoek), vermindert GAR-PD de emissies met 74% terwijl een vergelijkbare nauwkeurigheid wordt behouden.
  • In vergelijking met de Kleinste LLM (0,592 nauwkeurigheid, 0,476 g/verzoek), verbetert GAR-PD de nauwkeurigheid met 15 procentpunten voor een bescheiden toename van koolstof.
  • GAR-PD bereikt ten minste 97% van de optimale oplossing (Oracle-Haalbaar).
• Ablatiestudies: Het verwijderen van componenten verslechtert de prestaties aanzienlijk:
  • Het verwijderen van de koolstofschatter verhoogt de emissies met 152% (1,794 g/verzoek).
  • Het verwijderen van haalbaarheidspoorten veroorzaakt een daling van de nauwkeurigheid met 9,5 punten en een stijging van CO2 met 23%.
  • Het verwijderen van de latentieschatter zorgt ervoor dat de gemiddelde latentie met 147% omhoog schiet, waardoor SLO's worden geschonden.
• Pareto-optimaliteit: GAR-PD bezet een sterke positie op de afwegingsgrens tussen nauwkeurigheid en CO2, volgt de Pareto-grens nauwkeurig en blijft tegelijkertijd praktisch toepasbaar.

5. Betekenis en Claims

Het artikel beweert dat GAR een praktische, theoretisch onderbouwde aanpak biedt voor duurzame LLM-inferentie. Door koolstof te behandelen als een primaire optimalisatiedoelstelling in plaats van een nagedachte, toont het framework aan dat aanzienlijke reducties in de koolstofvoetafdruk van AI-infrastructuur kunnen worden bereikt zonder in te leveren op servicekwaliteit of betrouwbaarheid.

De auteurs positioneren dit werk als fundamenteel onderzoek. Zij erkennen expliciet beperkingen, met name dat hun modellering van koolstofintensiteit afhankelijk is van publiek beschikbare netgegevens die met enkele uren kunnen achterlopen op real-time omstandigheden, en dat het huidige framework financiële kostenoverwegingen uitsluit. Voor toekomstig werk wordt voorgesteld om real-time koolstof-API's te integreren, het framework uit te breiden naar scenario's tijdens het trainen, en dynamisch beheer van modelensembles te onderzoeken.