Transparent Screening for LLM Inference and Training Impacts

Titel: Transparante Screening voor LLM-inferentie- en trainingsimpacten

Auteurs: Arnault Pachot en Thierry Petit (Emotia, Parijs)

---

1. Het Probleem

De groei van Large Language Models (LLM's) brengt aanzienlijke milieu-impacten met zich mee, zowel tijdens het trainen als tijdens het gebruik (inferentie). Het grootste obstakel voor een accurate beoordeling is het gebrek aan transparantie en directe observatie bij de meeste commerciële, gehoste LLM-diensten.

• Gebrek aan data: Providers delen zelden gedetailleerde milieu-telemetrie (zoals exact energieverbruik per prompt).
• Gevolg: Zonder data ontstaan er ononderbouwde claims, tegenstrijdige numerieke verhalen en gebrek aan vergelijkbaarheid tussen modellen.
• Huidige situatie: Het volledig vermijden van benaderingen leidt niet tot meer rigoriteit, maar laat ruimte voor "opake" beweringen. Er is behoefte aan een methode die werkt binnen de beperkingen van beschikbare data, maar wel traceerbaar en controleerbaar is.

2. Methodologie

Het artikel introduceert een transparant screeningframework dat natuurlijke taalbeschrijvingen van applicaties omzet in gebonden (bounded) milieuschattingen. De methode onderscheidt zich door expliciet te maken wat een schatting is en welke aannames er worden gedaan.

A. Inferentie-schatting (Gebruik)

De tool schat het energieverbruik per verzoek (prompt) zonder training of infrastructuur-embodiment te betrekken.

• Input: Gebruikers geven een natuurlijke taalbeschrijving (bijv. "We gebruiken GPT-4o-mini voor klantenservice, 4.000 keer per maand"). Een parser vertaalt dit naar een compact scenario (model, token-aantallen, land).
• Ankerpunt (Anchor): De methode start niet met claims van providers, maar met een geobserveerde literatuurwaarde: de mediaan-prompt-energie van Gemini Apps (0,24 Wh/prompt) zoals gerapporteerd door Elsworth et al.
• Berekening:
  1. Gewicht van tokens: Het berekende volume ($V_t$) weegt output-tokens zwaarder dan input-tokens ($\omega = 1.8$), omdat generatie rekenkrachtintensiever is.
  2. Actieve parameters: In plaats van alleen te kijken naar het totale aantal parameters ($P_t$), wordt een "effectief aantal actieve parameters" ($P^{eff}$) berekend. Dit past de basiswaarde aan voor contextvenster, serveermode, modaliteit en architectuur.
  3. Energieformule: De geschatte energie per verzoek ($\hat{E}_{t,s}$) wordt berekend door het ankerpunt te schalen op basis van het verhouding van actieve parameters en het token-volume, met exponenten ($\alpha, \beta$) die variëren voor een laag, centraal en hoog scenario om onzekerheid weer te geven.
  4. CO2-omrekening: De energie wordt omgezet in CO2-equivalenten op basis van de elektriciteitsmix van het specifieke land waar de service wordt gehost.

B. Trainings-schatting

Voor training is de onzekerheid groter omdat gepubliceerde waarden schaars en heterogeen zijn.

• Benadering: In plaats van alleen te schalen op parameters, gebruikt de methode een gebonden proxy die het aantal parameters combineert met trainingspriors.
• Formule: De schatting ($\hat{E}^{train}$) baseert zich op literatuur-ankers voor CO2-uitstoot, geschaald met het aantal parameters, het aantal trainings-tokens (standaard 20 tokens per parameter, gebaseerd op de Chinchilla-optimalisatie), en factoren voor trainingsregime, architectuur en hardware.
• Doel: Dit dient als een orde-van-grootte-schatting om te voorkomen dat trainingseffecten worden afgeleid van alleen het parameter-aantal.

3. Belangrijkste Bijdragen

1. Transparant Screeningframework: Een methode om inferentie- en trainingsimpacten te schatten onder beperkte observatie, waarbij de onzekerheid expliciet wordt gemaakt via "low-central-high" intervallen.
2. Meerfactoren Proxy-methode: Een aanpak die onderscheid maakt tussen inferentie en training, en gebruikmaakt van contextuele factoren (land, architectuur, token-volume) in plaats van alleen ruwe specificaties.
3. Operationele Implementatie: De presentatie van de ImpactLLM Observatory, een online platform dat vergelijkende tabellen en figuren biedt voor 41 huidige marktmodellen, waarbij elke schatting terug te voeren is naar bronnen.

4. Resultaten en Vergelijkende Outputs

De observatory levert inzichtelijke resultaten die drie praktische eigenschappen van de methode illustreren:

• Jaarlijkse impact is cruciaal: Kleine eenheidswaarden worden significant wanneer vermenigvuldigd met hoog gebruik (bijv. een chatbot met 20.000 gesprekken).
• Modelprofiel telt mee: Het verschil tussen een licht model (bijv. Ministral 3B) en een zwaar model (bijv. Claude Opus 4.1) is enorm. De schattingen tonen een steile toename in impact bij frontier-modellen.
• Locatie is bepalend: De elektriciteitsmix van het land van de provider heeft een grote invloed op de CO2-uitstoot. Een model dat in Frankrijk draait (groenere mix) heeft een lagere impact dan hetzelfde model in de VS.

Voorbeelden uit de data:

• Een standaardverzoek aan Ministral 3B verbruikt slechts 0,0056 Wh, terwijl Claude Opus 4.1 ongeveer 2,99 Wh verbruikt.
• De trainingsschattingen variëren van 0,0004 GWh voor kleine modellen tot 125,63 GWh voor de grootste modellen.

5. Betekenis en Conclusie

De bijdrage van dit artikel is zowel methodologisch als documentair.

• Geen "wetten", maar schattingen: De auteurs benadrukken dat dit geen fysische wetten zijn of directe metingen van providers, maar traceerbare proxies.
• Beleid en Governance: De observatory fungeert als een discussiemiddel en beleidsimpuls. Zelfs zonder directe industriële telemetrie kan het platform aantonen dat de groei van modelgroottes de publieke zichtbaarheid van milieu-rapportage overtreft.
• Transparantie als oplossing: In plaats van te doen alsof onzekerheid niet bestaat, organiseert deze methode de benadering. Het biedt een reproduceerbare basis voor vergelijking en debat, wat superieur is aan de huidige situatie van sterke, maar niet onderbouwde milieuclaims.

Kortom, het artikel biedt een noodzakelijk instrument om de milieu-impact van LLM's inzichtelijk te maken in een markt waar directe data ontbreekt, door transparantie en expliciete aannames centraal te stellen.