💻 computer science

The Hidden Cost of Thinking: Energy Use and Environmental Impact of LMs Beyond Pretraining

Diese Studie zeigt, dass die Umweltauswirkungen der Entwicklung moderner Sprachmodelle von der Nachtrainings-Experimentierung und komplexen Schlussfolgerungspipelines dominiert werden – was 82,2 % der gesamten Rechenleistung ausmacht und Schlussfolgerungsmodelle 17-mal teurer im Nachtraining macht als instruktionsangepasste Modelle – und damit eine kritische, in den aktuellen Umweltberichterstattungsstandards nicht erfasste Lücke aufzeigt.

Ursprüngliche Autoren: Jacob Morrison, Noah A. Smith, Emma Strubell

Veröffentlicht 2026-05-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jacob Morrison, Noah A. Smith, Emma Strubell

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Eisberg-Modell der KI-Kosten

Stellen Sie sich vor, Sie bauen eine riesige, hochtechnologische Fabrik, um den perfekten Kuchen (ein intelligentes KI-Modell) zu backen. Seit Jahren zählt jeder nur den Strom, der für das Backen des endgültigen Kuchens verbraucht wird, und trägt diese Zahl auf das Etikett.

Dieses Papier argumentiert, dass dies so ist, als würde man einen Eisberg betrachten und nur die Spitze über dem Wasser zählen. Die Autoren sind unter Wasser gegangen, um den gesamten Eisberg zu vermessen. Sie stellten fest, dass das „Backen" des endgültigen Modells tatsächlich nur ein winziger Teil der Geschichte ist. Die eigentliche Energie, die CO₂-Emissionen und der Wasserverbrauch entstehen während des chaotischen, experimentellen Prozesses des Herausfindens, wie man den Kuchen überhaupt backt.

1. Die „denkenden" Modelle sind energiehungrig

Die Forscher untersuchten eine neue Familie von KI-Modellen namens Olmo 3. Sie stellten zwei Typen her:

Das „Instruct"-Modell: Befolgt Anweisungen gut (wie ein hilfsbereiter Assistent).
Das „Think"-Modell: Löst komplexe Probleme, indem es „denkt" und Schritte durchgeht (wie ein Mathematiker, der einen Beweis ausarbeitet).

Die Analogie:
Stellen Sie sich vor, das „Instruct"-Modell ist ein Sprinter. Es läuft ein kurzes Rennen und beendet es. Das „Think"-Modell ist ein Marathonläufer, der unterwegs anhält, um Rätsel zu lösen.

Die Erkenntnis: Das Training des „Think"-Modells erforderte 17-mal mehr Energie als das des „Instruct"-Modells.
Warum? Das „Think"-Modell muss enorme Mengen an „Übungsläufen" (sogenannten Rollouts) generieren, um zu lernen, wie man schlüssig argumentiert. Es ist wie ein Schüler, der 100 Übungsarbeiten schreiben muss, nur um zu lernen, wie man einen guten Aufsatz schreibt. Das Papier nennt dies die „Kosten des Denkens".

2. Die „versteckten" Kosten: Versuch und Irrtum

Die größte Überraschung im Papier betrifft die Entwicklungskosten.

Alte Annahme: Wir dachten, die meiste Energie werde für den finalen Trainingslauf verwendet (die „Abschlussprüfung").
Neue Realität: 82 % der gesamten Energie wurden für Experimente verbraucht. Dazu gehören gescheiterte Versuche, das Testen verschiedener Einstellungen und das Ausprobieren unterschiedlicher Datenmischungen, bevor das endgültige Modell überhaupt gebaut wurde.

Die Analogie:
Stellen Sie sich einen Koch vor, der versucht, ein neues Signaturgericht zu kreieren.

Das Endgericht: Dasjenige, das dem Kunden serviert wird (das endgültige Modell).
Die Entwicklung: Der Koch, der 100 Töpfe Suppe verbrennt, 50 Chargen Kekse wegwirft und 20 verschiedene Gewürzmischungen probiert, um es richtig hinzubekommen.
Der Punkt des Papiers: Wenn Sie nur den Strom zählen, der zum Kochen des einen endgültigen Gerichts verbraucht wird, das dem Kunden serviert wird, ignorieren Sie die 100 Töpfe Suppe, die in der Küche verbrannt wurden. Das Papier stellte fest, dass für moderne KI die „verbrannte Suppe" (gescheiterte Experimente) fünfmal mehr kostet als das Endgericht.

3. Das Wasserproblem: Es ist nicht die Schuld des Rechenzentrums

Das Papier untersuchte auch den Wasserverbrauch. Sie stellten fest, dass der Prozess eine enorme Menge Wasser verbraucht hat (genug, um eine Person 140 Jahre lang zu trinken).

Die Analogie:
Viele Menschen denken, KI verbrauche Wasser, weil die Computer heiß werden und mit Wasser gekühlt werden müssen (wie ein Autokühler).

Die Realität: Das Rechenzentrum verwendete ein „geschlossenes System", was bedeutet, dass kein Wasser durch die Kühlung verloren ging.
Der wahre Übeltäter: Das Wasser wurde verwendet, um den Strom zu erzeugen, der die Computer betrieb. Kraftwerke (Kohle, Gas, Kernkraft) verbrauchen enorme Mengen an Wasser, um die Energie zu erzeugen, die zum Betrieb der KI benötigt wird.
Die Lehre: Wenn Sie Wasser sparen wollen, müssen Sie nicht nur bessere Computer bauen; Sie müssen ändern, wie wir den Strom erzeugen, der sie antreibt.

4. Die Gesamtrechnung

Als die Forscher alles zusammenzählten – das finale Training, die gescheiterten Experimente, die Datengenerierung und die Hardware-Herstellung – betrugen die Gesamtkosten für den Bau der Olmo 3-Modelle:

Energie: Ca. 12,3 Millionen Kilowattstunden (ausreichend, um 847 US-Haushalte ein ganzes Jahr lang zu versorgen).
Kohlenstoff: Ca. 4.251 Tonnen CO₂.
Wasser: Ca. 15.887.000 Liter.

Warum das wichtig ist

Das Papier kommt zu dem Schluss, dass die Art und Weise, wie wir derzeit die Umweltauswirkungen der KI melden, defekt ist. Wir melden nur die Kosten des „finalen Laufs", was das Problem viel kleiner erscheinen lässt, als es tatsächlich ist.

Da KI-Modelle intelligenter werden und mehr „Denken" (Schlussfolgern) erfordern und da der Entwicklungsprozess komplexer wird, werden diese versteckten Kosten in die Höhe schnellen. Die Autoren fordern Entwickler auf, aufzuhören, die „verbrannte Suppe" zu verstecken, und beginnen, die vollen Kosten der gesamten Küche zu melden, nicht nur des letzten Gerichts.

Kurz gesagt: Den Bau intelligenter KI zu finanzieren ist teuer, aber der Prozess des Herausfindens, wie man sie baut, ist noch teurer, und die „denkenden" Modelle sind von allen die energiehungrigsten.

Technische Zusammenfassung: Die versteckten Kosten des Denkens

Problemstellung

Die aktuelle Umweltberichterstattung für Large Language Models (LLMs) konzentriert sich eng auf die Energie- und Kohlenstoffkosten des Pretrainings eines einzelnen Endmodells. Dieser Ansatz macht den Großteil des modernen Entwicklungslebenszyklus unsichtbar. Da sich Modellpipelines weiterentwickelt haben und nun Mid-Training, Long-Context-Erweiterung, synthetische Datengenerierung, Supervised Fine-Tuning (SFT), Preference Optimization (DPO) und Reinforcement Learning (RL) umfassen, hat sich der ökologische Fußabdruck erheblich ausgeweitet. Darüber hinaus führt die Entstehung von „Reasoning"-Modellen, die stark auf Reinforcement Learning with Verifiable Rewards (RLVR) angewiesen sind, zu rechenintensiven Workloads (insbesondere Rollout-Generierung), die in standardmäßigen, auf Pretraining ausgerichteten Berichten nicht erfasst werden. Zudem haben frühere Arbeiten nahegelegt, dass Entwicklungskosten (Experimentation, fehlgeschlagene Durchläufe, Ablationen) beträchtlich sind, doch das Ausmaß dieser Kosten in komplexen, mehrstufigen Pipelines bleibt unquantifiziert.

Methodik

Die Autoren liefern eine detaillierte Umweltbilanz für die Olmo 3-Modellfamilie (7B und 32B Parameter), die sowohl in Varianten zur Befolgung von Anweisungen („Instruct") als auch in Reasoning-Varianten („Think") veröffentlicht wurde.

Umfang: Die Studie deckt die gesamte Entwicklungspipeline ab: Datengenerierung, Pretraining, Mid-Training, Long-Context-Erweiterung und alle Post-Training-Phasen (SFT, DPO, RLVR), einschließlich sowohl der finalen Trainingsläufe als auch der vorangehenden Entwicklungsiterationen (Hyperparametersuchen, Ablationen, fehlgeschlagene Durchläufe).
Hardware & Infrastruktur: Das Training erfolgte auf dem Jupiter-Cluster (Cirrascale, Texas) unter Verwendung von NVIDIA H100-80GB GPUs. Die Datengenerierung nutzte den Frontier-Supercomputer mit AMD MI250X GPUs.
Berechnung von Energie und Emissionen:
- Leistung: Die gesamte Rechenzentrumsleistung ( $P_{DC}$ ) wird berechnet als $P_{GPU} \times 1,74 \times PUE$ . Der Faktor 1,74 berücksichtigt den Overhead durch Nicht-GPU-Server und IT-Infrastruktur (basierend auf Epoch AI, 2025) und verbessert frühere Methoden, bei denen die GPU-Leistung lediglich mit dem PUE multipliziert wurde.
- Kohlenstoff: Die Emissionen werden berechnet als $CO_2e = P_{DC} \times CI$ , wobei die Kohlenstoffintensität (CI) 0,332 kg CO2/kWh beträgt.
- Wasser: Der Verbrauch wird berechnet als $Water = P_{DC} \times (WUE_{onsite} + WUE_{offsite})$ . Das Rechenzentrum nutzt eine geschlossene Kühlkreislauflösung ( $WUE_{onsite} = 0$ ), was bedeutet, dass der gesamte Wasserverbrauch der Stromerzeugung zugeordnet wird ( $WUE_{offsite} = 1,29$ L/kWh).
- Inkorporierte Emissionen: Die Auswirkungen der Hardwareherstellung werden über eine Lebensdauer von 4 Jahren amortisiert.
Vergleich: Die Studie vergleicht die „Think"- (Reasoning) und „Instruct"-Varianten, die ein gemeinsames Basismodell teilen, sich jedoch in den Post-Training-Strategien unterscheiden.

Hauptbeiträge

Erste detaillierte Aufschlüsselung des Post-Trainings: Diese Arbeit ist die erste, die die Umweltkosten spezifischer Post-Training-Phasen (SFT, DPO, RL) und der synthetischen Datengenerierung misst und berichtet, was einen direkten Vergleich zwischen Phasen und Modellvarianten ermöglicht.
Quantifizierung der „Denk"-Kosten: Die Autoren zeigen, dass Reasoning-Modelle erheblich teurer im Post-Training sind als instruktionsangepasste Modelle, getrieben speziell durch die RLVR-Rollout-Generierung.
Überarbeitete Schätzungen der Entwicklungskosten: Die Studie aktualisiert die Schätzung der Entwicklungskosten (Experimentation und fehlgeschlagene Durchläufe) von den zuvor berichteten ~50 % der gesamten Rechenleistung auf 82,2 % und hebt hervor, dass die Berichterstattung nur über finale Durchläufe die wahre Auswirkung um etwa das 5-fache unterschätzt.
Analyse der Wasserzuordnung: Das Papier klärt auf, dass der Wasserverbrauch in diesem spezifischen Setup vollständig durch die Infrastruktur der Stromerzeugung und nicht durch die Rechenzentrumskühlung getrieben wird, was gängige Narrative herausfordert, die Wassernutzung primär der Kühlung von AI-Workloads zuschreiben.

Ergebnisse

Gesamte Umweltwirkung

Die Entwicklung der Olmo 3-Serie (einschließlich finaler Durchläufe, Entwicklungsiterationen und Datengenerierung) führte zu:

Energie: ~12,3 GWh Rechenzentrumsenergie.
Kohlenstoff: ~4.251 tCO2eq (entspricht ~847 US-Haushalten für eine Jahresstromversorgung).
Wasser: ~15.887 kL (entspricht ~140 Jahren Wasserverbrauch einer durchschnittlichen US-Person).
Rechenleistung: Insgesamt ~13,2 Millionen GPU-Stunden.

Die Kosten des Denkens (Think vs. Instruct)

Energiegefälle: Die Post-Training-Phase des 32B „Think"-Modells verbraucht 17-mal mehr Rechenzentrumsenergie als das 32B „Instruct"-Modell.
Treiber: Dieses Gefälle wird durch die RLVR-Rollout-Generierung getrieben. Beim 32B Think-Modell macht die RLVR-Rollout-Generierung 87 % der Post-Training-Energie aus.
Mechanismus: Der RLVR-Generator (autoregressive Inferenz) arbeitet mit ~600 W pro GPU, während der Trainer mit 130–220 W arbeitet. Der Generator ist funktional identisch mit großskaliger Inferenz, erfordert jedoch die Generierung extrem langer Spuren (durchschnittlich >10.000 Tokens, maximal 32.768) über viele Iterationen hinweg.
Token-Volumen: Der RLVR-Trainer für das 32B Think-Modell verarbeitet ~18,7 Mrd. Tokens, verglichen mit ~564 Mio. für die Instruct-Variante (ein Unterschied von 33-fach).

Entwicklungskosten

Anteil: Entwicklungsaktivitäten (Hyperparametersuchen, Ablationen, fehlgeschlagene Durchläufe) machten 82,2 % der gesamten GPU-Stunden und 80,9 % der gesamten GPU-Energie aus (ohne Datengenerierung).
Phasenvariation: Post-Training-Phasen sind besonders iterationsschwer. Die Entwicklungsanteile für Post-Training-Phasen überstiegen 91 % (z. B. 97,5 % für Mid-Training/Datenmischung, 97,1 % für DPO).
Vergleich: Dies stellt eine signifikante Steigerung gegenüber dem in früheren Arbeiten (Morrison et al., 2025) für auf Pretraining fokussierte Pipelines berichteten Entwicklungsanteil von ~50 % dar.

Wasserverbrauch

Quelle: 100 % des Wasserverbrauchs wurden der Stromerzeugung ( $WUE_{offsite}$ ) zugeschrieben, da das Rechenzentrum eine geschlossene Kühlkreislauflösung nutzte ( $WUE_{onsite} = 0$ ).
Implikation: Die Wasserkosten sind in diesem Setup strikt proportional zum Energieverbrauch, was darauf hindeutet, dass die Reduzierung des Energieverbrauchs der primäre Hebel zur Verringerung der Wasserauswirkungen ist, und nicht die Änderung der Kühlinfrastruktur.

Bedeutung und Behauptungen

Das Papier argumentiert, dass der aktuelle Standard, nur Pretraining-Kosten zu berichten, für eine genaue Umweltbilanz unzureichend ist. Da Pipelines komplexer werden und Reasoning-Modelle zum Standardparadigma werden, wachsen die „versteckten Kosten" von Post-Training und Entwicklung rapide.

Transparenz: Die Autoren behaupten, dass eine genaue, messungsbasierte Bilanzierung des gesamten Entwicklungslebenszyklus für fundierte regulatorische Leitlinien und für die Forschungscommunity unerlässlich ist, um effektive Strategien zur Verringerung des ökologischen Fußabdrucks von KI zu entwickeln.
Durchführbarkeit: Entgegen Behauptungen, dass eine derartige detaillierte Berichterstattung unpraktikabel sei, demonstrieren die Autoren, dass es machbar ist, Kosten über mehrere Phasen und Varianten aufzuschlüsseln.
Politische Empfehlungen: Das Papier schließt mit vier Empfehlungen:
1. Berichterstattung über die gesamten Pipeline-Kosten (Post-Training und Datengenerierung), nicht nur über Pretraining.
2. Einbeziehung von Entwicklungskosten (mindestens als Multiplikator).
3. Offenlegung von Rechenzentrums-Effizienzkennzahlen (PUE, WUE, Kühlungsart, Strommix).
4. GPU-Hersteller sollten die Auswirkungen der Herstellung (inkorporierte Emissionen) offenlegen.

Die Arbeit positioniert sich als grundlegender Schritt zum Verständnis des wahren ökologischen Fußabdrucks moderner KI und betont, dass die „Kosten des Denkens" ein schnell eskalierender Faktor sind, der in Nachhaltigkeitsstandards adressiert werden muss.