Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

Diese Studie stellt mit „Intelligence per Watt" (IPW) eine neue Metrik vor, um die Effizienz lokaler KI-Inferenz zu messen, und zeigt durch eine groß angelegte empirische Analyse, dass lokale Modelle und Hardware die Nachfrage von zentralen Cloud-Infrastrukturen effektiv umverteilen können, da sich die IPW-Leistung zwischen 2023 und 2025 um das 5,3-Fache verbessert hat.

Das Wesentliche

Stellen Sie sich vor, das Internet ist eine riesige Bibliothek, in der alle ihre Fragen an einen einzigen, super-intelligenten, aber extrem großen und teuren Bibliothekar stellen. Dieser Bibliothekar sitzt in einem riesigen, klimatisierten Server-Raum (der "Cloud"). Er kann fast alles beantworten, aber er ist so groß, dass er eine ganze Stadt an Strom verbraucht und die Warteschlangen werden immer länger.

Die Forscher in diesem Papier stellen sich eine spannende Frage: Können wir nicht einfach einen kleineren, schlaueren Bibliothekar direkt zu uns nach Hause holen?

Hier ist die einfache Erklärung der Studie, gemischt mit ein paar Bildern aus dem Alltag:

1. Das Problem: Der überlastete Riese

Heute laufen fast alle unsere KI-Anfragen über diese riesigen Cloud-Server. Das ist wie wenn jeder, der eine Frage hat, in eine einzige, überfüllte Bankfiliale gehen müsste. Es wird teuer, langsam und verbraucht unglaublich viel Energie. Die Forscher sagen: "Das kann so nicht weitergehen."

2. Die Lösung: Der kleine, clevere Helfer zu Hause

In den letzten Jahren haben sich zwei Dinge verändert:

• Die Modelle wurden schlauer: Es gibt jetzt kleine KI-Modelle (die "lokalen Modelle"), die zwar nicht so riesig sind wie die Cloud-Riesen, aber für viele alltägliche Aufgaben fast genauso gut sind.
• Die Hardware wurde stärker: Unsere neuen Laptops und Smartphones (wie der Apple M4-Chip) sind so stark geworden, dass sie diese kleinen KIs direkt auf dem Gerät laufen lassen können, ohne dass man sie ins Internet schicken muss.

Stellen Sie sich vor, früher mussten Sie für jede Rechenaufgabe einen riesigen Supercomputer anrufen. Heute reicht ein kleiner Taschenrechner auf Ihrem Schreibtisch, der genau das Gleiche für 90 % Ihrer Aufgaben erledigt.

3. Der neue Maßstab: "Intelligenz pro Watt"

Wie messen wir, ob das eine gute Idee ist? Die Forscher haben einen neuen Maßstab erfunden: Intelligenz pro Watt (IPW).

• Die Analogie: Stellen Sie sich zwei Autos vor.
  • Das eine ist ein riesiger, starker LKW, der viel Kraft hat, aber 50 Liter Benzin pro 100 km verbraucht.
  • Das andere ist ein kleiner, effizienter Hybrid, der fast genauso schnell ist, aber nur 5 Liter verbraucht.
  • Intelligenz pro Watt fragt nicht nur: "Wer ist schneller?" (das wäre die reine Leistung), sondern: "Wer bringt mich am weitesten mit dem wenigsten Benzin?"

Die Studie misst also: Wie viel "kluge Antwort" bekomme ich für jeden einzelnen Joule (Strom), den mein Laptop verbraucht?

4. Was haben sie herausgefunden? (Die drei großen Überraschungen)

A. Der kleine Helfer ist überraschend stark
Die Forscher haben 1 Million echte Fragen getestet (von "Schreib mir eine E-Mail" bis "Löse dieses Mathe-Rätsel").

• Ergebnis: Die kleinen lokalen Modelle konnten 88,7 % aller Fragen richtig beantworten!
• Die Nuance: Bei kreativen Aufgaben (Kunst, Schreiben, Alltagstipps) sind sie fast ungeschlagen. Bei sehr schweren technischen Aufgaben (wie komplexe Ingenieursprobleme) brauchen sie noch manchmal Hilfe vom großen Cloud-Riesen. Aber für den Großteil des Alltags reicht der kleine Helfer völlig aus.

B. Der Turbo-Effekt (2023 bis 2025)
In nur zwei Jahren hat sich die Effizienz um das 5,3-fache verbessert!

• Warum? Es ist wie bei einem Fahrrad: Die Räder (die Hardware/Chips) wurden besser, und der Fahrer (das KI-Modell) wurde geschickter. Zusammen haben sie die Leistung massiv gesteigert.
• Die Folge: Was 2023 noch unmöglich war, läuft heute flüssig auf einem Laptop.

C. Die Hybrid-Lösung: Das Beste aus beiden Welten
Die beste Strategie ist nicht "entweder oder", sondern eine clevere Mischung.

• Das Szenario: Stellen Sie sich einen Türsteher vor, der jede Frage prüft.
  • Ist es eine einfache Frage? -> "Geh zum kleinen Helfer zu Hause!" (Spart Strom und Geld).
  • Ist es eine super-schwere Frage? -> "Schick sie zum großen Cloud-Riesen!" (Sichert die Qualität).
• Das Ergebnis: Wenn man diese Mischung nutzt, spart man 60 % bis 80 % an Energie, Rechenleistung und Kosten, ohne dass die Antworten schlechter werden.

5. Warum ist das wichtig für uns?

• Für die Umwelt: Weniger Stromverbrauch bedeutet weniger CO2-Ausstoß. Wenn wir die Last von den riesigen Rechenzentren auf unsere eigenen Geräte verteilen, entlasten wir das Stromnetz.
• Für den Geldbeutel: Cloud-Dienste kosten Geld. Wenn wir lokale Modelle nutzen, wird KI für viele Anwendungen deutlich billiger.
• Für die Privatsphäre: Wenn die KI auf Ihrem Laptop läuft, müssen Ihre Daten nicht ins Internet geschickt werden. Das ist sicherer.

Fazit

Die Studie sagt uns: Die Zukunft der KI ist dezentral. Wir müssen nicht alles in die Cloud schieben. Unsere Geräte werden bald so schlau und effizient sein, dass sie den Großteil unserer Fragen selbst lösen können. Der große Cloud-Riese bleibt für die aller-schwersten Aufgaben, aber der kleine Helfer zu Hause übernimmt den Alltag – schnell, günstig und sparsam.

Es ist der Übergang von der Ära der "Mainframe-Computer" (die alle gemeinsam nutzen mussten) zurück zu den "Personal Computern", nur dass diesmal die Intelligenz selbst auf unserem Schreibtisch sitzt.

Technische Zusammenfassung

1. Problemstellung und Motivation

Die Nachfrage nach Inferenzanfragen für Large Language Models (LLMs) wächst exponentiell und belastet die zentralisierte Cloud-Infrastruktur zunehmend. Cloud-Anbieter haben Schwierigkeiten, die Infrastruktur im gleichen Tempo wie die Nachfrage zu skalieren, was zu hohen Kosten, Energieverbrauch und Engpässen bei der Stromversorgung führt.

Gleichzeitig ergeben sich zwei technologische Trends, die einen Paradigmenwechsel ermöglichen:

1. Lokale Modelle: Kleine, lokale Sprachmodelle (mit $\le$ 20 Milliarden aktiven Parametern) erreichen auf vielen Aufgaben eine Leistung, die mit den größten Frontier-Modellen konkurrieren kann.
2. Lokale Beschleuniger: Moderne Hardware (z. B. Apple M4 Max, AMD Ryzen AI) verfügt über genügend Speicher und Rechenleistung, um diese Modelle mit interaktiver Latenz lokal auszuführen.

Die zentrale Forschungsfrage lautet: Kann die lokale Inferenz die Nachfrage von der zentralisierten Infrastruktur sinnvoll umverteilen? Um dies zu beantworten, müssen sowohl die Fähigkeit lokaler Modelle, reale Anfragen korrekt zu beantworten, als auch ihre Energieeffizienz auf strombeschränkten Geräten (wie Laptops) gemessen werden.

2. Methodik und Ansatz

Die Autoren führen eine groß angelegte empirische Studie durch, um die Effizienz der lokalen KI zu quantifizieren.

Metrik: Intelligence per Watt (IPW)
Als zentrales Maß wird „Intelligence per Watt" (IPW) eingeführt. Es definiert sich als die Aufgabenkorrektheit (Accuracy) pro Einheit des Energieverbrauchs (Watt).

• $IPW = \frac{\text{Erwartete Genauigkeit}}{\text{Durchschnittlicher Leistungsverbrauch}}$
• Dies ermöglicht einen einheitlichen Vergleich verschiedener Modell-Hardware-Konfigurationen und quantifiziert den Kompromiss zwischen Leistung und Energiebudget.

Datensatz und Umfang

• Anfragen: 1 Million reale, einstufige Chat- und Reasoning-Anfragen aus vier Quellen: WILDCHAT (natürliche Konversationen), NATURALREASONING (allgemeines Reasoning), MMLU PRO (Wissensbewertung) und SUPERGPQA (expertenlevel Reasoning).
• Modelle: Über 20 State-of-the-Art lokale Modelle (z. B. QWEN3, GPT-OSS, GEMMA3, IBM GRANITE) sowie historische Modelle (Mixtral, Llama 3.1) zum Vergleich.
• Hardware: 8 verschiedene Hardware-Beschleuniger, darunter lokale Geräte (Apple M4 Max) und Cloud-Systeme (NVIDIA H100, B200, AMD MI300X, SambaNova).
• Zeitraum: Eine longitudinale Analyse von 2023 bis 2025.

Messgrößen
Für jede Anfrage wurden Genauigkeit (gemessen als Win-Rate gegen Frontier-Modelle), Energieverbrauch, Latenz, Leistungsaufnahme und Kosten erfasst. Die Messung erfolgte über ein hardware-agnostisches Profiling-Tool, das Telemetriedaten (Strom, Temperatur, Speicher) mit Nanosekunden-Präzision erfasst.

3. Wichtige Ergebnisse

Die Studie liefert drei Hauptergebnisse:

A. Abdeckung lokaler Modelle (Coverage)

• Lokale Modelle können 88,7 % aller untersuchten einstufigen Chat- und Reasoning-Anfragen erfolgreich bearbeiten.
• Die Abdeckung variiert stark nach Domäne:
  • Kreative Aufgaben (Kunst, Medien): > 90 % Abdeckung.
  • Technische Felder (Architektur, Ingenieurwesen): ca. 68 % Abdeckung.
• Zeitlicher Verlauf: Die Fähigkeit lokaler Modelle, Frontier-Qualität zu erreichen, ist von 23,2 % (2023) auf 48,7 % (2024) und 71,3 % (2025) gestiegen.

B. Verbesserung der Intelligence per Watt (IPW)

• Die IPW-Effizienz hat sich von 2023 bis 2025 um den Faktor 5,3 verbessert.
• Dieser Fortschritt setzt sich aus zwei Komponenten zusammen:
  • Algorithmische Verbesserungen (bessere Modelle): Faktor 3,1.
  • Hardware-Verbesserungen (bessere Beschleuniger): Faktor 1,7.
• Vergleich Cloud vs. Lokal: Cloud-Beschleuniger (z. B. NVIDIA B200) sind bei identischen Modellen immer noch effizienter (bis zu 1,4-fach höhere IPW) als lokale Geräte. Dies zeigt jedoch auch, dass lokale Hardware noch erhebliches Optimierungspotenzial hat.

C. Potenzial durch intelligentes Routing

• Durch ein hybrides System, das Anfragen basierend auf ihrer Komplexität entweder an ein kleines lokales Modell oder an ein großes Cloud-Modell routet, lassen sich massive Ressourcen einsparen.
• Theoretisches Maximum (Oracle-Routing): Bei perfekter Zuordnung könnten Energieverbrauch um 80,4 %, Rechenleistung um 77,3 % und Kosten um 73,8 % gesenkt werden.
• Praktische Realität: Selbst ein Router mit nur 80 % Genauigkeit (der 80 % der Anfragen korrekt lokalisiert) erreicht 80 % der theoretischen Einsparungen (ca. 64 % Energieeinsparung), ohne die Antwortqualität zu beeinträchtigen.

4. Hauptbeiträge der Arbeit

1. Einführung der Metrik IPW: Die Autoren etablieren „Intelligence per Watt" als den entscheidenden Standard zur Bewertung der Machbarkeit lokaler Inferenz, der sowohl Modellleistung als auch Hardwareeffizienz vereint.
2. Groß angelegte empirische Studie: Die erste umfassende Analyse von über 1 Million Anfragen, 20+ Modellen und 8 Hardware-Plattformen über einen Zeitraum von zwei Jahren (2023–2025).
3. Nachweis der Machbarkeit: Der Beleg, dass lokale Modelle bereits heute einen signifikanten Teil der KI-Last (insbesondere Chat und einfaches Reasoning) von der Cloud übernehmen können, was zu erheblichen Einsparungen bei Energie und Kosten führt.
4. Open Source Tooling: Die Veröffentlichung eines Profiling-Harnesses, um zukünftige Benchmarks für lokale KI-Effizienz zu ermöglichen.

5. Bedeutung und Ausblick

Die Arbeit zeigt, dass wir uns an einem Wendepunkt befinden, ähnlich wie beim Übergang von Mainframes zu Personal Computern in der Vergangenheit. Die Kombination aus effizienteren kleinen Modellen und leistungsfähigerer lokaler Hardware macht es möglich, einen Großteil der KI-Inferenz dezentral durchzuführen.

• Ökologische und ökonomische Relevanz: Die Verlagerung von Anfragen auf lokale Geräte könnte den Energiebedarf von Rechenzentren drastisch senken und die Kosten für KI-Dienste reduzieren.
• Zukunftspfad: Da sich die IPW-Effizienz jährlich verdoppelt, wird der Anteil der Anfragen, die lokal bearbeitet werden können, weiter wachsen.
• Hybride Architekturen: Die Zukunft liegt nicht in einem „Entweder-oder", sondern in intelligenten Routing-Systemen, die die Stärken lokaler Geräte (Effizienz, Datenschutz) und Cloud-Systeme (Rohleistung, komplexe Reasoning-Aufgaben) kombinieren.

Zusammenfassend etabliert das Paper die lokale Inferenz als praktische und notwendige Ergänzung zur zentralisierten Cloud-Infrastruktur, wobei die „Intelligence per Watt" die entscheidende Kennzahl für die weitere Entwicklung bleibt.