Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

Dit onderzoek introduceert de metriek 'intelligentie per watt' om aan te tonen dat lokale inferentie van kleine taalmodellen op krachtige apparaten steeds efficiënter wordt en een aanzienlijk deel van de vraag aan centrale cloudinfrastructuur kan overnemen.

De kern

🧠 De Kernvraag: Kan je laptop de "supercomputer" vervangen?

Stel je voor dat de wereldwijde vraag naar slimme AI (zoals ChatGPT) een enorme drukte is op een superhighway. Tot nu toe moeten al die auto's (vragen) naar één gigantisch, duur en energievretend parkeergarage in de cloud rijden om daar hun werk te laten doen. Deze garage raakt overvol, het kost veel geld en stroom, en de files worden steeds langer.

De onderzoekers van dit papier stellen een nieuw idee voor: Waarom rijden we niet met de auto's naar huis?

Ze kijken of we de slimme AI-taken kunnen verplaatsen naar onze eigen laptops en telefoons (de "lokale" apparaten). Maar er is een probleem: onze laptops hebben minder kracht en minder batterij dan die grote datacenters.

📏 De Nieuwe Maatstaf: "Intelligentie per Watt"

Hoe meet je of dit een goed idee is? Je kunt niet alleen kijken naar hoe slim het antwoord is, en je kunt niet alleen kijken naar hoe snel het gaat. Je moet kijken naar de efficiëntie.

De auteurs introduceren een nieuwe maatstaf: Intelligentie per Watt (IPW).

• De Analogie: Denk aan een auto. Je wilt niet alleen weten hoe snel hij kan rijden (snelheid), maar ook hoeveel kilometer hij rijdt op één liter benzine (efficiëntie).
• In dit onderzoek: Hoeveel "slim antwoord" krijg je voor elke eenheid stroom die je verbruikt? Als je laptop een antwoord geeft dat net zo goed is als de supercomputer, maar met 10 keer minder stroom, dan wint de laptop.

🔍 Wat hebben ze ontdekt? (De Drie Grote Verrassingen)

De onderzoekers hebben een enorme test gedaan met 1 miljoen echte vragen (van kattenplaatjes maken tot wiskundige raadsels) en 20 verschillende AI-modellen op 8 verschillende soorten hardware (van Apple Macs tot enorme server-chips).

1. Je laptop kan al het meeste werk doen 🏠

Vroeger dachten we dat alleen de "giganten" (de grootste AI-modellen) goed werk leverden. Maar nu blijkt dat kleine modellen (die op je laptop passen) 88,7% van alle vragen correct kunnen beantwoorden!

• Creatieve taken (zoals een verhaal schrijven of een idee bedenken): Je laptop doet dit vaak beter dan 90% van de tijd.
• Technische taken (zoals complexe engineering): Hier is het nog iets lastiger (ongeveer 68%), maar dat is nog steeds heel indrukwekkend.
• Conclusie: Voor bijna elke dagelijkse vraag hoef je niet meer naar de cloud te reizen.

2. De "Superkracht" groeit razendsnel 🚀

Tussen 2023 en 2025 is er een enorme sprong gemaakt.

• De Analogie: Stel je voor dat je in 2023 een fiets had die 10 km/h reed. In 2025 heb je ineens een elektrische scooter die 53 km/h haalt, terwijl hij net zo veel batterij verbruikt.
• De Feit: De "Intelligentie per Watt" is 5,3 keer beter geworden in twee jaar tijd. Dit komt door twee dingen:
  1. De AI-modellen zelf zijn slimmer geworden (beter leren).
  2. De hardware (chips in je laptop) is efficiënter geworden.
• In 2023 konden lokale apparaten maar 23% van de vragen goed beantwoorden. In 2025 is dat gestegen naar 71%.

3. De "Slimme Router" bespaart enorm 🛣️

Wat als we een slimme verkeersleider hebben die elke vraag kijkt en beslist: "Is dit een simpele vraag? Dan stuur ik hem naar je laptop. Is het een super-moeilijke vraag? Dan stuur ik hem naar de cloud."?

• Als we dit slim doen, kunnen we 60% tot 80% besparen op energie, rekenkracht en kosten.
• De Analogie: Het is alsof je voor een simpele boodschap (melk halen) niet met een vrachtwagen gaat, maar met je fiets. Alleen voor de zware lasten (een piano verhuizen) gebruik je de vrachtwagen.
• Zelfs als de verkeersleider niet 100% perfect is (bijvoorbeeld 80% goed), bespaar je al bijna net zoveel als met een perfecte planner.

🌍 Waarom is dit belangrijk?

1. Minder stroomverbruik: Datacenters verbruiken nu al zoveel stroom dat het de netten op de rand van de afbraak brengt. Lokale AI helpt de druk te verlagen.
2. Sneller en privaat: Antwoorden komen direct van je eigen apparaat, zonder vertraging en zonder dat je data naar een centraal punt hoeft te reizen.
3. Toekomst: De onderzoekers zeggen dat we nu op een kantelpunt staan. Net zoals computers vroeger van grote mainframes naar je eigen bureau verhuisden (door efficiëntie), gebeurt dat nu weer met AI.

🏁 Samenvatting in één zin

Dit onderzoek bewijst dat onze eigen laptops en telefoons snel genoeg en slim genoeg worden om het grootste deel van de AI-werklast van de dure, energievretende datacenters over te nemen, mits we slimme routes kiezen om de vragen te verdelen.

De boodschap: De toekomst van AI is niet alleen in de wolken, maar ook in je broekzak. En dat is goed voor je portemonnee én voor het milieu.

Technische samenvatting

Titel: Intelligence per Watt: Het Meten van de Efficiëntie van Lokale AI

1. Het Probleem

Grote Taalmodellen (LLM's) worden momenteel bijna uitsluitend verwerkt door geavanceerde "frontier"-modellen in gecentraliseerde cloud-infrastructuur. Deze centralisatie staat onder toenemende druk door de exponentiële groei van inferentie-aanvragen (van miljarden naar biljoenen per dag), wat leidt tot enorme schaalproblemen voor cloudproviders. Het vereist een enorme investering in datacenters, energie en koeling.

Er rijst echter een nieuw paradigma door twee convergerende trends:

1. Kleine, lokale LM's: Modellen met ≤20B actieve parameters (zoals Qwen3, Llama 3.1, GPT-OSS) bereiken nu concurrerende prestaties op veel taken.
2. Lokale versnellers: Hardware zoals de Apple M4 Max en AMD Ryzen AI heeft voldoende geheugen en rekenkracht om deze modellen interactief uit te voeren.

De centrale vraag is: Kan lokale inferentie de vraag van de centrale infrastructuur op een levensvatbare manier herverdelen? Om dit te beantwoorden, is een nieuwe maatstaf nodig die zowel de intelligentie (kwaliteit van het antwoord) als de energie-efficiëntie combineert.

2. Methodologie

De auteurs voeren een grootschalige empirische studie uit om de "Intelligence per Watt" (IPW) te meten.

• Definitie van IPW: Een unificerende metriek gedefinieerd als taaknauwkeurigheid gedeeld door eenheid van vermogen (Accuracy / Watt). Dit meet de fundamentele trade-off: het behalen van voldoende prestaties binnen beperkte stroombudgetten.
• Dataset:
  • 1 miljoen real-world queries: Afkomstig uit WILDCHAT (natuurlijke conversaties), NATURALREASONING (redeneertaken), MMLU PRO (kennis) en SUPERGPQA (expert-niveau redenering).
  • Tijdsbestek: Vergelijking van modellen en hardware van 2023 tot en met 2025.
• Hardware & Modellen:
  • 20+ state-of-the-art lokale LM's: Variërend van 4B tot 120B parameters (o.a. Qwen3, GPT-OSS, Gemma, Granite).
  • 8 Hardware-versnellers: Lokale systemen (Apple M4 Max, NVIDIA Quadro) en cloud-systemen (NVIDIA H100/H200/B200, AMD MI300X, SambaNova).
• Profiling Harness: Een end-to-end, platformonafhankelijk instrumentarium dat nauwkeurigheid, latentie, energieverbruik (Joule), vermogen (Watt) en kosten meet. De metingen worden gedaan met een hoge temporal resolutie (50 ms intervallen) via vendor-API's (NVML, powermetrics, ROCm).
• Evaluatie: Vergelijking van lokale modellen met frontier-modellen (zoals GPT-5, Claude Sonnet) om de "win-rate" (nauwkeurigheid) te bepalen.

3. Belangrijkste Bijdragen

1. Introductie van "Intelligence per Watt" (IPW): Een nieuwe, gestandaardiseerde metriek om de levensvatbaarheid van lokale inferentie te kwantificeren, los van pure snelheid of alleen nauwkeurigheid.
2. Grootschalige Empirische Studie: De eerste studie die 1 miljoen queries, 20+ modellen en 8 hardware-platforms analyseert over een periode van twee jaar (2023-2025).
3. Open Source Profiling Tool: Het vrijgeven van het "IPW profiling harness" om reproduceerbare efficiëntie-benchmarks mogelijk te maken naarmate de technologie evolueert.

4. Belangrijkste Resultaten

• Levensvatbaarheid van Lokale Modellen:

  • Lokale LM's kunnen 88,7% van de single-turn chat- en redeneerqueries correct beantwoorden (gemeten als win-rate tegenover frontier-modellen).
  • De dekking varieert per domein: >90% voor creatieve taken (kunst, media), maar daalt tot ~68% voor technische domeinen (architectuur, engineering).
  • Tijdsontwikkeling: De dekking is gestegen van 23,2% in 2023 naar 71,3% in 2025 (een 3,1x verbetering).

• Verbetering van Intelligence per Watt:

  • De IPW is 5,3x verbeterd tussen 2023 en 2025.
  • Deze groei komt door een combinatie van algoritme-vooruitgang (3,1x) en hardware-verbeteringen (1,7x).
  • Lokale acceleratoren (zoals Apple M4 Max) tonen een significant verbeteringspotentieel: ze zijn 1,4x minder efficiënt dan cloud-accelerators voor dezelfde modellen, wat aangeeft dat er nog ruimte is voor optimalisatie van lokale hardware.

• Resourcebesparing door Routing:

  • Door queries intelligent te routeren (lokaal voor eenvoudige taken, cloud voor complexe taken), kunnen enorme besparingen worden gerealiseerd.
  • Een "Oracle routing" (perfecte toewijzing) kan het energieverbruik met 80,4%, de rekenkracht met 77,3% en de kosten met 73,8% verminderen ten opzichte van een cloud-only strategie.
  • Zelfs met een realistische routeringsnauwkeurigheid van 80% (waarbij 20% van de queries foutief naar de cloud worden gestuurd), worden 64,3% energiebesparing en 59,0% kostenbesparing behaald zonder kwaliteitsverlies.

5. Betekenis en Conclusie

Dit paper bewijst dat lokale AI-inferentie geen futuristisch concept meer is, maar een praktische, schaalbare oplossing voor de huidige infrastructuurcrisis.

• Paradigmaverschuiving: Net zoals de overgang van mainframes naar personal computers in het verleden mogelijk werd door verbeterde energie-efficiëntie (Koomey's Law), staat de AI-industrie nu op een inflexiepunt.
• Hybride Architectuur: De toekomst ligt niet in "lokaal OF cloud", maar in een hybride systeem. Lokale apparaten kunnen de meerderheid van de dagelijkse queries afhandelen, waardoor de druk op datacenters wordt verlicht.
• Economisch Impact: Door lokale inferentie te optimaliseren, kunnen jaarlijkse besparingen worden gemeten in terawatt-uur, wat direct bijdraagt aan duurzaamheid en kostenreductie.

De auteurs concluderen dat Intelligence per Watt de kritieke metriek blijft om deze transitie te volgen. Naarmate lokale modellen en hardware blijven evolueren, zal het aandeel van queries dat lokaal kan worden verwerkt, verder toenemen, waardoor een meer gedistribueerde en energie-efficiënte AI-ecosysteem ontstaat.