🤖 AI

Token Arena: A Continuous Benchmark Unifying Energy and Cognition in AI Inference

TokenArena introduceert een continue benchmark die AI-inferentie op het granulaire eindpuntniveau evalueert over vijf kernassen, door prestaties, kosten en energiemetingen te synthetiseren om aanzienlijke variabiliteit in nauwkeurigheid, latentie en efficiëntie aan het licht te brengen die traditionele modelniveau-benchmarks over het hoofd zien.

Oorspronkelijke auteurs: Yuxuan Gao, Megan Wang, Yi Ling Yu

Gepubliceerd 2026-05-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuxuan Gao, Megan Wang, Yi Ling Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een auto koopt. Op dit moment vertellen de auto-berichten die je leest je alleen iets over de modelnaam (bijvoorbeeld "De Super Sedan 2026") en het merk (bijvoorbeeld "Ford"). Ze vertellen je dat de motor krachtig is en dat de prijs op de website staat vermeld.

Maar in de echte wereld gaat het bij het kopen van een auto niet alleen om de modelnaam. Het gaat om de specifieke dealer, het specifieke uitvoeringsniveau, het lokale weer en de exacte brandstofmix die je gebruikt. Een "Super Sedan" gekocht bij een dubieuze dealer in een achtersteegje kan een roestende motor hebben, een slecht brandstofverbruik en een kapotte GPS, terwijl precies hetzelfde model bij een gecertificeerde dealer perfect loopt.

Token Arena is een nieuw "Consumentenbond"-equivalent voor AI, maar in plaats van auto's test het AI-eindpunten.

Hieronder wordt het paper uitgelegd in eenvoudige bewoordingen, met behulp van analogieën om het duidelijk te maken.

1. Het Probleem: De Leugen van de "Modelnaam"

Op dit moment, als je vraagt "Hoe goed is Llama 3.3?" of "Hoe snel is GPT-4?", krijg je één antwoord. Het paper stelt dat dit vergelijkbaar is met het zeggen: "Alle Super Sedans van 2026 halen 30 mijl per gallon." Dit is onjuist.

In de AI-wereld kan dezelfde modelnaam worden aangeboden door tientallen verschillende bedrijven (providers) met verschillende hardware-instellingen.

De Analogie: Stel je twee mensen voor die "Vers Brood" verkopen. De ene verkoopt het vers uit een high-end oven (Hoog Kwaliteit, Hoge Prijs). De andere verkoopt het uit een magnetron die al 10 jaar draait (Lagere Kwaliteit, Lage Prijs). Als je alleen naar het etiket "Brood" kijkt, kun je het verschil niet zien.
De Realiteit: Het paper ontdekte dat voor precies hetzelfde AI-model, verschillende providers 12 keer sneller of 6 keer energiezuiniger kunnen zijn dan elkaar. Sommige zijn zo "gekwantiseerd" (gecomprimeerd om geld te besparen) dat ze meer fouten maken in wiskunde en coderen dan de originele versie.

2. De Oplossing: Het Meten van het "Eindpunt"

Token Arena verandert de eenheid van meting. In plaats van het Model te rangschikken, rangschikt het het Eindpunt.

De Analogie: In plaats van "Toyota" te rangschikken, rangschikken ze "De Toyota die wordt verkocht bij de specifieke dealer in Chicago met de V6-motor en de specifieke banden die erop zijn gemonteerd".
Wat is een Eindpunt? Het is de specifieke combinatie van: Wie verkoopt het? Welk model? Welke specifieke versie (Turbo versus Standaard)? Waar staat de server?

3. De Drie Grote Scores (De "Kopteksten")

Token Arena geeft niet slechts één score; het geeft je drie hoofdcijfers om je te helpen beslissen, net als een auto-bericht dat je MPG, Prijs en Veiligheidsscore geeft.

Joules per Correct Antwoord (De Energiefactuur):
- De Analogie: Hoeveel elektriciteit kost het om de AI een probleem correct te laten oplossen?
- Waarom het belangrijk is: Sommige AI-eindpunten zijn verspillend. Ze kunnen 6 keer meer energie gebruiken om hetzelfde juiste antwoord te krijgen als een concurrent. Naarmate de wereld minder energie heeft, wordt dit een enorme kostenpost.
Dollars per Correct Antwoord (De Portemonnee-factuur):
- De Analogie: Hoeveel geld geef je uit om een juist antwoord te krijgen?
- Waarom het belangrijk is: Een goedkope AI kan zo traag zijn of zoveel fouten maken dat je het 10 keer moet vragen om één keer het juiste antwoord te krijgen. Token Arena berekent de echte kosten, niet alleen de "prijs per token" die op de website staat vermeld.
Eindpunt-Fideliteit (De "Is het het Echte Ding?"-test):
- De Analogie: Stel je voor dat je een "Nike"-schoen koopt. Is het een echte Nike, of een namaak die er net zo uitziet maar uit elkaar valt?
- Waarom het belangrijk is: Sommige providers nemen een krachtig model, comprimeren het zwaar om geld te besparen en verkopen het als het "origineel" zonder het je te vertellen. Token Arena heeft een "vingerafdrukscanner" die luistert naar de output van de AI. Als de "stem" van de AI iets anders klinkt dan de versie van de oorspronkelijke maker, markeert het dit als "Afwijkend" of "Gekwantiseerd".

4. De "Workload"-Twist: Eén Maat Past Niet Bij Iedereen

Het paper toont aan dat de "beste" AI volledig afhangt van wat je doet.

De Analogie: Een Formule 1-auto is het beste voor racen, maar verschrikkelijk om je kinderen naar het voetbaltraining te brengen. Een bestelbus is geweldig voor voetbal, maar verschrikkelijk voor racen.
De Bevinding:
- Als je aan het Chatten bent (korte vragen, korte antwoorden), winnen snelle en goedkope modellen.
- Als je aan het Redeneren bent (complexe wiskunde, lang nadenken), winnen dure, hoogwaardige modellen omdat ze het antwoord direct goed krijgen.
- Als je RAG doet (grote documenten lezen), winnen modellen die goedkoop zijn op "lees"- (input) kosten.
- De Schok: Het paper ontdekte dat de Top 10-lijst voor "Chat" bijna volledig verschillend is van de Top 10-lijst voor "Redeneren". Als je een AI kiest op basis van een generieke "Beste AI"-lijst, kies je misschien het verkeerde gereedschap voor je werk.

5. Hoe Ze Het Dedden (De "Continue Benchmark")

Token Arena is geen eenmalige test. Het is een live, continue race.

De Analogie: In plaats van dat een automagazine een auto één keer in een garage test, laat Token Arena robots deze AI-auto's 24/7 op echte wegen rijden.
Het Proces:
- Ze sturen duizenden testvragen (probes) elke dag naar 78 verschillende AI-eindpunten.
- Ze meten snelheid, kosten, energieverbruik en nauwkeurigheid.
- Ze controleren of de AI "liegt" over zijn kwaliteit door zijn antwoorden te vergelijken met de antwoorden van de oorspronkelijke maker.
- Ze updaten de ranglijst elke nacht.

6. De Belangrijkste Conclusie

Het paper concludeert dat de "Modelnaam" niet langer voldoende is.
Als je een bedrijf of ontwikkelaar bent die probeert een AI-app te bouwen, kun je niet zomaar zeggen "We gebruiken Llama 3". Je moet vragen: "Welke provider? Welke specifieke versie? Voor welke specifieke taak?"

Token Arena biedt de kaart om dit rommelige landschap te navigeren, en laat zien dat:

Variatie enorm is: Dezelfde model kan sterk verschillend presteren, afhankelijk van wie het verkoopt.
Energie belangrijk is: Sommige eindpunten zijn enorme energievreters.
Context belangrijk is: De "beste" AI verandert afhankelijk van of je aan het chatten, coderen of redeneren bent.

Kortom: Token Arena is een tool die je verhindert een "lemon"-AI te kopen alleen maar omdat het een chique naam op de doos heeft. Het kijkt onder de motorkap om te zien hoeveel energie het verbrandt, hoeveel het echt kost om een juist antwoord te krijgen, en of het echt het echte ding is.

1. Probleemstelling

Het paper identificeert een kritieke kloof in het huidige landschap van evaluatie van Large Language Models (LLM). Waar publieke benchmarks modellen vergelijken op het niveau van het model of de provider, worden beslissingen voor implementatie in de echte wereld genomen op het niveau van het endpoint. Een endpoint wordt gedefinieerd als een specifieke tuple van (provider, model, SKU, precisie, decoderingsstrategie, regio).

De auteurs betogen dat huidige leaderboards lijden aan drie structurele ondoorzichtigheden:

Endpoint-identiteit: Dezelfde modelnaam (bijvoorbeeld Llama 3.3 70B), aangeboden door verschillende providers of in verschillende SKUs (bijvoorbeeld FP8 versus BF16, Turbo versus Reference), vertoont significante, vaak niet-openbaar gemaakte variaties in gedrag, snelheid en kwaliteit. Aggregatie op provider-niveau verbergt deze verschillen.
Workload-identiteit: Standaard prijsbenchmarking gaat vaak uit van een statische input-output verhouding van 3:1 (typisch voor chat). Productieworkloads variëren echter enorm (bijvoorbeeld RAG bij 20:1, redeneren bij 1:5). Een prijsmodel van 3:1 weerspiegelt niet de ware kosten van diverse productietaken.
Betrouwbaarheid en energie-onzichtbaarheid: Bestaande metrics richten zich op mediane doorvoer of uptime, en negeren de "lange staart" van latentie die van invloed is op productie. Bovendien volgt geen enkele grote publieke leaderboard de energiekosten per correct antwoord, ondanks dat energie een bindende beperking wordt voor de industrie.

2. Methodologie: Het Token Arena Framework

Token Arena introduceert een continu, endpoint-niveau benchmarking framework dat energie en cognitie verenigt.

A. Eenheid van Analyse: Het Endpoint

Het framework behandelt het endpoint (niet het model) als de primaire eenheid van analyse. Het meet 78 distincte endpoints over 12 model-families en 33 providers.

B. Kernmetrics en Samengestelde Scores

Het framework synthetiseert vijf kernassen tot drie kopende samengestelde metrics:

Vijf Kernfactoren:
- Output Snelheid ( $S$ ): Tokens per seconde (streaming).
- Time to First Token ( $T$ ): Latentie (P50, P95, P99), inclusief Time to First Visible Token voor redenerende modellen.
- Gecombineerde Prijs ( $P_\pi$ ): Workload-bewuste prijsbepaling op basis van configureerbare input-output verhoudingen (bijvoorbeeld 20:1 voor RAG).
- Effectieve Context: De maximale contextlengte die $\ge$ 90% nauwkeurigheid behoudt bij taken voor ophaalwerk met lange context.
- Kwaliteit ( $Q$ ): Prestaties op een live suite van benchmarks (MMLU-Pro, AIME 2025, HumanEval+, etc.) die direct tegen het endpoint worden uitgevoerd.
- Endpoint Fidelity ( $R$ ): Een maatstaf voor de gelijkenis van output-verdeling met een eerste-partij referentie om stille kwantisatie of gewichtssubstitutie te detecteren.
Kopende Compositen:
Het framework berekent twee primaire efficiëntiemetrics en één fideliteitsmetric:
- Joule per Correct Antwoord (JCA): $JCA = \frac{j_e \cdot T_e}{A_e}$ (Energiekosten per succesvolle taak).
- Dollar per Correct Antwoord (CCA): $CCA = \frac{p_e \cdot T_e}{A_e}$ (Monetaire kosten per succesvolle taak).
- Endpoint Fidelity: Een score gebaseerd op gesymmetriseerde KL-divergentie tussen de output-verdeling van het endpoint en een hoge-fideliteit referentie.
Energie Modeling:
Omdat directe metering onmogelijk is, wordt energie gemodelleerd met behulp van publieke data: Thermal Design Power (TDP), benuttingspercentages, Power Usage Effectiveness (PUE) en regionale netintensiteit (ElectricityMaps). Het model neigt tot aannames die leiden tot een hoger energieverbruik om een conservatieve ondergrens voor de variantie te bieden.

C. Data Pipeline

Probing: Continu, geografisch verspreid proeven (US-East, EU-Central, APAC) die latentie, doorvoer en foutpercentages meten.
Evaluatie: Dagelijkse en wekelijkse runs van onbesmette eval-suites (bijvoorbeeld AIME 2025, LiveCodeBench) tegen alle endpoints.
Fingerprinting: Het vergelijken van output-verdelingen met een "first-party" referentie om niet-openbaar gemaakte kwantisatie te detecteren (bijvoorbeeld FP8 versus BF16).

3. Belangrijkste Bijdragen

Meetframework: Een nieuwe methodologie die het endpoint definieert als eenheid van analyse, met kopende metrics die gericht zijn op efficiëntie (Joule/$ per correct antwoord) in plaats van ruwe doorvoer.
Continu Data Plane: Een live systeem dat 78 endpoints bestrijkt, met draaiende eval-splits om besmetting te voorkomen en fingerprinting om stille model-drift te detecteren.
Empirische Analyses:
- Endpoint Divergentie: Aantonen dat hetzelfde model op verschillende endpoints kan variëren tot 12,5 punten in nauwkeurigheid (op AIME 2025) en 6,2x in energie-efficiëntie.
- Fingerprint Detectie: Succesvol identificeren van niet-openbaar gemaakte kwantisatie (FP8 Turbo SKUs) via divergentie in output-verdeling (99,5% fideliteitsthrshold) voordat kwaliteitsdegradatie voor gebruikers duidelijk is.
- Workload-bewuste Herordening: Aantonen dat het veranderen van de input-output verhouding (bijvoorbeeld van Chat 3:1 naar RAG 20:1) de leaderboard volledig herschikt, met slechts 30–40% overlap in de top-10 lijsten.
Open Release: Volledige release van het schema, probe/eval-harnas, energiemodellen en een v1.0 leaderboard-snapshot onder CC BY 4.0.

4. Belangrijkste Resultaten

Variatie op Endpoint-niveau: Voor het model gpt-oss-120B over 19 endpoints:
- Doorvoer: Variatie van 12x.
- Prijs: Variatie van 3,3x.
- Nauwkeurigheid (AIME 2025): Variatie van 9,5 punten (41,5% tot 51,0%).
- Energie-efficiëntie: Variatie van 6,2x in Joule per correct antwoord.
Kwantisatie Detectie: FP8/Turbo SKUs toonden een daling in fideliteit tot ~92% vergeleken met BF16-referenties, wat correleerde met een daling van 5–9 punten in wiskunde/code-benchmarks, zelfs wanneer standaard "smoke test" benchmarks (zoals MMLU) geen gat lieten zien.
Workload Gevoeligheid:
- Chat (3:1): Bevoordeelt snelle, goedkope open-weight modellen.
- Redeneren (1:5): Verheft geavanceerde gesloten modellen (bijvoorbeeld Claude Opus, GPT-5.5) omdat hun hoge nauwkeurigheid zwaarder weegt dan hoge tokenkosten bij het berekenen van "kosten per correct antwoord".
- RAG (20:1): Bevoordeelt providers met agressieve input-prijsbepaling (bijvoorbeeld DeepSeek, korting serverless providers).
Stabiliteit: Gevoeligheidsanalyse toont aan dat de top-rangschikkingen robuust zijn voor gewichtsperturbaties ( $\pm$ 10%), waarbij de leider van elke preset invariant blijft.

5. Betekenis

Token Arena verschuift het paradigma van AI-evaluatie van "Lost dit model de benchmark op?" naar "Hoe efficiënt converteert dit specifieke endpoint energie en geld in correcte antwoorden voor een specifieke workload?"

Voor Praktici: Het biedt een datagedreven methode om inferentieproviders te selecteren op basis van daadwerkelijke productiebeperkingen (latentie-staarten, energiekosten en specifieke workload-verhoudingen) in plaats van marketingclaims.
Voor de Industrie: Het benadrukt de "energieknoop" in AI, en biedt het eerste publieke framework om de energiekosten van intelligentie te kwantificeren.
Voor Transparantie: Het blootlegt "stille" praktijken zoals niet-openbaar gemaakte kwantisatie en modelsubstitutie, en dwingt providers tot meer transparantie over SKU-verschillen.

Het paper concludeert dat naarmate AI-inferentie de dominante kostendrijver wordt en energie de bindende beperking, evaluatie moet evolueren tot endpoint-niveau, workload-bewust en energie-inclusief. Token Arena biedt de methodologie en infrastructuur om dit te bereiken.