Token Arena: A Continuous Benchmark Unifying Energy and Cognition in AI Inference

1. Enunciato del Problema

Il paper identifica un divario critico nel panorama attuale della valutazione dei Large Language Model (LLM). Mentre i benchmark pubblici confrontano i modelli a livello di modello o di fornitore, le decisioni di deployment nel mondo reale vengono prese a livello di endpoint. Un endpoint è definito come una tupla specifica di (fornitore, modello, SKU, precisione, strategia di decoding, regione).

Gli autori sostengono che le classifiche attuali soffrono di tre opacità strutturali:

1. Identità dell'Endpoint: Lo stesso nome di modello (ad esempio, Llama 3.3 70B) servito da fornitori diversi o in SKU diversi (ad esempio, FP8 vs BF16, Turbo vs Reference) presenta variazioni significative, spesso non divulgate, nel comportamento, nella velocità e nella qualità. L'aggregazione a livello di fornitore nasconde queste differenze.
2. Identità del Carico di Lavoro: I benchmark di prezzo standard spesso assumono un rapporto input:output statico di 3:1 (tipico per la chat). Tuttavia, i carichi di lavoro di produzione variano enormemente (ad esempio, RAG a 20:1, ragionamento a 1:5). Un modello di prezzo 3:1 non riflette il vero costo di compiti di produzione diversificati.
3. Invisibilità dell'Affidabilità e dell'Energia: Le metriche esistenti si concentrano sul throughput mediano o sull'uptime, ignorando la "coda lunga" della latenza che impatta la produzione. Inoltre, nessuna classifica pubblica importante traccia il costo energetico per risposta corretta, nonostante l'energia stia diventando un vincolo vincolante per il settore.

2. Metodologia: Il Framework Token Arena

Token Arena introduce un framework di benchmarking continuo a livello di endpoint che unifica energia e cognizione.

A. Unità di Analisi: L'Endpoint

Il framework tratta l'endpoint (non il modello) come l'unità primaria di analisi. Misura 78 endpoint distinti attraverso 12 famiglie di modelli e 33 fornitori.

B. Metriche Principali e Punteggi Compositi

Il framework sintetizza cinque assi principali in tre metriche composite principali:

1. Cinque Fattori Principali:

   • Velocità di Output ($S$): Token al secondo (streaming).
   • Tempo al Primo Token ($T$): Latenza (P50, P95, P99), incluso il Tempo al Primo Token Visibile per i modelli di ragionamento.
   • Prezzo Fuso ($P_\pi$): Prezzi consapevoli del carico di lavoro basati su rapporti input:output configurabili (ad esempio, 20:1 per RAG).
   • Contesto Effettivo: La lunghezza massima del contesto che mantiene un'accuratezza $\ge$90% su compiti di recupero a contesto lungo.
   • Qualità ($Q$): Prestazioni su una suite di benchmark live (MMLU-Pro, AIME 2025, HumanEval+, ecc.) eseguiti direttamente contro l'endpoint.
   • Fedeltà dell'Endpoint ($R$): Una misura della similarità della distribuzione di output rispetto a un riferimento di prima parte per rilevare quantizzazione silenziosa o sostituzione di pesi.

2. Compositi Principali:
   Il framework calcola due metriche di efficienza primarie e una metrica di fedeltà:

   • Joule per Risposta Corretta (JCA): $JCA = \frac{j_e \cdot T_e}{A_e}$ (Costo energetico per compito riuscito).
   • Dollari per Risposta Corretta (CCA): $CCA = \frac{p_e \cdot T_e}{A_e}$ (Costo monetario per compito riuscito).
   • Fedeltà dell'Endpoint: Un punteggio basato sulla divergenza KL simmetrizzata tra la distribuzione di output dell'endpoint e un riferimento ad alta fedeltà.

3. Modellazione Energetica:
   Poiché la misurazione diretta è impossibile, l'energia è modellata utilizzando dati pubblici: Thermal Design Power (TDP), tassi di utilizzo, Power Usage Effectiveness (PUE) e intensità della rete regionale (ElectricityMaps). Il modello spinge le assunzioni verso un consumo energetico più elevato per fornire un limite inferiore conservativo sulla varianza.

C. Pipeline dei Dati

• Sondaggio (Probing): Sonde continue e geograficamente distribuite (US-East, EU-Central, APAC) che misurano latenza, throughput e tassi di errore.
• Valutazione: Esecuzioni giornaliere e settimanali di suite di valutazione incontaminate (ad esempio, AIME 2025, LiveCodeBench) contro tutti gli endpoint.
• Impronta Digitale (Fingerprinting): Confronto delle distribuzioni di output rispetto a un riferimento "di prima parte" per rilevare quantizzazione non divulgata (ad esempio, FP8 vs BF16).

3. Contributi Chiave

1. Framework di Misurazione: Una metodologia innovativa che definisce l'endpoint come unità di analisi, con metriche principali focalizzate sull'efficienza (Joule/$ per risposta corretta) piuttosto che sul throughput grezzo.
2. Piano Dati Continuo: Un sistema live che copre 78 endpoint, con split di valutazione rotanti per prevenire contaminazioni e impronte digitali per rilevare derive silenti del modello.
3. Analisi Empiriche:
   • Divergenza dell'Endpoint: Dimostrando che lo stesso modello su endpoint diversi può variare fino a 12,5 punti in accuratezza (su AIME 2025) e 6,2 volte in efficienza energetica.
   • Rilevamento dell'Impronta Digitale: Identificazione riuscita di quantizzazione non divulgata (SKU FP8 Turbo) tramite divergenza della distribuzione di output (soglia di fedeltà del 99,5%) prima che il degrado della qualità sia evidente per gli utenti.
   • Riordino Consapevole del Carico di Lavoro: Dimostrando che cambiare il rapporto input:output (ad esempio, da Chat 3:1 a RAG 20:1) ridisegna completamente la classifica, con una sovrapposizione del 30–40% nelle liste dei primi 10.
4. Rilascio Aperto: Rilascio completo dello schema, dell'infrastruttura di sondaggio/valutazione, dei modelli energetici e di un'istantanea della classifica v1.0 sotto licenza CC BY 4.0.

4. Risultati Chiave

• Variazione a Livello di Endpoint: Per il modello gpt-oss-120B su 19 endpoint:
  • Throughput: Varia di 12 volte.
  • Prezzo: Varia di 3,3 volte.
  • Accuratezza (AIME 2025): Varia di 9,5 punti (dal 41,5% al 51,0%).
  • Efficienza Energetica: Varia di 6,2 volte in Joule per risposta corretta.
• Rilevamento della Quantizzazione: Gli SKU FP8/Turbo hanno mostrato un calo di fedeltà a circa il 92% rispetto ai riferimenti BF16, correlato a un calo di 5–9 punti nei benchmark di matematica/codice, anche quando i benchmark standard "smoke test" (come MMLU) non mostravano alcun divario.
• Sensibilità al Carico di Lavoro:
  • Chat (3:1): Favorisce modelli open-weight veloci ed economici.
  • Ragionamento (1:5): Eleva i modelli chiusi all'avanguardia (ad esempio, Claude Opus, GPT-5.5) perché la loro alta accuratezza compensa gli alti costi dei token quando si calcola il "costo per risposta corretta".
  • RAG (20:1): Favorisce fornitori con prezzi aggressivi per l'input (ad esempio, DeepSeek, fornitori serverless scontati).
• Stabilità: L'analisi di sensibilità mostra che le classifiche superiori sono robuste rispetto a perturbazioni dei pesi ($\pm$10%), con il leader di ogni preset che rimane invariato.

5. Significato

Token Arena sposta il paradigma della valutazione dell'IA da "Questo modello risolve il benchmark?" a "Quanto efficientemente questo specifico endpoint converte energia e denaro in risposte corrette per un carico di lavoro specifico?"

• Per i Pratici: Fornisce un metodo guidato dai dati per selezionare i fornitori di inferenza in base a vincoli di produzione reali (code di latenza, costi energetici e rapporti specifici del carico di lavoro) piuttosto che a affermazioni di marketing.
• Per il Settore: Evidenzia il "collo di bottiglia energetico" nell'IA, fornendo il primo framework pubblico per quantificare il costo energetico dell'intelligenza.
• Per la Trasparenza: Espone pratiche "silenziose" come la quantizzazione non divulgata e la sostituzione di modelli, costringendo i fornitori a essere più trasparenti sulle differenze tra SKU.

Il paper conclude che, poiché l'inferenza dell'IA diventa il principale motore dei costi e l'energia diventa il vincolo vincolante, la valutazione deve evolversi per essere a livello di endpoint, consapevole del carico di lavoro e inclusiva dell'energia. Token Arena fornisce la metodologia e l'infrastruttura per raggiungere questo obiettivo.