Token Arena: A Continuous Benchmark Unifying Energy and Cognition in AI Inference

1. Declaração do Problema

O artigo identifica uma lacuna crítica no cenário atual de avaliação de Modelos de Linguagem de Grande Escala (LLMs). Embora benchmarks públicos comparem modelos no nível de modelo ou provedor, as decisões de implantação no mundo real são tomadas no nível de endpoint. Um endpoint é definido como uma tupla específica de (provedor, modelo, SKU, precisão, estratégia de decodificação, região).

Os autores argumentam que os atuais rankings sofrem de três opacidades estruturais:

1. Identidade do Endpoint: O mesmo nome de modelo (por exemplo, Llama 3.3 70B) servido por diferentes provedores ou em diferentes SKUs (por exemplo, FP8 vs. BF16, Turbo vs. Referência) exibe variações significativas, muitas vezes não divulgadas, em comportamento, velocidade e qualidade. A agregação no nível do provedor oculta essas diferenças.
2. Identidade da Carga de Trabalho: Benchmarks de preços padrão frequentemente assumem uma razão estática de entrada para saída de 3:1 (típica de chat). No entanto, cargas de trabalho de produção variam enormemente (por exemplo, RAG em 20:1, raciocínio em 1:5). Um modelo de preços de 3:1 falha em refletir o custo real de tarefas de produção diversas.
3. Invisibilidade de Confiabilidade e Energia: Métricas existentes focam na taxa de transferência mediana ou tempo de atividade, ignorando a "cauda longa" da latência que impacta a produção. Além disso, nenhum grande ranking público rastreia o custo energético por resposta correta, apesar da energia se tornar uma restrição vinculativa para a indústria.

2. Metodologia: O Framework Token Arena

O Token Arena introduz um framework de benchmark contínuo, no nível de endpoint, que unifica energia e cognição.

A. Unidade de Análise: O Endpoint

O framework trata o endpoint (não o modelo) como a unidade primária de análise. Ele mede 78 endpoints distintos através de 12 famílias de modelos e 33 provedores.

B. Métricas Principais e Pontuações Compostas

O framework sintetiza cinco eixos principais em três métricas compostas principais:

1. Cinco Fatores Principais:

   • Velocidade de Saída ($S$): Tokens por segundo (streaming).
   • Tempo para o Primeiro Token ($T$): Latência (P50, P95, P99), incluindo Tempo para o Primeiro Token Visível para modelos de raciocínio.
   • Preço Combinado ($P_\pi$): Preços conscientes da carga de trabalho baseados em razões entrada:saída configuráveis (por exemplo, 20:1 para RAG).
   • Contexto Efetivo: O comprimento máximo de contexto que retém $\ge$90% de precisão em tarefas de recuperação de contexto longo.
   • Qualidade ($Q$): Desempenho em uma suíte ao vivo de benchmarks (MMLU-Pro, AIME 2025, HumanEval+, etc.) executada diretamente contra o endpoint.
   • Fidelidade do Endpoint ($R$): Uma medida de similaridade da distribuição de saída em relação a uma referência de primeira parte para detectar quantização silenciosa ou substituição de pesos.

2. Compostos Principais:
   O framework calcula duas métricas principais de eficiência e uma métrica de fidelidade:

   • Joules por Resposta Correta (JCA): $JCA = \frac{j_e \cdot T_e}{A_e}$ (Custo energético por tarefa bem-sucedida).
   • Dólares por Resposta Correta (CCA): $CCA = \frac{p_e \cdot T_e}{A_e}$ (Custo monetário por tarefa bem-sucedida).
   • Fidelidade do Endpoint: Uma pontuação baseada na divergência KL simetrizada entre a distribuição de saída do endpoint e uma referência de alta fidelidade.

3. Modelagem de Energia:
   Como a medição direta é impossível, a energia é modelada usando dados públicos: Potência de Projeto Térmico (TDP), taxas de utilização, Eficácia no Uso de Energia (PUE) e intensidade da rede regional (ElectricityMaps). O modelo tende a assumir um consumo de energia mais alto para fornecer um limite inferior conservador na variância.

C. Pipeline de Dados

• Sondagem: Sondagens contínuas e geograficamente distribuídas (US-East, EU-Central, APAC) medindo latência, taxa de transferência e taxas de erro.
• Avaliação: Execuções diárias e semanais de suítes de avaliação não contaminadas (por exemplo, AIME 2025, LiveCodeBench) contra todos os endpoints.
• Fingerprinting: Comparação das distribuições de saída contra uma referência de "primeira parte" para detectar quantização não divulgada (por exemplo, FP8 vs. BF16).

3. Contribuições Principais

1. Framework de Medição: Uma metodologia nova definindo o endpoint como a unidade de análise, com métricas principais focadas em eficiência (Joules/$ por resposta correta) em vez de taxa de transferência bruta.
2. Plano de Dados Contínuo: Um sistema ao vivo cobrindo 78 endpoints, apresentando divisões de avaliação rotativas para prevenir contaminação e fingerprinting para detectar desvio silencioso do modelo.
3. Análises Empíricas:
   • Divergência de Endpoint: Demonstrando que o mesmo modelo em diferentes endpoints pode variar em até 12,5 pontos em precisão (no AIME 2025) e 6,2x em eficiência energética.
   • Detecção de Fingerprint: Identificação bem-sucedida de quantização não divulgada (SKUs FP8 Turbo) via divergência na distribuição de saída (limiar de fidelidade de 99,5%) antes que a degradação da qualidade seja óbvia para os usuários.
   • Reclassificação Consciente da Carga de Trabalho: Mostrando que alterar a razão entrada:saída (por exemplo, de Chat 3:1 para RAG 20:1) reorganiza completamente o ranking, com apenas 30–40% de sobreposição nas listas dos 10 primeiros.
4. Lançamento Aberto: Lançamento completo do esquema, harness de sondagem/avaliação, modelos de energia e um snapshot do ranking v1.0 sob CC BY 4.0.

4. Resultados Principais

• Variação no Nível de Endpoint: Para o modelo gpt-oss-120B através de 19 endpoints:
  • Taxa de Transferência: Varia em 12x.
  • Preço: Varia em 3,3x.
  • Precisão (AIME 2025): Varia em 9,5 pontos (41,5% a 51,0%).
  • Eficiência Energética: Varia em 6,2x em Joules por resposta correta.
• Detecção de Quantização: SKUs FP8/Turbo mostraram uma queda de fidelidade para ~92% em comparação com referências BF16, correlacionando-se com uma queda de 5–9 pontos em benchmarks de matemática/código, mesmo quando benchmarks padrão de "teste de fumaça" (como MMLU) não mostraram lacuna.
• Sensibilidade à Carga de Trabalho:
  • Chat (3:1): Favorece modelos de pesos abertos rápidos e baratos.
  • Raciocínio (1:5): Eleva modelos fechados de fronteira (por exemplo, Claude Opus, GPT-5.5) porque sua alta precisão supera os altos custos de tokens ao calcular "custo por resposta correta".
  • RAG (20:1): Favorece provedores com preços agressivos de entrada (por exemplo, DeepSeek, provedores serverless com desconto).
• Estabilidade: Análise de sensibilidade mostra que os rankings superiores são robustos a perturbações de pesos ($\pm$10%), com o líder de cada predefinição permanecendo invariante.

5. Significado

O Token Arena muda o paradigma da avaliação de IA de "Este modelo resolve o benchmark?" para "Quão eficientemente este endpoint específico converte energia e dinheiro em respostas corretas para uma carga de trabalho específica?"

• Para Praticantes: Fornece um método orientado por dados para selecionar provedores de inferência com base em restrições reais de produção (caudas de latência, custos de energia e razões específicas de carga de trabalho) em vez de alegações de marketing.
• Para a Indústria: Destaca o "gargalo de energia" na IA, fornecendo o primeiro framework público para quantificar o custo energético da inteligência.
• Para Transparência: Expõe práticas "silenciosas" como quantização não divulgada e substituição de modelos, forçando provedores a serem mais transparentes sobre as diferenças de SKU.

O artigo conclui que, à medida que a inferência de IA se torna o principal motor de custos e a energia se torna a restrição vinculativa, a avaliação deve evoluir para ser no nível de endpoint, consciente da carga de trabalho e inclusiva de energia. O Token Arena fornece a metodologia e a infraestrutura para alcançar isso.