Cost-of-Pass: An Economic Framework for Evaluating Language Models

1. O Problema

A adoção generalizada de sistemas de IA na economia depende da capacidade de gerar valor econômico que supere os custos de inferência. Atualmente, a avaliação de Modelos de Linguagem (LMs) foca predominantemente em métricas de precisão (acurácia) ou em orçamentos de inferência fixos e heurísticos. Isso cria uma visão incompleta, pois ignora o trade-off fundamental entre desempenho e custo monetário.

O problema central é a falta de uma métrica unificada que quantifique a eficiência econômica real: quanto custa, em termos monetários esperados, para que um modelo produza uma solução correta para uma tarefa específica? Métricas existentes falham em capturar a natureza estocástica dos LMs (onde múltiplas tentativas podem ser necessárias) e não comparam diretamente a viabilidade econômica dos modelos em relação ao trabalho humano.

2. Metodologia

Os autores propõem um framework baseado na Teoria da Produção Econômica (especificamente nos trabalhos de Farrell, 1957, e Aigner et al., 1977), adaptando conceitos de eficiência técnica e de preço para o domínio dos LMs.

Conceitos Fundamentais:

• Custo de Passagem (Cost-of-Pass): Definido como o custo monetário esperado para obter uma solução correta. Dado um modelo $m$ e um problema $p$:
  $$v(m, p) = \frac{C_m(p)}{R_m(p)}$$
  Onde:

  • $C_m(p)$ é o custo esperado de uma única tentativa de inferência (baseado no número de tokens e preço por token).
  • $R_m(p)$ é a probabilidade de sucesso (acurácia) do modelo em produzir uma resposta correta.
  • Se $R_m(p) = 0$, o custo é infinito (inviável).

• Fronteira de Custo de Passagem (Frontier Cost-of-Pass): Representa o custo mínimo alcançável para resolver um problema, considerando todos os modelos disponíveis e uma linha de base humana.
  $$V_p(\mathcal{M} \cup \mathcal{M}_0) = \min \left( \min_{m \in \mathcal{M}} v(m, p), \ v(\text{expert}, p) \right)$$
  Onde $\mathcal{M}_0$ é o especialista humano, assumindo acurácia próxima de 100% e um custo calculado com base em taxas horárias de mercado e tempo necessário para a tarefa.

• Análise Contrafactual: Para entender quais famílias de modelos são essenciais para o progresso, os autores calculam a fronteira de custo removendo uma família específica de modelos (ex: modelos de raciocínio) e medindo o impacto relativo no custo final.

• Estimativa de Custo Humano: Os autores estimaram o custo de contratação de um especialista humano para cada dataset (ex: $100/hora para GPQA-Diamond, $15/hora para BBQ), considerando o tempo médio de resolução e qualificações necessárias.

3. Contribuições Principais

1. Novo Framework Econômico: Introdução do "Cost-of-Pass" como uma métrica padronizada que integra acurácia e custo em um único valor monetário esperado.
2. Linha de Base Humana: Estabelecimento de um baseline de custo de especialista humano para contextualizar se os LMs são economicamente viáveis.
3. Análise de Ecossistema: Avaliação de como diferentes famílias de modelos (Leves, Grandes e de Raciocínio) contribuem para a fronteira de eficiência em diferentes categorias de tarefas.
4. Avaliação de Técnicas de Inferência: Análise econômica de técnicas de tempo de inferência (como Self-Refinement, Majority Voting e TALE-EP) para determinar se os ganhos de desempenho justificam o aumento de custo.

4. Resultados e Descobertas Chave

A. Nichos Econômicos Distintos

A análise revelou que não existe um "melhor modelo" universal; a eficiência depende da tarefa:

• Tarefas Quantitativas Básicas: Modelos Leves (ex: Llama-3.1-8B, GPT-4o mini) são os mais eficientes. Como a acurácia é alta em todos os modelos para tarefas simples, o menor custo por token torna os modelos leves os vencedores.
• Tarefas Baseadas em Conhecimento: Modelos Grandes (ex: GPT-4o, Claude 3.5 Sonnet) dominam, pois conseguem recuperar fatos complexos com melhor custo-benefício do que modelos leves (que falham mais) ou modelos de raciocínio (que são muito caros).
• Tarefas Quantitativas Complexas: Modelos de Raciocínio (ex: OpenAI o1, DeepSeek-R1) são essenciais. Apesar de terem custos por token muito mais altos, sua acurácia superior reduz drasticamente o número de tentativas necessárias, resultando no menor "Custo de Passagem" final.

B. Progresso Temporal

Ao rastrear a fronteira de custo de passagem de maio de 2024 a fevereiro de 2025:

• Houve uma redução exponencial nos custos para todas as tarefas.
• Para tarefas quantitativas complexas (como AIME-2024 e MATH-500), o custo esperado de gerar uma solução correta caiu pela metade a cada poucos meses (aprox. a cada 2,6 meses para MATH-500).

C. Essencialidade das Famílias de Modelos

Através da análise contrafactual:

• A inovação em modelos leves foi crucial para reduzir custos em tarefas básicas.
• Modelos grandes foram os principais impulsionadores em benchmarks de conhecimento (GPQA).
• Modelos de raciocínio foram o fator determinante para avanços em matemática complexa e problemas de raciocínio lógico.

D. Impacto de Técnicas de Inferência

• Técnicas comuns focadas em desempenho, como Self-Refinement e Majority Voting (consistência), geralmente não oferecem benefícios econômicos líquidos. O custo adicional de tokens e tempo de computação supera os ganhos marginais de acurácia.
• A técnica TALE-EP (consciente de orçamento), que ajusta a geração com base em um orçamento de tokens previsto, mostrou algum potencial de redução de custos em subconjuntos de tarefas.

5. Significado e Conclusão

O artigo demonstra que a inovação em nível de modelo (arquitetura e treinamento) é o principal motor da eficiência econômica, superando as técnicas de inferência de tempo de execução (test-time techniques).

O framework "Cost-of-Pass" fornece uma ferramenta principial para:

1. Seleção de Modelos: Guiar a escolha de modelos baseada no ROI (Retorno sobre Investimento) para tarefas específicas, em vez de apenas na precisão bruta.
2. Avaliação de Progresso: Medir o avanço da indústria de IA em termos de redução de custos reais, não apenas em benchmarks de acurácia.
3. Sustentabilidade Econômica: Identificar quando os LMs se tornam economicamente superiores ao trabalho humano para tarefas específicas, sinalizando o momento de adoção em larga escala.

Em suma, o trabalho argumenta que a eficiência econômica, e não apenas a capacidade bruta, será o fator determinante para a adoção generalizada de LMs na economia real.