Resumo Técnico: Como o Computo de Inferência Molda a Avaliação de LLMs de Fronteira

1. Definição do Problema

À medida que os benchmarks de IA de fronteira saturam, as tarefas de avaliação estão se deslocando para problemas mais difíceis e de longo horizonte, que exigem planejamento de múltiplos passos, uso de ferramentas e resolução de problemas iterativa. O desempenho nessas tarefas é cada vez mais sensível à quantidade e à alocação de computo disponível no momento do teste ("computo de inferência"). No entanto, muitos benchmarks existentes reportam o desempenho em um orçamento único e restritivo (por exemplo, limites fixos de tokens ou de turnos). Essa abordagem corre o risco de subestimar a capacidade do modelo, pois uma falha pode indicar que o modelo esgotou seu orçamento de inferência em vez de uma incapacidade de resolver a tarefa. Além disso, pontuações de orçamento fixo podem falhar em rastrear o progresso na habilidade de um modelo em converter computo adicional de tempo de inferência em desempenho, particularmente conforme novas gerações emergem.

2. Metodologia

Os autores conduziram um estudo sistemático de escalonamento de inferência em sete benchmarks desafiadores abrangendo engenharia de software, matemática, medicina e cibersegurança. O estudo avaliou até 12 modelos de linguagem de fronteira (lançados entre maio de 2025 e março de 2026) usando um framework experimental unificado.

Configuração Experimental

• Modelos: Seis modelos de fronteira de duas famílias (Anthropic Opus e OpenAI GPT) foram avaliados em cinco benchmarks principais. Adicionalmente, dados de dois benchmarks de cibersegurança (envolvendo 10 modelos) foram analisados para escalonamento de inferência.
• Benchmarks:
  • Stateful (Com Estado): TerminalBench 2.0, SWE-Bench Pro, FrontierMath, Cyber CTFs, The Last Ones.
  • Stateless (Sem Estado): HealthBench, Humanity's Last Exam (HLE).
• Intervenções de Escalonamento de Inferência: Os autores aplicaram três intervenções simples e reproduzíveis uniformemente em todas as tarefas:
  1. Orçamentos de Tokens Expandidos: Orçamentos totais de trajetória de 5M–30M de tokens (1 a 3 ordens de magnitude acima dos padrões típicos).
  2. Compactação de Contexto: Substituição de turnos anteriores por resumos gerados pelo modelo para permitir o escalonamento serial além das janelas de contexto nominais.
  3. Reenvio Iterativo: Tentativas de submissão ilimitadas (limitadas a 999) com uma guarda de repetição para evitar loops improdutivos.
• Condições de Feedback: Duas condições foram testadas para cada par modelo/benchmark:
  • Sem Feedback: Apenas um reconhecimento ambíguo; o modelo deve autoavaliar a conclusão da tarefa.
  • Feedback de Pontuação Oracle: Sinais explícitos de correção (ou crédito parcial para o HealthBench); as trajetórias terminam após a primeira submissão correta.
• Análise: O estudo mediu o desempenho cumulativo como uma função do total de tokens consumidos (curvas de escalonamento de inferência) e decompôs os ganhos geracionais em Alcance (tarefas desbloqueadas), Eficiência (tokens por solução) e Confiabilidade (taxa de sucesso nas tarefas desbloqueadas). O escalonamento paralelo (pass@k) também foi analisado ao dividir orçamentos fixos entre múltiplas trajetórias independentes.

3. Contribuições Principais e Resultados

3.1. O Escalonamento de Inferência é Substancial, mas Dependente do Benchmark

O estudo constata que orçamentos maiores de tokens melhoram substancialmente o desempenho em vários benchmarks, mas a magnitude dos ganhos varia significativamente:

• Alto Headroom (Margem de Melhora): Benchmarks como FrontierMath, Humanity's Last Exam (HLE) e Cyber CTFs mostram ganhos de desempenho substanciais muito além dos orçamentos publicados tipicamente. Por exemplo, estender o FrontierMath de 1M para 10M de tokens rendeu um ganho médio de +11,7%.
• Baixo Headroom: Benchmarks de engenharia de software (TerminalBench, SWE-Bench Pro) e HealthBench mostraram melhorias limitadas quando os orçamentos foram expandidos. O TerminalBench e o SWE-Bench Pro viram ganhos de apenas ~1,3% e ~0,3%, respectivamente, quando os orçamentos foram dobrados ou triplicados. O HealthBench mostrou sensibilidade mínima às intervenções de escalonamento serial sob o protocolo testado.
• Platô: Os retornos decrescentes variam conforme a geração do modelo e a condição de feedback. Modelos mais novos frequentemente continuam a melhorar em orçamentos maiores onde modelos antigos atingem o platô, sugerindo que avaliações de orçamento fixo podem perder as capacidades de modelos de fronteira.

3.2. Ganhos Geracionais Impulsionados por Alcance e Confiabilidade

A decomposição por nível de tarefa revela que as melhorias trans-geracionais em grandes orçamentos são impulsionadas principalmente por:

• Aumento do Alcance: Modelos mais novos desbloqueiam uma proporção maior de tarefas, particularmente as mais difíceis.
• Aumento da Confiabilidade: Modelos mais novos resolvem tarefas desbloqueadas de forma mais consistente através de trajetórias repetidas.
• Eficiência Condicional: Ganhos de eficiência de tokens (resolver tarefas com menos tokens) são desiguais entre os benchmarks e são frequentemente secundários à expansão do conjunto de tarefas solucionáveis. Modelos novos não resolvem consistentemente tarefas já alcançáveis de forma mais eficiente; em vez disso, eles resolvem novas tarefas que eram anteriormente inacessíveis.

3.3. Escolhas de Protocolo Moldam a Elicitação

O valor do escalonamento de inferência depende fortemente de como o computo é alocado e qual feedback é fornecido:

• Submissão Repetida: Melhora o desempenho em todos os benchmarks. O benefício é mais pronunciado quando o Feedback Oracle está disponível para guiar a busca contínua (ex: HLE e SWE-Bench Pro).
• Escalonamento Serial vs. Paralelo:
  • Escalonamento Paralelo (dividir um orçamento fixo entre múltiplas trajetórias independentes) gera ganhos significativos em benchmarks sem estado como HealthBench (+0,283 de ganho pass@10) e HLE (+0,183), mas ganhos mínimos em benchmarks com estado como FrontierMath e SWE-Bench Pro.
  • Modelos Mais Novos: Geralmente se beneficiam menos do amostragem paralela do que modelos antigos, sugerindo que extraem mais valor de uma única trajetória profunda.

4. Significância e Recomendações

O artigo argumenta que as pontuações de benchmarks são dependentes de protocolo e que uma pontuação única de orçamento fixo fornece uma imagem incompleta da capacidade de fronteira. Os autores propõem três mudanças fundamentais na prática de avaliação:

1. Reportar Capacidade como uma Função de Computo: As avaliações devem reportar curvas de desempenho através de uma gama de computo de tempo de inferência, em vez de um número único de orçamento fixo. Isso distingue entre avaliações quase saturadas e aquelas onde o computo adicional produz ganhos mensuráveis.
2. Especificação Explícita de Protocolo: Escolhas relativas a iteração, feedback e alocação de computo (serial vs. paralelo) devem ser tratadas como partes integrais do design da avaliação e reportadas explicitamente, pois alteram significativamente o desempenho medido.
3. Comparações de Orçamento Correspondentes: Ao comparar gerações de modelos, especialmente para configurações relevantes de segurança ou política, os modelos devem ser avaliados sobre uma ampla e compartilhada gama de computo com orçamentos correspondentes. Comparações de orçamento fixo podem representar cada vez mais erroneamente o progresso à medida que os modelos se tornam melhores em utilizar o tempo de inferência estendido.

O estudo conclui que, embora intervenções simples de escalonamento de inferência (maiores orçamentos, compactação de contexto, reenvio) possam elicitar capacidades significativas, a extensão desses ganhos é altamente dependente da estrutura da tarefa e do protocolo específico utilizado. Portanto, as avaliações devem ir além de métricas de ponto único para caracterizar o potencial total dos modelos de fronteira sob variadas restrições de tempo de inferência.