Resumo Técnico: A Capacidade do Modelo Domina a Otimização em Tempo de Inferência

1. Problema e Contexto

O artigo investiga a eficácia de técnicas de otimização em tempo de inferência (inference-time optimization) para melhorar o raciocínio matemático em Grandes Modelos de Linguagem (LLMs), especificamente no contexto da competição AIMO 3 (Olimpíada Matemática de IA).

O problema central abordado é a correlação de erros em métodos de votação majoritária (majority voting). A abordagem padrão, conhecida como Self-Consistency, envolve gerar múltiplas respostas para a mesma pergunta e escolher a resposta mais frequente. A Teoria do Júri de Condorcet sugere que, se os erros forem independentes e a precisão por tentativa ($p$) for maior que 0,5, a precisão do grupo converge para 1 à medida que o número de tentativas ($N$) aumenta.

No entanto, na prática, erros são frequentemente correlacionados: o mesmo modelo, com o mesmo prompt, tende a cometer os mesmos erros sistemáticos independentemente da semente aleatória. Isso reduz o tamanho efetivo da amostra ($N_{eff}$), limitando os ganhos da votação. A hipótese testada foi que atribuir estratégias de raciocínio estruturalmente diferentes (diversidade de prompts) a diferentes "votantes" poderia decorrelacionar os erros e melhorar o desempenho.

2. Metodologia

Os autores desenvolveram um sistema de inferência completo rodando em uma única GPU NVIDIA H100 80 GB, dentro do limite de 5 horas da competição, sem uso de APIs externas ou pré-cálculo de soluções.

Arquitetura do Sistema

• Modelo Principal: gpt-oss-120b (116.8B parâmetros totais, 5.1B ativos via Mixture-of-Experts - MoE), servido localmente via vLLM com quantização FP8.
• Pipeline de Inferência:
  1. Alocação de Orçamento: Divisão igualitária do tempo restante entre os problemas restantes.
  2. Tentativas Paralelas: Lançamento de $N=8$ threads concorrentes com sementes aleatórias diferentes.
  3. Raciocínio com Ferramentas: Geração e execução de código Python (via sandbox Jupyter persistente) usando bibliotecas como sympy, numpy e mpmath.
  4. Parada Antecipada: Cancelamento de tentativas restantes se 4 das 8 chegarem a um consenso não trivial.
  5. Votação Ponderada por Entropia: A resposta final é selecionada por uma votação onde o peso é inversamente proporcional à entropia (confiança) da resposta.

Experimentos Realizados

Os autores conduziram 23+ experimentos em 50 problemas de nível IMO (Olimpíada Internacional de Matemática), variando:

1. Diversidade de Prompts (Diverse Prompt Mixer): Combinação de 4 estratégias distintas:
   • Original: Raciocínio passo a passo padrão.
   • Small Cases First: Enumerar casos pequenos para encontrar padrões.
   • Work Backwards: Trabalhar a partir das restrições para trás.
   • Classify Then Solve: Classificar o tipo de problema e aplicar técnicas canônicas.
2. Configurações de Temperatura: Testes em $T=0.5, 0.8, 1.0, 1.2$.
3. Ablação de Modelos: Comparação com Qwen3.5-35B-A3B e Nemotron-Super-120B para validar a generalidade dos achados.
4. Variação de $N$: Testes com diferentes números de tentativas (ex: $N=3$ vs $N=8$).

3. Principais Descobertas e Resultados

A. A Diversidade de Prompts Falha

A hipótese central de que prompts diversificados decorrelacionariam erros e melhorariam a pontuação foi refutada.

• Resultados: A mistura de estratégias (ex: 2 prompts de cada tipo) resultou consistentemente em pontuações inferiores à linha de base (apenas o prompt original).
• Análise: Estratégias alternativas reduziram a precisão por tentativa ($\bar{p}$) mais do que conseguiram reduzir a correlação de erros ($\rho$). O ganho teórico na decorrelação não compensou a perda de qualidade intrínseca nas estratégias alternativas.
• Causa: Modelos treinados em conjuntos de dados matemáticos específicos (como NuminaMath) não são robustos a mudanças drásticas no formato de instrução. Mudar o prompt para "Trabalhar para trás" ou "Casos Pequenos" desvia a distribuição de entrada do que o modelo aprendeu, degradando a precisão.

B. A Temperatura já Garante Diversidade Suficiente

• Com temperatura alta ($T=1.0$), o modelo já explora caminhos de raciocínio substancialmente diferentes mesmo com o mesmo prompt.
• A correlação de erros medida ($\hat{\rho}$) foi próxima de zero ou até negativa (indicando que, quando o modelo erra, as respostas erradas tendem a ser diversas, não idênticas).
• Adicionar diversidade de prompts sobre uma temperatura alta é redundante e, na prática, prejudicial.

C. A Capacidade do Modelo é o Fator Dominante

Este é o achado mais significativo do trabalho.

• Gap de Capacidade: Houve uma diferença de 17 pontos na pontuação esperada entre o modelo gpt-oss-120b (precisão $\approx 0.69$, pontuação média $\approx 39.7$) e os modelos concorrentes (Qwen3.5 e Nemotron, precisão $\approx 0.46$, pontuação $\approx 23$).
• Comparação Controlada: Mesmo quando o gpt-oss-120b foi limitado a $N=3$ tentativas (igual ao orçamento de computação do Nemotron), ele ainda superou o Nemotron por 13 pontos (36 vs 23).
• Conclusão: Nenhuma otimização em tempo de inferência (tuning de prompt, temperatura, mistura de estratégias) conseguiu superar o ganho obtido simplesmente usando um modelo com maior capacidade intrínseca. O "truque" de inferência não consegue compensar uma lacuna de capacidade de ordem de magnitude.

D. Otimização como Loteria

Para problemas de fronteira (nível IMO), o sistema de inferência bem configurado atinge um ótimo local. Tentativas de "engenharia de prompt" complexas não melhoram a probabilidade de atingir pontuações extremas (ex: 44/50). A estratégia ótima para competições com limite de tempo é tratar cada submissão como um "bilhete de loteria": usar o melhor modelo possível, manter a temperatura alta e repetir submissões com a configuração padrão, em vez de gastar recursos em engenharia de prompts complexa.

4. Contribuições Chave

1. Refutação Empírica da Diversidade de Prompts: Demonstra que, para modelos de raciocínio matemático de ponta, a diversificação de prompts em tempo de inferência é ineficaz e frequentemente prejudicial devido à falta de robustez do modelo a mudanças de formato.
2. Medição de Correlação de Erros: Fornece evidências empíricas de que, com temperatura adequada, a correlação de erros entre tentativas do mesmo modelo é próxima de zero, invalidando a premissa de que é necessário diversificar prompts para quebrar correlações.
3. Hierarquia de Fatores de Sucesso: Estabelece uma hierarquia clara onde a capacidade do modelo (tamanho e qualidade do treinamento) domina todas as técnicas de otimização em tempo de inferência.
4. Reprodutibilidade: O artigo fornece configurações completas, prompts e logs de 27 submissões, servindo como um benchmark rigoroso para futuras pesquisas em otimização de inferência.

5. Significado e Implicações

O trabalho desafia a noção comum de que "mais engenharia de prompts" ou "mistura de estratégias" pode substituir a necessidade de modelos maiores ou melhor treinados.

• Para Competições de IA: A lição é clara: em cenários com restrições de hardware, a prioridade deve ser selecionar o modelo mais capaz que caiba na memória, manter a temperatura alta para diversidade estocástica natural e focar o orçamento de submissão em múltiplas tentativas da configuração padrão, em vez de tentar otimizar o prompt.
• Para Pesquisa Futura: Sugere que, para melhorar a robustez a prompts diversos, a intervenção deve ocorrer no tempo de treinamento (ex: treinamento com "Mixture of Formats" - MOF), e não no tempo de inferência. A otimização em tempo de inferência tem retornos decrescentes rápidos uma vez que o sistema base está bem configurado.

Em resumo, o artigo conclui que, para problemas matemáticos de alta complexidade, a capacidade do modelo domina a otimização em tempo de inferência por uma ordem de magnitude.