Resumo Técnico: OpenDeepThink

Declaração do Problema

Os paradigmas atuais para escalar a computação no tempo de teste em Modelos de Linguagem de Grande Escala (LLMs) focam principalmente em estender a profundidade de um único traço de raciocínio (por exemplo, cadeias de pensamento mais longas ou busca em árvore). Embora eficazes, essas abordagens sequenciais sofrem de uma fragilidade crítica: um único erro inicial pode desviar toda a trajetória. Por outro lado, abordagens paralelas como a amostragem Best-of-N, que geram múltiplos candidatos, enfrentam um "gargalo de seleção". Selecionar o melhor candidato de um conjunto geralmente requer verificadores de verdade fundamental (que estão indisponíveis em tarefas abertas), modelos de recompensa treinados ou juízes LLM pontuais. O artigo observa que a avaliação pontual por LLM é inerentemente ruidosa e positivamente enviesada, tornando-a pouco confiável para distinguir soluções corretas de incorretas na ausência de verificação externa.

Metodologia: OpenDeepThink

Os autores introduzem o OpenDeepThink, um framework de computação no tempo de teste baseado em população, projetado para escalar a amplitude do raciocínio sem exigir verificadores externos ou infraestrutura específica de domínio. O sistema mantém uma população de $n$ soluções candidatas e as evolui ao longo de $T$ gerações usando um único LLM ($\pi$) atuando tanto como gerador quanto como juiz.

O pipeline opera em três fases distintas por geração:

1. Amostragem Paralela e Comparação Pareada:

   • O sistema inicia com $n$ soluções candidatas.
   • Em cada geração, os candidatos são emparelhados aleatoriamente ($K$ pares por candidato).
   • O juiz LLM realiza comparações pareadas, determinando qual solução tem maior probabilidade de ser aceita por um juiz online hipotético. Crucialmente, o juiz também produz racionalizações em linguagem natural (críticas) explicando o veredito.
   • Para mitigar o viés de posição, a ordem de apresentação dos candidatos é aleatorizada.

2. Agregação Bradley–Terry:

   • Em vez de depender de taxas de vitória brutas, o sistema agrega resultados pareados usando o modelo Bradley–Terry (BT).
   • O modelo BT estima uma pontuação global de habilidade ($s_i$) para cada candidato, maximizando a verossimilhança logarítmica das comparações observadas, levando em conta a força dos oponentes enfrentados. Este "verificador suave" converte votos pareados ruidosos em uma classificação global coerente.
   • Seleção: Os 25% superiores dos candidatos são preservados como "elites". Os 25% inferiores são descartados. Os 50% do meio e as elites (75% superiores no total) prosseguem para mutação.

3. Mutação Orientada por Feedback:

   • Candidatos no top 75% são mutados com base nas críticas agregadas em linguagem natural de suas comparações pareadas.
   • O prompt de mutação permite explicitamente que o modelo refine a solução atual ou a abandone completamente por uma abordagem fundamentalmente diferente. Isso é projetado para impedir que o modelo apenas "corrija" uma estratégia falha.
   • O processo repete-se por $T$ gerações.

4. Seleção Final:

   • Após a última geração, uma rodada mais densa de comparações pareadas ($M$ pares) é realizada na população restante.
   • Uma classificação final Bradley–Terry seleciona a solução submetida.

Todo o pipeline é projetado para ser "embaraçosamente paralelo" dentro de cada rodada, exigindo uma profundidade sequencial de apenas oito chamadas de LLM (uma amostra inicial, duas rodadas por geração para $T=3$, e uma rodada final de seleção).

Contribuições Principais

1. Um Framework sem Verificador: O OpenDeepThink elimina a necessidade de casos de teste de verdade fundamental ou modelos de recompensa treinados, utilizando julgamentos pareados de LLM agregados via Bradley–Terry como um verificador suave.
2. Evolução Baseada em População: Diferentemente de métodos de auto-refinamento que iteram sobre uma única trajetória, o OpenDeepThink mantém uma população diversificada, permitindo que erros sejam expostos através de comparação direta (cabeça-a-cabeça) em vez de autoavaliação.
3. Transferibilidade entre Modelos: O framework demonstra que um único conjunto de hiperparâmetros pode escalar efetivamente o raciocínio em modelos de capacidades variadas (Gemini 3.1 Pro, 3 Flash e 2.5 Pro) sem reajuste.
4. Dataset CF-73: Os autores lançam o CF-73, um conjunto curado de 73 problemas do Codeforces anotados por especialistas (avaliados entre 2000 e 3100) com 99% de concordância entre avaliação local e vereditos oficiais, projetado especificamente para evitar contaminação por pré-treinamento.

Resultados Experimentais

O framework foi avaliado em 192 problemas de programação competitiva (CF-73 e NOI-119) e 82 questões do benchmark HLE multissubdomínio, usando o Gemini 3.1 Pro como modelo base.

• Programação Competitiva (Codeforces):

  • O OpenDeepThink aumentou o Elo efetivo do Codeforces do Gemini 3.1 Pro em +405 pontos (de 2851 para ~3256) ao longo de oito rodadas sequenciais (27 minutos de tempo de relógio).
  • Este ganho é comparável à melhoria de +411 pontos alcançada pelo "Gemini 3 Deep Think" sobre o modelo base no LiveCodeBench Pro.
  • Em problemas "Difíceis" (onde o pass@1 base é ~11%), o framework melhorou a taxa de aprovação para 36% via evolução e 50% via seleção.
  • O framework transferiu-se com sucesso para modelos mais fracos (Gemini 3 Flash) e mais fortes (Gemini 2.5 Pro) sem ajuste de hiperparâmetros.

• Multissubdomínio (Benchmark HLE):

  • Os resultados foram mistos e dependentes do domínio. Em domínios objetivamente verificáveis (Matemática, Biologia, Física), o framework mostrou ganhos (por exemplo, +17 pontos em Física).
  • Em domínios subjetivos (Humanidades, Ciências Sociais), o desempenho declinou significativamente (por exemplo, -25 pontos em Humanidades).
  • Os autores atribuem isso à confiabilidade do juiz pareado: onde o juiz pode discriminar confiavelmente a correção, a agregação BT amplifica o sinal; onde o julgamento é ambíguo, a seleção iterativa amplifica o ruído.

• Estudos de Ablação:

  • Pareado vs. Pontual: A avaliação pareada alcançou 86% de precisão em um conjunto de diagnóstico, comparado a 59% para a avaliação pontual, confirmando a superioridade da comparação relativa sobre a pontuação absoluta.
  • Sinal de Feedback: O feedback negativo (críticas sobre o que deu errado) impulsionou quase todas as melhorias de mutação; o feedback positivo forneceu benefício negligenciável.
  • Evolução vs. Seleção: Em problemas fáceis, a seleção (agregação BT) foi o fator dominante. Em problemas difíceis, o processo de mutação evolutiva foi o principal motor de melhoria.

Significado e Alegações

O artigo postula que o OpenDeepThink aborda um gargalo fundamental na escalabilidade da computação no tempo de teste: a incapacidade de selecionar o melhor candidato de um conjunto paralelo sem verificação externa. Ao combinar agregação Bradley–Terry pareada com mutação orientada por feedback, o framework permite que LLMs melhorem iterativamente a qualidade do raciocínio em domínios abertos.

Os autores afirmam que a eficácia do framework está intimamente acoplada à confiabilidade do juiz pareado. Ele atua como um "verificador suave" que pode impulsionar significativamente o desempenho em domínios com critérios de correção objetivos (como programação competitiva), mas pode degradar o desempenho em domínios subjetivos onde o juiz não consegue distinguir confiavelmente o raciocínio correto do incorreto. O trabalho sugere que futuros esforços de escalabilidade devem focar em designs baseados em população que aproveitem a comparação relativa em vez da autoavaliação absoluta, desde que o mecanismo de julgamento subjacente seja robusto.