Resumo Técnico: LLM-WikiRace

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram proficiência em domínios estreitos, como o raciocínio matemático ou tarefas específicas do mundo real, como o planejamento de viagens. No entanto, os benchmarks existentes frequentemente falham em avaliar como os modelos aproveitam a amplitude do conhecimento de mundo adquirido durante o pré-treinamento para realizar o planejamento ativo e o raciocínio em ambientes de domínio aberto. Embora o raciocínio e o conhecimento de mundo sejam frequentemente estudados isoladamente, as tarefas do mundo real exigem sua integração estreita.

O artigo introduz o LLM-WikiRace, um benchmark projetado para avaliar a capacidade de um LLM de navegar em um grafo de conhecimento do mundo real (Wikipedia) usando apenas informações locais e conhecimento interno. A tarefa exige que um agente atravesse de uma página da Wikipedia de origem até uma página de destino selecionando hiperlinks passo a passo. Crucialmente, o agente não tem acesso à estrutura global do grafo, caminhos mais curtos ou ao conteúdo de páginas não visitadas; ele deve confiar no conhecimento de mundo pré-treinado para inferir conexões semânticas e planejar sequências de ações de longo horizonte.

Metodologia

Construção do Benchmark

• Fonte do Grafo: O benchmark é construído sobre um snapshot da Wikipedia de 23 de junho de 2025. Os autores mantiveram o maior componente fortemente conectado, resultando em um grafo de 549.232 páginas onde cada nó é alcançável a partir de qualquer outro nó.
• Mecânica da Tarefa: Em cada etapa, o modelo recebe o título da página atual, o título da página de destino, o histórico de páginas visitadas e uma lista de até 50 títulos de links de saída. O modelo deve selecionar um link para seguir. O episódio termina ao atingir o alvo ou esgotar um orçamento de 30 passos.
• Estratificação de Dificuldade: O benchmark é dividido em três níveis de dificuldade baseados no comprimento do caminho mais curto entre a origem e o destino:
  • Fácil: 200 pares com comprimentos de caminho de 3 ou 4.
  • Médio: 150 pares com comprimentos de caminho de 5 ou 6.
  • Difícil: 100 pares com comprimentos de caminho de 7 ou 8.
• Restrições: Para garantir que a tarefa dependa do conhecimento interno em vez de recuperação em contexto, o texto do corpo do artigo atual é excluído do prompt. A lista de links de saída é limitada a 50; para páginas com mais links, os 50 mais próximos do destino (em termos de caminho mais curto) são selecionados, embora essa informação seja oculta do modelo para evitar atalhos algorítmicos.

Protocolo de Avaliação

• Modelos Avaliados: Um conjunto diversificado de mais de 20 modelos, incluindo modelos de fronteira de código fechado (Gemini 3.1, GPT-5, Claude Opus 4.6, Grok 4.1) e modelos de código aberto (LLaMA 3, Gemma 3, DeepSeek R1, Kimi K2, Mistral, Qwen e modelos baseados em difusão).
• Métricas:
  • Taxa de Sucesso: A porcentagem de jogos completados dentro do orçamento de passos.
  • Passos Subotimizados: O número médio de passos excedentes dados em jogos bem-sucedidos (medindo a eficiência do caminho).
  • Sonda de Conhecimento de Mundo: Uma tarefa de classificação separada onde os modelos preveem se duas páginas estão diretamente ligadas, usada para correlacionar o conhecimento interno com o desempenho de planejamento.
• Análise: O estudo inclui análise de nível de trajetória para examinar estratégias de planejamento, comportamentos de replanejamento e detecção de loops.

Principais Contribuições

1. Um Benchmark para Planejamento de Domínio Aberto: O LLM-WikiRace é o primeiro benchmark que exige planejamento interativo de múltiplos passos sobre o grafo completo de hiperlinks da Wikipedia, isolando a integração do conhecimento de mundo e do raciocínio de longo horizonte.
2. Identificação do "Gap de Planejamento": Os autores identificam uma divergência significativa de desempenho entre modelos de "raciocínio" (ex: GPT-5, DeepSeek R1) e modelos padrão de "instrução ajustada" (instruct-tuned). Apesar de possuírem níveis semelhantes de conhecimento de mundo (conforme medido por uma sonda estática), os modelos de raciocínio alcançam taxas de sucesso até 20 pontos percentuais superiores. Isso sugere que o pós-treinamento para raciocínio melhora a capacidade de implantar o conhecimento durante o planejamento.
3. Diagnóstico de Falhas de Replanejamento: A análise de trajetórias revela que mesmo os modelos mais fortes lutam para se recuperar de erros. Os modelos frequentemente entram em loops (revisitando páginas) e falham em replanejar efetivamente após reconhecer um caminho subótimo. Existe uma forte correlação negativa entre a frequência de loops e a taxa de sucesso.
4. Limites do Pós-Treinamento: Experimentos ajustando um modelo Qwen-2.5-7B usando o algoritmo DAPO mostram que, embora o pós-treinamento possa melhorar o desempenho em instâncias fáceis (aumentando o sucesso de 22,5% para 67,5%), esses ganhos não se transferem para dificuldades médias ou difíceis, que permanecem com 0% de sucesso.

Resultados

• Desempenho por Dificuldade:
  • Divisão Fácil: Modelos de fronteira alcançam altas taxas de sucesso (>90%), com o Gemini 3.1 liderando com 96,0%.
  • Divisão Média: O desempenho cai significamente, com os principais modelos (Gemini 3.1, Claude Opus 4.6) alcançando aproximadamente 50–70%.
  • Divisão Difícil: O desempenho colapsa. O melhor modelo, Gemini 3.1, tem sucesso em apenas 29% dos jogos difíceis. A maioria dos modelos de código aberto atinge sucesso próximo de zero nesta divisão.
• Comparação de Modelos:
  • Gemini 3.1 supera todos os outros modelos em todos os níveis de dificuldade.
  • GPT-5 e Claude Opus 4.6 seguem de perto, mas mostram uma queda de desempenho notável nas divisões média/difícil em comparação com seus predecessores ou outras variantes (ex: o GPT-5.2 teve um desempenho pior que o GPT-5 nas divisões média/difícil).
  • Modelos de Código Aberto: Geralmente ficam atrás dos equivalentes de código fechado, particularmente em instâncias difíceis. DeepSeek R1 e Kimi K2 são competitivos, mas ficam atrás dos principais realizadores.
• Comportamento de Replanejamento: A análise de trajetórias bem-sucedidas vs. malsucedidas mostra que os modelos frequentemente exibem estratégias de "busca por hubs" (movendo-se para tópicos amplos cedo) mas falham em escapar de loops uma vez formados. Por exemplo, em tarefas difíceis, o Gemini 3 encontrou loops em 86% dos casos, com uma taxa de sucesso de apenas 10% para essas trajetórias em loop.

Significância e Alegações

O artigo postula que o LLM-WikiRace serve como um "benchmark simples" que expõe limitações claras nos sistemas de raciocínio atuais. Sua significância reside em:

• Isolamento das Capacidades de Planejamento: Ao remover complexidades de domínios específicos e peculiaridades de uso de ferramentas, o benchmark revela que as falhas muitas vezes não derivam apenas de uma falta de habilidade de raciocínio, mas de uma incapacidade de recuperar ou aplicar o conhecimento de mundo de forma eficaz durante o planejamento de múltiplos passos.
• Destaque do Déficit de Replanejamento: O benchmark demonstra que os atuais modelos de fronteira, embora capazes de um planejamento inicial, carecem de controle adaptativo robusto. Eles frequentemente falham em revisar estratégias após uma falha, levando a loops repetitivos.
• Definição da Fronteira: Os resultados indicam que, embora os modelos tenham dominado a divisão fácil, a divisão difícil permanece amplamente não resolvida. O "gap de planejamento" sugere que os métodos atuais de pós-treinamento para raciocínio são insuficientes para preencher totalmente a divisão entre a recuperação de conhecimento e o planejamento eficaz de longo horizonte em ambientes complexos de domínio aberto.

Os autores concluem que o LLM-WikiRace oferece uma arena aberta onde os LLMs capazes de planejamento ainda têm muito a provar, particularmente em sua capacidade de navegar em grafos de conhecimento do mundo real sem assistência algorítmica.