💬 NLP

LoHoSearch: Benchmarking Long-Horizon Search Agents Beyond the Human Difficulty Ceiling

Para superar o teto de dificuldade dos atuais benchmarks de busca escritos por humanos, este artigo introduz o LoHoSearch, um benchmark automatizado baseado em grafos de conhecimento que apresenta 544 questões complexas de longo horizonte em 11 domínios que desafia significativamente os atuais agentes de busca de última geração, reduzindo sua precisão para 34,74%.

Autores originais: Jiarui Zhao, Rongzhi Zhang, Lingchuan Liu, Hao Yang, Xunliang Cai, Xi Su

Publicado 2026-06-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jiarui Zhao, Rongzhi Zhang, Lingchuan Liu, Hao Yang, Xunliang Cai, Xi Su

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: A Armadilha do "Modo Fácil"

Imagine um videogame onde o objetivo é encontrar um tesouro específico escondido. Durante o último ano, pesquisadores têm testado agentes de busca de IA (robôs que navegam pela internet) usando um jogo chamado BrowseComp.

No início, o jogo era difícil. Mas, como os humanos projetaram as perguntas, eles acidentalmente as tornaram fáceis demais. Os humanos tendem a escolher coisas famosas (como "A Torre Eiffel" ou "Taylor Swift") e conectá-las com pistas óbvias. É como esconder um tesouro atrás de uma porta com a etiqueta "Tesouro".

Como as pistas eram tão óbvias, os melhores robôs de IA aprenderam rapidamente a resolver 90% dos quebra-cabeças. O jogo perdeu sua capacidade de distinguir entre um robô inteligente e um robô realmente inteligente. A dificuldade atingiu um "teto" que os designers humanos não conseguiam quebrar porque não possuem um mapa perfeito de toda a internet para ver quantos outros "tesouros" poderiam se encaixar nas pistas.

A Solução: Construindo um "Super-Mapa"

Os autores deste artigo, LoHoSearch, decidiram parar de depender do palpite humano. Em vez disso, construíram um sistema massivo e automatizado baseado em um Grafo de Conhecimento (Knowledge Graph).

Pense neste Grafo de Conhecimento como um mapa digital gigante de toda a internet (especificamente da Wikipedia), contendo mais de 7 milhões de entidades (pessoas, lugares, coisas) e como elas estão conectadas.

Em vez de um humano escolher uma pergunta, o computador usa este mapa para:

Encontrar Caminhos "Difíceis": Ele procura por conexões onde existem milhares de respostas possíveis, não apenas uma ou duas famosas.
Construir Labirintos Complexos: Ele cria perguntas que exigem que o robô verifique muitos becos sem saída antes de encontrar o caminho certo.
Verificar a Resposta: Ele prova matematicamente que apenas uma resposta específica se encaixa nas pistas, garantindo que o quebra-cabeça seja justo.

O Novo Jogo: LoHoSearch

O resultado é um novo benchmark chamado LoHoSearch (Busca de Longo Horizonte/Long-Horizon Search). Ele contém 544 perguntas complicadas distribuídas em 11 tópicos diferentes (como música, esportes e filmes).

Veja como o novo jogo muda as regras:

O Espaço de Busca é Enorme: No jogo antigo, se a pista fosse "Quem cantou esta música?", poderia haver 5 cantores famosos. No LoHoSearch, a pista pode ser "Quem cantou esta música obscura de um ano específico em um gênero específico?", onde existem centenas de cantores possíveis. O robô tem que verificar todos eles.
O Labirinto é Retorcido: As perguntas não são apenas uma linha reta. Elas são como uma teia emaranhada onde você precisa cruzar informações de pistas que retornam umas sobre as outras. Você não pode apenas adivinhar; você tem que pensar profundamente.

Os Resultados: Os Robôs Bateram de Frente com uma Parede

Os pesquisadores testaram os modelos de IA mais inteligentes do mundo neste novo jogo. Os resultados foram chocantes:

O Jogo Antigo: Os melhores modelos pontuaram mais de 90%.
O Novo Jogo: Mesmo o melhor modelo absoluto (GPT-5.5) pontuou apenas 34,7%.

É como se os robôs tivessem passado de "Grandes Mestres" no xadrez para lutar para aprender as regras de um novo jogo muito mais difícil.

Por que os Truques Atuais Não Funcionam

Quando os robôs ficam presos em quebra-cabeças difíceis, eles geralmente tentam uma estratégia chamada "Gestão de Contexto". Imagine um detetive que escreveu 100 páginas de notas. Se o caderno ficar muito cheio, o detetive tenta resumir as notas ou jogar fora páginas antigas para abrir espaço para novas.

Os pesquisadores testaram essas estratégias no LoHoSearch.

No jogo antigo e fácil, esses truques ajudaram os robôs a melhorar em 14%.
No novo jogo difícil, os truques ajudaram em apenas 6,8%.

Isso mostra que o problema não é apenas lembrar das coisas; o problema é que o "labirinto" é tão complexo e o "espaço de busca" é tão grande que os cérebros atuais dos robôs simplesmente não conseguem lidar com a longa cadeia de raciocínio necessária.

A Conclusão

LoHoSearch prova que não podemos apenas continuar criando perguntas escritas por humanos levemente mais difíceis. Para testar verdadeiramente se a IA está ficando mais inteligente, precisamos usar um mapa gerado por computador para criar quebra-cabeças que sejam matematicamente garantidos como difíceis.

Este novo benchmark atua como um "teste de estresse" que revela os limites atuais da IA. Ele mostra que, embora a IA seja ótima em encontrar respostas fáceis, ela ainda luta significativamente quando precisa navegar em uma rede massiva e complexa de informações para encontrar uma única verdade oculta.

Resumo Técnico: LoHoSearch

Definição do Problema

Os benchmarks de agentes de busca, como o BrowseComp, atingiram rapidamente um "teto de dificuldade" onde até os modelos mais avançados alcançam mais de 90% de precisão. A causa raiz dessa saturação é a dependência de perguntas elaboradas por humanos. Os anotadores humanos carecem de uma perspectiva global sobre estatísticas de entidades, levando-os a selecionar entidades familiares com alta popularidade e conexões diretas. Consequentemente, esses benchmarks falham em maximizar sistematicamente dois determinantes centrais da dificuldade de busca:

Tamanho do Espaço de Busca: O número de entidades candidatas que satisfazem uma única restrição.
Complexidade Estrutural: O número de restrições que devem ser satisfeitas conjuntamente para identificar unicamente uma resposta.

Embora a profundidade de raciocínio (saltos de conhecimento) tenha sido bem abordada por benchmarks existentes, a combinação de grandes espaços de busca e alta complexidade estrutural cria um desafio de "longo horizonte" com o qual os agentes atuais lutam, mas que a construção humana não consegue escalar de forma confiável para produzir.

Metodologia

Para superar as limitações da autoria humana, os autores introduzem o LoHoSearch (Long-Horizon Search Agents), um benchmark construído através de um pipeline automatizado fundamentado em um grafo de conhecimento (KG) de larga escala.

1. Construção do Grafo de Conhecimento

O pipeline utiliza o dump completo da Wikipedia em inglês para construir um KG contendo aproximadamente 7,62 milhões de entidades e 265 milhões de arestas direcionadas.

Nós: Páginas da Wikipedia.
Arestas: Hiperlinks entre páginas.
Atributos: Cada entidade recebe um tipo (via Wikidata P31) e uma métrica de popularidade (grau de entrada).

2. Amostragem de Subgrafos

O sistema amostra dois tipos de subgrafos do KG para formar a base das perguntas, garantindo baixa popularidade das entidades para evitar inferências fáceis:

Subgrafos com Estrutura de Árvore: Um nó raiz (a resposta) conecta-se a nós intermediários, que se conectam a nós folha. As restrições são selecionadas para garantir que:
- Cada relação tenha um grande espaço de busca ( $|S| > \tau$ ).
- A interseção dos conjuntos de candidatos para todas as relações seja exatamente o nó raiz (garantindo unicidade).
- A remoção de qualquer relação única deixe múltiplos candidatos (garantindo que cada relação seja necessária).
Subgrafos com Estrutura de Grafo: Estes introduzem dependências cíclicas e restrições cruzadas, tornando o problema não decomponível. Eles são construídos de forma gananciosa para maximizar o número de arestas e o tamanho do espaço de busca, mantendo a conectividade e a diversidade de tipos.

3. Geração de QA e Verificação

Ofuscação: Para cada aresta no subgrafo, um LLM extrai uma descrição em linguagem natural da relação a partir da página da Wikipedia da entidade de origem. Para os nós folha, descrições de propriedades adicionais são acrescentadas.
Verificação de Busca: As relações são verificadas para garantir que não possam ser localizadas diretamente via mecanismos de busca ou inferidas por um LLM sem o contexto específico da pergunta.
Verificação de Unicidade: O sistema realiza buscas exaustivas de retrocesso (backtracking) no KG completo para confirmar que nenhum outro conjunto de entidades satisfaz as mesmas restrições estruturais.
Revisão Humana: As 544 perguntas finais passam por revisão humana profissional para verificar a correção da resposta, unicidade, coerência lógica e fluência linguística.

Principais Contribuições

Pipeline de Construção Automatizado: Um pipeline baseado em grafo de conhecimento que controla sistematicamente o tamanho do espaço de busca e a complexidade estrutural, quebrando o teto de dificuldade inerente aos benchmarks elaborados por humanos.
O Benchmark LoHoSearch: Um conjunto de dados de 544 perguntas verificadas por humanos em 11 domínios temáticos (ex: Música, Geografia, Cinema). Ele apresenta subgrafos estruturalmente complexos (tanto do tipo árvore quanto de grafo) com respostas únicas verificadas pelo KG.
Avaliação de Gestão de Contexto: O benchmark serve como um campo de teste rigoroso para avaliar estratégias de raciocínio de longo horizonte e gestão de contexto, revelando suas limitações em cenários de alta dificuldade.

Resultados Experimentais

Os autores avaliaram uma gama de modelos de última geração (incluindo GPT-5.5, DeepSeek-V4-Pro e Claude-Opus-4.6) no LoHoSearch.

Teto de Desempenho: Mesmo o modelo mais forte, GPT-5.5, alcançou apenas 34,74% de precisão. A maioria dos modelos pontuou abaixo de 14%, com alguns (ex: MiniMax-M2.5) pontuando tão baixo quanto 2,29%.
Uso de Ferramentas: Trajetórias corretas no LoLoSearch exigiram significativamente mais chamadas de ferramentas do que no BrowseComp. O número médio de chamadas de ferramentas aumentou de 35 (BrowseComp) para 61 (LoLoSearch), um aumento relativo de 74%.
Limitações de Gestão de Contexto: Os autores testaram várias estratégias de gestão de contexto (Sumarização, Descarte de Tudo, Verificação) no DeepSeek-V4-Flash.
- No BrowseComp, essas estratégias renderam um ganho de 14,03%.
- No LoLoSearch, a melhor estratégia (Descarte de Tudo + Verificação) rendeu apenas 6,8% de ganho (de 10,02% para 16,82%).
- Isso sugere que as técnicas atuais de gestão de contexto são insuficientes para as cadeias de raciocínio estendidas exigidas pelo LoLoSearch.
Complexidade Estrutural: Perguntas com estrutura de grafo (8,01% de precisão) provaram ser significativamente mais difíceis que as de estrutura de árvore (11,89% de precisão), destacando o impacto das dependências cíclicas.
Amostragem Paralela: O uso de uma estratégia "best-of-N" com 16 amostras melhorou o desempenho para 24,6%, indicando um amplo espaço para melhoria através de amostragem repetida, embora ainda muito abaixo do nível humano em benchmarks mais fáceis.

Significância e Alegações

O artigo afirma que o Lo-HoSearch fornece um padrão mais exigente e discriminativo para avaliar agentes de busca. Ao alavancar um grafo de conhecimento para maximizar sistematicamente o espaço de busca e a complexidade estrutural, o benchmark cria com sucesso um nível de dificuldade que os modelos atuais não conseguem superar facilmente.

Os autores argumentam que o LoHoSearch é significativo porque:

Ele expõe as limitações das estratégias atuais de gestão de contexto, mostrando que os ganhos observados em benchmarks anteriores não se traduzem para tarefas de longo horizonte e alta dificuldade.
Demonstra que a anotação humana não consegue escalar para criar perguntas verdadeiramente difíceis devido à falta de uma perspectiva estatística global, necessitando de construção automatizada impulsionada por KG.
Estabelece um novo baseline onde mesmo os modelos mais avançados lutam, fornecendo um campo de teste necessário para pesquisas futuras em raciocínio de longo horizonte e tratamento robusto de contexto.

Os autores reconhecem limitações, incluindo a atual restrição ao inglês, a natureza estática do conjunto de avaliação e a dependção de juízes LLM para a graduação, o que pode introduzir ruído. Eles também observam que, para um subconjunto de perguntas, a unicidade da resposta não pôde ser confirmada conclusivamente por anotadores humanos, embora nenhuma alternativa tenha sido encontrada via busca minuciosa.