Resumo Técnico: TaxoBench – Avaliando a Lacuna de Síntese em Agentes de Pesquisa Profunda

1. Declaração do Problema

Agentes de Pesquisa Profunda (Deep Research - DR) estão automatizando cada vez mais a geração de levantamentos acadêmicos por meio da busca na web, recuperação de artigos e produção de visões estruturadas. No entanto, os benchmarks existentes avaliam primariamente a qualidade do texto gerado, a veracidade ou a correção das citações, falhando em avaliar conjuntamente duas capacidades fundamentais na interseção entre aquisição de informação e geração estrutural:

1. Recuperação (Retrieval): Os agentes conseguem recuperar o conjunto específico de artigos que especialistas humanos consideram essenciais para um levantamento?
2. Organização: Os agentes conseguem organizar esses artigos em uma taxonomia hierárquica que espelha estruturas construídas por especialistas?

Os métodos de avaliação atuais frequentemente dependem de métricas de agrupamento plano (ex: ARI, V-Measure) que ignoram a estrutura hierárquica ou utilizam esboços julgados por LLMs sem fundamentação na atribuição de artigos às categorias. Isso cria uma "lacuna de síntese", onde permanece incerto se os agentes podem replicar o processo de especialista de identificar a literatura central e sintetizá-la em uma taxonomia multinível coerente.

2. Metodologia: TaxoBench

Os autores introduzem o TaxoBench, um benchmark projetado para isolar e avaliar as capacidades de recuperação e organização separadamente.

Construção do Dataset

O TaxoBench é construído a partir de 72 levantamentos altamente citados relacionados a LLMs, abrangendo 8 subdomínios de IA/ML.

• Verdade Fundamental (Ground Truth): Cada levantamento inclui uma taxonomia elaborada por especialistas (hierarquia de categorias) e um conjunto de 3.815 artigos citados, mapeados manualmente para as categorias dos especialistas por anotadores com nível de Doutorado (Ph.D.).
• Estatísticas: O dataset apresenta uma média de 354,5 citações por levantamento, uma profundidade de hierarquia de 4,9 e 14,0 categorias de artigos por taxonomia.

Modos de Avaliação

O TaxoBench avalia sistemas em dois modos distintos para separar a recuperação da organização:

1. Modo de Pesquisa Profunda (Ponta a Ponta): Os agentes recebem apenas o tópico de um levantamento. Eles devem usar ferramentas web para recuperar artigos e, então, organizá-los em uma taxonomia. Isso testa simultaneamente a recuperação e a organização.
2. Modo Bottom-Up (Isolamento de Organização): Os agentes recebem o conjunto exato de artigos citados pelos especialistas ($P^*$). Eles devem organizar este conjunto fixo em uma taxomia. Isso isola a capacidade de organização, removendo a recuperação como uma variável.

Métricas

O artigo propõe um conjunto de métricas para avaliar tanto as atribuições ao nível de folha quanto as estruturas ao nível de hierarquia:

• Nível de Folha (Leaf-Level): Índice de Rand Ajustado (ARI) e V-Measure (Homogeneidade/Completude) para avaliar a atribuição de artigos às categorias.
• Nível de Hierarquia:
  • US-TED / US-NTED (Distância de Edição de Árvore Semântica Não Ordenada): Mede a divergência estrutural global entre a taxonomia do modelo e a referência do especialista, considerando a similaridade semântica dos rótulos (via embeddings) e ignorando a ordem dos irmãos.
  • Sem-Path (Similaridade de Caminho Semântico): Uma métrica por artigo que mede a consistência do caminho da raiz até a folha. Ela alinha cadeias de ancestrais e penaliza discrepâncias nos rótulos semânticos e no comprimento do caminho.
• Calibragem: Os autores introduzem controles de "correspondência de profundidade" (depth-matching) para considerar o fato de que os modelos frequentemente produzem árvores mais rasas que os especialistas, o que reduz artificialmente as pontuações de Sem-Path. Eles também estabelecem linhas de base de "piso" (ex: taxonomias planas) para interpretar as pontuações brutas.

3. Principais Contribuições

1. Dataset TaxoBench: Um benchmark que pareia 72 taxonomias de especialistas com 3.815 artigos mapeados, permitindo a avaliação separada de recuperação e organização.
2. Métricas Conscientes de Hierarquia: Desenvolvimento de US-TED, US-NTED e Sem-Path, que capturam o alinhamento estrutural e semântico além do agrupamento plano. Os autores também distinguem entre descobertas baseadas em alinhamento (concordância com uma referência específica de especialista) e descobertas baseadas em capacidade (estatísticas estruturais independentes de rótulos específicos).
3. Avaliação Abrangente: Avaliação de 7 Agentes de Pesquisa Profunda e 16 configurações de fronteira de LLM (incluindo o3, GPT-5, Claude, Gemini, etc.) em ambos os modos.

4. Principais Resultados

Gargalo de Recuperação (Modo de Pesquisa Profunda)

• Déficit Severo de Recuperação: Mesmo o melhor agente (o3) recupera apenas 20,92% dos artigos citados pelos especialistas (Recall). Quatro dos sete agentes ficam abaixo de 10% de F1.
• Correlação com Organização: A qualidade da recuperação correlaciona-se fortemente com a estrutura de nível hierárquico (Spearman $\rho=0,89$ para F1 vs. Sem-Path). Agentes que falham em recuperar artigos essenciais falham em construir hierarquias coerentes.
• Auto-Recuperação: Embora alguns agentes recuperem o próprio levantamento de origem, isso não infla as pontuações de Recall porque o título do levantamento não faz parte do conjunto de artigos do especialista.

Gargalo de Organização (Modo Bottom-Up)

• Déficit de Profundidade: Os modelos falham consistentemente em construir taxonomias profundas. A profundidade média do especialista é 4,86, enquanto as 70 execuções dos modelos (através de gerações e configurações) apresentam média entre 2,99 e 3,97. A configuração mais profunda ainda está 0,89 níveis abaixo.
• Sobre-segmentação: Modelos tendem a fragmentar taxonomias em clusters finos (alta Homogeneidade) em vez de consolidá-las em categorias mais amplas do estilo especialista. Por exemplo, o GPT-5.6-sol produz 28,3 categorias com uma taxa de singleton de 43,5% (artigos em categorias de tamanho 1), comparado às 14,0 categorias e 17,0% de taxa de singleton do especialista.
• Efeito de Piso do Sem-Path: As pontuações brutas de Sem-Path para os modelos agrupam-se de forma muito próxima (28–30%), mal distinguíveis de uma linha de base de taxonomia "Plana" (27,49%). Isso se deve à falta de correção de chance e ao déficit de profundidade.
  • Análise de Correspondência de Profundidade: Quando os modelos são avaliados contra uma árvore de especialista colapsada para a profundidade do modelo, as pontuações sobem para 32–42%, e a dispersão aumenta. No entanto, um hiato significativo permanece: humanos (anotadores) alcançam 54,09% de Sem-Path em levantamentos correspondentes, enquanto os modelos têm média de 38,71%.
• Influência do Prompt: Um probe controlado mostra que forçar os modelos a corresponder à profundidade do especialista (via instruções explícitas) não melhora a organização; em vez disso, causa maior fragmentação (maiores taxas de singleton) e reduz o alinhamento (ARI cai, Sem-Path cai). Isso sugere que o déficit de profundidade é uma falha em construir um refinamento hierárquico coerente, não uma incapacidade de adicionar níveis.

Linha de Base Humana

Em um subconjunto de 10 levantamentos, dois anotadores humanos independentes (sem ver a referência do especialista) alcançaram um Sem-Path de 53,91% e uma profundidade de ~4,65. Eles concordaram entre si em 50,56%. Os modelos, por outro lado, pontuam próximo ao piso (28–30%) e concordam com o especialista mais do que os humanos concordam entre si em métricas planas (ARI), indicando que o ARI está saturado e é pouco confiável para esta tarefa.

5. Significância e Alegações

O artigo afirma que o TaxoBench identifica a recuperação e a organização hierárquica como gargalos distintos e críticos nos atuais agentes de Pesquisa Profunda.

• Recuperação: Os agentes são atualmente incapazes de replicar o processo de descoberta de literatura dos especialistas, recuperando menos de 21% dos artigos essenciais.
• Organização: Mesmo com recuperação perfeita, os agentes falham em construir taxonomias profundas e coerentes. Eles tendem a produzir estruturas rasas e sobre-segmentadas que carecem do refinamento progressivo encontrado em levantamentos feitos por especialistas.
• Calibragem de Métrica: Os autores argumentam que métricas hierárquicas brutas (como Sem-Path) são interpretáveis sem calibração contra profundidade e bases de piso. Eles demonstram que uma geração de modelo que ganha 3,68 pp em ARI mostra quase nenhum movimento na pontuação bruta de Sem-Path (0,87 pp), destacando a insensibilidade da métrica no regime de árvores rasas.
• Direções Futuras: O trabalho clama por métricas hierárquicas com correção de chance, fluxos de trabalho agênticos mais ricos (além das interfaces de produtos atuais) e avaliações de múltiplas referências para lidar com a subjetividade do design de taxonomias.

Os autores concluem que, embora os agentes de DR possam gerar texto, eles atualmente carecem das capacidades fundamentais para sintetizar autonomamente estruturas de levantamento de nível especialista, necessitando de supervisão humana em vez de automação total.