HopWeaver: Cross-Document Synthesis of High-Quality and Authentic Multi-Hop Questions

Resumo Técnico: HopWeaver

1. O Problema

A Resposta a Perguntas Multi-Hop (MHQA) é um benchmark crucial para avaliar a capacidade de modelos de Linguagem de Grande Escala (LLMs) e sistemas de Geração Aumentada por Recuperação (RAG) de integrar informações de múltiplas fontes. No entanto, a criação de conjuntos de dados (datasets) extensos e de alta qualidade para MHQA enfrenta dois desafios principais:

1. Custo de Anotação Manual: A anotação humana é cara, lenta e difícil de escalar para cobrir diversas trajetórias de raciocínio.
2. Limitações dos Métodos de Síntese Atuais: As abordagens existentes frequentemente geram perguntas "pseudo multi-hop" (que podem ser respondidas com um único documento), dependem de intervenção manual extensa, ou exigem bases de conhecimento estruturadas (como grafos de conhecimento) que possuem lacunas de cobertura e schemas fixos. Além disso, muitos benchmarks existentes podem não expor verdadeiramente as limitações dos sistemas RAG avançados, que tendem a superajustar (overfit) aos padrões de raciocínio prevalentes nesses dados.

2. Metodologia: HopWeaver

O HopWeaver é apresentado como o primeiro framework cross-document (entre documentos) capaz de sintetizar perguntas multi-hop autênticas sem qualquer intervenção humana. O sistema opera em um pipeline automatizado que identifica documentos complementares e constrói caminhos de raciocínio válidos.

O framework foca na síntese de dois tipos predominantes de perguntas:

• Perguntas de Ponte (Bridge): Conectam fatos através de uma entidade intermediária (ex: Documento A -> Entidade X -> Documento B).
• Perguntas de Comparação (Comparison): Contrastam atributos entre duas entidades similares encontradas em documentos diferentes.

Etapas Principais do Pipeline:

• Síntese de Perguntas de Ponte:

  1. Identificação da Entidade de Ponte: Um LLM seleciona um segmento de um documento fonte e identifica uma "entidade de ponte" que pode conectar contextos distintos.
  2. Recuperação em Duas Etapas (Coarse-to-Fine):
     • Recuperação Grossa: Usa uma estratégia modificada de Relevância Marginal Máxima (MMR) para recuperar documentos candidatos que são relevantes à consulta, mas dissimilares ao documento fonte (garantindo complementaridade e diversidade).
     • Reranking Fino: Um reranker fine-tuned (ajustado) reclassifica os candidatos. O modelo é treinado com feedback simulado: pares de documentos que permitem a geração bem-sucedida de perguntas multi-hop são rotulados como positivos, e os que falham como negativos.
  3. Construção da Pergunta: Gera duas sub-perguntas sequenciais (uma para cada documento) e as funde em uma única pergunta coerente que esconde a entidade de ponte, forçando o raciocínio multi-hop.
  4. Validação e Iteração: Se a fusão falhar ou violar restrições (como "sem atalhos"), o documento é rejeitado e o próximo da lista é testado.

• Síntese de Perguntas de Comparação:

  1. Identificação e Filtragem: Extrai entidades e atributos de um documento fonte, filtrando-os por concretude e comparabilidade (ex: datas, números).
  2. Geração de Consulta e Recuperação: O LLM decide entre uma "Recomendação Direta" (sugerir uma entidade comparável conhecida) ou uma "Busca Diversificada" (gerar queries para encontrar entidades similares no corpus).
  3. Construção e Validação: Identifica a entidade comparável no documento recuperado, verifica se o atributo é comparável e gera a pergunta de comparação.

• Módulo de Polimento e Validação:
  Um módulo final (Polisher) avalia cada pergunta gerada, classificando-a como: Passar, Ajustar (melhorias superficiais), Reelaborar (reestruturação) ou Rejeitar. Isso garante fluência, ocultação da entidade de ponte e necessidade real de raciocínio cruzado.

• Sistema de Avaliação:
  O HopWeaver utiliza um sistema de avaliação tridimensional:

  1. LLM-as-Judge: Usa múltiplos LLMs (incluindo modelos proprietários e open-source) para pontuar a qualidade em dimensões como sofisticação lógica, integração de informação e coerência.
  2. Resolvibilidade e Dificuldade: Compara o desempenho de modelos em modo "Apenas Pergunta" vs. "Pergunta + Documentos Dourados". Um grande salto no desempenho indica que a pergunta é difícil sem evidência e que os documentos fornecem a resposta correta.
  3. Acessibilidade da Evidência: Avalia métricas de recuperação (MAP, Recall@K, F1 de Suporte) para garantir que as evidências necessárias estão acessíveis no corpus, mas que a recuperação completa é desafiadora.

3. Contribuições Chave

1. Primeiro Framework Automático Cross-Document: O HopWeaver é a primeira solução que sintetiza perguntas multi-hop autênticas a partir de corpora brutos sem anotação humana ou dependência de grafos de conhecimento estruturados.
2. Qualidade Superior ou Equivalente: Através de um sistema de avaliação multidimensional, demonstra que as perguntas sintetizadas atendem ou superam a qualidade de benchmarks anotados manualmente (como HotpotQA e 2WikiMultiHopQA).
3. Novos Padrões de Raciocínio: O framework descobre novos padrões de raciocínio multi-hop diretamente de corpora brutos, criando conjuntos de dados diversificados que expõem limitações em sistemas RAG avançados que não são visíveis em benchmarks tradicionais.

4. Resultados Experimentais

Os experimentos foram realizados no corpus da Wikipedia em inglês, comparando o HopWeaver com datasets humanos (HotpotQA, 2WikiMultiHopQA, MuSiQue).

• Qualidade da Geração:
  • O HopWeaver alcançou taxas de 96.4% a 98.9% de perguntas genuinamente multi-hop (dependendo do LLM gerador), superando ou igualando os benchmarks humanos.
  • A pontuação média de qualidade (escala 1-5) foi de 4.27 a 4.45, superando a maioria dos datasets humanos em dimensões críticas como "Sofisticação Lógica" e "Integração de Informação".
• Desempenho de RAG:
  • Sistemas RAG avançados (como REPLUG, SuRe, FLARE) tiveram desempenho significativamente pior no HopWeaver em comparação com benchmarks tradicionais, indicando que o HopWeaver expõe falhas de generalização desses sistemas.
  • A diferença de desempenho entre "Apenas Pergunta" e "Pergunta + Documentos" confirmou que as perguntas exigem evidência contextual e não apenas conhecimento prévio.
• Eficiência do Reranker:
  • O uso de um reranker fine-tuned aumentou a taxa de sucesso na síntese de perguntas de ponte de 70.1% (recuperação densa padrão) para 75.3%, reduzindo o número médio de tentativas necessárias.
• Custo:
  • A síntese de 1.000 perguntas multi-hop custou aproximadamente $7.90 (usando Gemini-2.5-flash), uma fração insignificante comparada ao custo da anotação humana.

5. Significado e Impacto

O HopWeaver representa um avanço significativo para a comunidade de pesquisa em IA:

• Escalabilidade e Acessibilidade: Permite a geração de benchmarks desafiadores a partir de qualquer corpus bruto, sendo especialmente valioso para domínios especializados onde dados anotados são escassos ou inexistentes.
• Avaliação Robusta: Fornece uma ferramenta para testar a verdadeira capacidade de raciocínio e integração de informações de modelos RAG, evitando o superajustamento a padrões de benchmarks estáticos.
• Reprodutibilidade: O código é público e o framework é agnóstico a domínios e idiomas, permitindo a criação de datasets personalizados para diversas aplicações.

Em suma, o HopWeaver resolve o gargalo da criação de dados para MHQA, oferecendo uma alternativa automatizada, de baixo custo e de alta qualidade que impulsiona tanto a avaliação quanto o treinamento direcionado de modelos de raciocínio avançado.