Resumo Técnico: TRIAD para Avaliação Automatizada de RAG Multi-Hop

Declaração do Problema

A rápida adoção de sistemas de Geração Aumentada por Recuperação (RAG) na indústria criou uma necessidade crítica de conjuntos de dados de avaliação específicos para domínios. Embora os benchmarks existentes, como HotpotQA e MuSiQue, desafiem efetivamente os sistemas RAG com base em conhecimento da Wikipedia, eles não podem ser transferidos diretamente para configurações proprietárias e específicas de domínio, onde a base de conhecimento subjacente não é pública.

A criação manual de tais conjuntos de dados é atualmente trabalhosa e dispendiosa, exigindo anotadores especialistas. Por outro lado, as estruturas de geração automatizada existentes frequentemente focam em consultas simples de um único salto (single-hop) ou exigem um pré-processamento extensivo, como a construção de grafos de conhecimento ou a pré-rotulagem de documentos. Além disso, muitas abordagens falham em incluir perguntas sem resposta, que são essenciais para avaliar se um sistema alucina ou se abstém corretamente quando o contexto é insuficiente. Existe uma lacuna em ferramentas que possam gerar automaticamente conjuntos de dados de QA multi-hop de alta qualidade com contextos rotulados diretamente de um banco de dados vetorial existente de um sistema RAG, sem um pré-processamento complexo.

Metodologia: A Abordagem TRIAD

O artigo apresenta o TRIAD, um pipeline automatizado de três estágios projetado para gerar conjuntos de dados de QA multi-hop com documentos de contexto com relevância rotulada e perguntas sem resposta. O processo aproveita o banco de dados vetorial já utilizado pelo sistema RAG alvo.

1. Geração

Este estágio constrói pares de QA baseados no corpus de origem:

• Seleção de Documentos: Um documento inicial é selecionado (manual ou aleatoriamente) do corpus RAG.
• Recuperação e Ponte (Bridging): O sistema consulta o repositório vetorial em busca de documentos similares. Um LLM é instruído a identificar um "tópico de ponte" que conecte esses fragmentos (chunks) recuperados. Se não houver um tópico comum entre todos os fragmentos, o sistema amostra iterativamente novos fragmentos iniciais até encontrar uma configuração válida onde os documentos compartilhem um tópico de ponte.
• Síntese de Perguntas: Usando o tópico de ponte, o conjunto de documentos e requisitos de tipo específicos, um LLM gera uma pergunta e sua respectiva resposta.
• Taxonomia de Perguntas: A abordagem define tipos específicos de perguntas multi-hop para acionar diferentes comportamentos de recuperação:
  • Recuperação Paralela: Comparação (contrastar entidades) e Interseção (filtrar/agregar entidades).
  • Recuperação Sequencial: Composição (onde a resposta da primeira parte é necessária para recuperar a próxima parte).
  • Categorias Transversais: Binária (Sim/Não) e Temporal (exigindo raciocínio temporal).
  • Sem Resposta: Perguntas que não podem ser respondidas a partir do corpus fornecido, projetadas para testar alucinação.

2. Validação

Um ciclo de feedback garante a qualidade dos dados através de duas verificações obrigatórias realizadas por um "LLM-como-juiz":

• Verificação de Qualidade: Avalia a correção da resposta, o embasamento no contexto e se a pergunta exige raciocínio multi-hop.
• Verificação de Contexto Suficiente: Verifica se nenhum documento de contexto único é suficiente para responder à pergunta. Se um único documento for suficiente, a pergunta é rejeitada como uma consulta de um único salto (single-hop).
• Ciclo de Feedback: Se as verificações falharem, um feedback específico é enviado ao gerador para revisar a pergunta, que é então reavaliada.

3. Extração

Este estágio prepara o conjunto de dados para avaliação subsequente:

• Aumento de Contexto: Documentos não relevantes (distratores) são recuperados e rotulados como irrelevantes para simular o ruído de recuperação do mundo real.
• Rotulagem de Dificuldade: O número de contextos relevantes é contado para atribuir níveis de dificuldade (menos fragmentos relevantes = maior dificuldade).
• Simulação de Sem Resposta: Para perguntas sem resposta, a lista de contexto é modificada para conter apenas documentos não relevantes (ou parcialmente relevantes) para testar a capacidade de abstração do gerador.

Principais Contribuições

1. Pipeline Automatizado: O TRIAD fornece um método totalmente automatizado para gerar conjuntos de dados de QA multi-hop diretamente do banco de dados vetorial existente de um sistema RAG, eliminando a necessidade de anotação manual ou construção complexa de grafos de conhecimento.
2. Taxonomia Estruturada: A estrutura categoriza explicitamente as perguntas por padrões de recuperação (paralela vs. sequencial) e inclui perguntas sem resposta, permitindo a avaliação granular tanto dos componentes de recuperação quanto de geração.
3. Mecanismo de Validação: A inclusão de um rigoroso ciclo de validação com um juiz LLM garante que as perguntas geradas sejam verdadeiramente multi-hop e de alta qualidade, filtrando consultas de um único salto e conteúdo alucinado.
4. Adaptabilidade de Domínio: A abordagem é projetada para ser adaptável a qualquer domínio proprietário, movendo a avaliação para além de benchmarks públicos fixos.

Resultados Experimentais

Os autores avaliaram o TRIAD usando os corpora HotpotQA e MuSiQue como dados de origem, gerando 478 e 481 perguntas válidas, respectivamente.

• Validação Humana: A avaliação manual de 200 perguntas geradas mostrou alta qualidade:
  • Capacidade de Resposta: ~90-93%
  • Correção: ~92-98%
  • Raciocínio Multi-hop: ~85-91%
  • Não Ambiguidade: ~92%
  • O validador demonstrou alta precisão em suas decisões: a taxa de rejeição real (a proporção de perguntas rejeitadas que foram corretamente identificadas como inválidas) foi de 85% para HotpotQA e 90% para MuSiQue. Consequentemente, menos de 15% das instâncias rejeitadas eram, de fato, perguntas válidas. A taxa de aceitação geral para os conjuntos de dados gerados foi de 66-68%.
• Tendências de Desempenho RAG: Os conjuntos de dados gerados foram testados contra sete configurações distintas de RAG (variando modelos de embedding, contagem de fragmentos recuperados e LLMs).
  • Consistência de Tendência: Apesar de as perguntas geradas produzirem pontuações absolutas mais altas (recuperação mais fácil) do que os benchmarks estáticos, elas exibiram tendências de desempenho similares através de diferentes configurações de RAG. Por exemplo, o Google's Embedding-002 superou consistentemente os outros, e a redução de fragmentos recuperados aumentou a precisão, mas diminuiu o recall, espelhando os resultados no HotpotQA e MuSiQue.
  • Tipos de Perguntas: Perguntas de interseção alcançaram a maior correção, enquanto perguntas de comparação pontuaram mais alto em fidelidade (faithfulness).
• Perguntas Sem Resposta: Os modelos foram testados em consultas sem resposta com apenas contextos não relevantes. Gemini-2.5-Flash-Lite e Gemma-4-31B-It identificaram casos sem resposta com precisão >99%, enquanto o GPT-5-nano atingiu 94%.

Significância e Alegações

O artigo afirma que o TRIAD serve como uma validação fundamental para um pipeline capaz de gerar conjuntos de dados de avaliação confiáveis para sistemas RAG de domínios específicos.

• Utilidade Prática: A abordagem aborda o gargalo industrial da criação de conjuntos de dados de avaliação para dados proprietários, ofereferendo uma "configuração de avaliação diretamente implantável" sem o custo da anotação manual.
• Validade Comparativa: Embora os autores reconheçam que os conjuntos de dados gerados são "mais fracos" (mais fáceis) do que os benchmarks criados por humanos como o HotpotQA, eles demonstram que os conjuntos de dados preservam distinções de desempenho significativas entre diferentes sistemas RAG. Isso sugere que a abordagem é viável para avaliação comparativa em domínios específicos.
• Limitações: Os autores notam modestamente que os resultados são limitados aos modelos e prompts específicos utilizados, e que a natureza não determinística dos LLMs afeta a reprodutibilidade total. Eles também destacam que o método foi testado em dados de conhecimento geral relativamente limpos, e que trabalhos futuros são necessários para validar seu desempenho em corpora de indústria ruidosos.

Em conclusão, o TRIAD oferece uma solução escalável e automatizada para a geração de dados de avaliação multi-hop, permitindo que organizações avaliem sistemas RAG em suas próprias bases de conhecimento proprietárias, mantendo simultmente a capacidade de comparar configurações de sistema de forma eficaz.