Resumo Técnico: HieraRAG – Um Framework Hierárquico para Geração de Perguntas Sintéticas

Declaração do Problema

Avaliar sistemas de Geração Aumentada por Recuperação (RAG) requer benchmarks que capturem diversas características de perguntas. No entanto, os profissionais carecem de orientação empírica sobre quais dimensões de variação de perguntas incluir e, crucialmente, em qual nível de granularidade (ex: categorias grosseiras vs. finas) essas dimensões devem ser definidas. Os benchmarks existentes frequentemente aplicam uma granularidade inconsistente: alguns categorizam por tipo de resposta, mas carecem de controle de complexidade, enquanto outros abrangem formatos de tarefas sem uma variação linguística sistemática. Sem evidências empíricas, os designers correm o risco de subamostrar modos de falha críticos ou de diluir os sinais de avaliação com distinções finas redundantes que aumentam os custos de geração sem adicionar valor diagnóstico.

Metodologia

Os autores propõem o HieraRAG, um framework hierárquico projetado para estudar sistematicamente o impacto da granularidade das perguntas na avaliação de RAG. A metodologia envolve três componentes principais:

1. Framework de Categorização Hierárquica

O framework define três dimensões ilustrativas de variação de perguntas, cada uma avaliada em três níveis de granularidade:

• Complexidade da Pergunta (QC - Question Complexity): Demanda cognitiva variando de busca de fatos a raciocínio multi-hop.
• Tipo de Resposta (AT - Answer Type): Formato de resposta esperado, desde extração direta até síntese generativa.
• Variação Linguística (LV - Linguistic Variation): Alinhamento lexical entre a pergunta e o documento, de verbatim (literal) a paráfrase.

Cada dimensão é subdividida em níveis Grosseiro (2 categorias), Médio (4 categorias) e Fino (8 categorias). Por exemplo, a Complexidade da Pergunta move-se de "Simples/Complexo" (Grosseiro) para "Fato único/Multi-fato/Seção transversal/Comparativo" (Médio) e para tipos específicos como "Extração de trecho", "Raciocínio multi-hop" e "Síntese comparativa" (Fino).

2. Geração de Dados Sintéticos e Configuração Experimental

• Fonte de Dados: 5.872 pares de pergunta-resposta (QA) sintéticos foram gerados a partir do corpus FineWeb-10BT usando DataMorgana (utilizando Claude 3.5 Sonnet).
• Pipeline de RAG: O sistema foi avaliado em um pipeline padrão de dois estágios:
  • Recuperação: BM25 (via PyTerrier) recuperando $k=10$ documentos de chunks de 512 tokens.
  • Geração: Falcon-3-10B-Instruct (temperatura 0.6) instruído a recusar se a informação fosse insuficiente.
• Design Experimental:
  • RQ1: Avaliou 4 dimensões (QC, AT, LV e Phrasing) em granularidade grosseira para identificar as dimensões mais discriminativas.
  • RQ2: Avaliou QC, AT e LV através de todos os três níveis de granularidade (2, 4, 8 categorias) para determinar a granularidade ideal.
  • RQ3: Um design fatorial $2 \times 2$ cruzando Variação Linguística (Similar vs. Distante) com Complexidade da Pergunta (Simples vs. Complexa) para testar interações.

3. Métricas de Avaliação

• Métricas de Desempenho: Precisão Média Averaging (MAP), nDCG@10, Recall@10 para recuperação; Similaridade de Cosseno (CS), ROUGE-1 e BLEU para qualidade de geração.
• Poder Discriminativo: Definido como o desvio padrão da qualidade de geração (CS) entre as categorias dentro de um nível de granularidade. Um desvio padrão mais alto indica que as categorias revelam distinções de desempenho significativas.
• Razão de Coerência ($\rho_{coherence}$): Uma métrica inovadora inspirada nos coeficientes de silhueta de agrupamento para validar a estrutura hierárquica. Ela mede se as categorias "irmãs" de nível fino fornecem sinais não redundantes enquanto permanecem verticalmente consistentes com sua categoria pai:
  $$\rho_{coherence} = \frac{\sigma_{sib}}{\delta_{vert} + \epsilon}$$
  Onde $\sigma_{sib}$ é o desvio padrão entre os irmãos (discriminação horizontal) e $\delta_{vert}$ é a diferença absoluta entre as médias do pai e do filho (consistência vertical). Um $\rho$ alto indica divisões bem calibradas; um $\rho$ baixo sugere estrutura pobre ou redundância.
• Validação Humana: Dois anotadores avaliaram 110 pares QA estratificados para correção, alucinação e alinhamento de categoria.

Principais Resultados

RQ1: Dimensões Mais Discriminativas

No nível grosseiro, a Variação Linguística (LV) foi a dimensão mais discriminativa (Range = 0.077), apesar de apresentar o pior desempenho absoluto (MAP=0.369). O Tipo de Resposta (AT) alcançou o melhor desempenho absoluto (MAP=0.506), mas mostrou menor discriminação. A Complexidade da Pergunta (QC) apresentou a menor discriminação no nível grosseiro (Range = 0.010).

RQ2: Impacto da Granularidade

A granularidade ideal varia significativamente por dimensão:

• Complexidade da Pergunta (QC): Beneficia-se de distinções finas. O poder discriminativo aumentou monotonicamente do Grosseiro (0.007) para o Fino (0.053), um aumento de 7.5x. Isso sugere que distinguir entre tipos específicos de raciocínio (ex: single-hop vs. multi-hop) captura variações de desempenho perdidas por rótulos grosseiros de "Simples/Complexo".
• Tipo de Resposta (AT) & Variação Linguística (LV): Atingem o pico no nível de granularidade média (4 categorias).
  • AT atingiu o pico em 0.044 (Médio) e declinou para 0.037 (Fino).
  • LV atingiu o pico em 0.047 (Médio) e declinou para 0.031 (Fino).
  • Para estas dimensões, divisões mais finas adicionaram ruído em vez de sinal.

Validação Estrutural (Razão de Coerência)

A Razão de Coerência revelou diferenças estruturais que explicam os resultados:

• AT teve uma alta coerência média (ex: a divisão summary_or_explanation teve $\rho=3.31$), indicando que suas categorias finas subdividiram claramente o pai.
• QC teve uma baixa coerência média (0.40). Embora as 8 categorias finas tenham particionado com sucesso o espaço de desempenho (alto poder discriminativo), elas não subdividiram claramente seus pais de nível médio, sugerindo que a hierarquia não é estritamente taxonômica.
• LV mostrou má calibração na divisão conceptual_rephrase ($\rho=0.04$), onde os filhos finos desviaram-se substancialmente do perfil de desempenho do pai.
• Uma correlação preliminar ($r_{pb}=0.24$) foi observada entre a Razão de Coerência e o acordo humano nas atribuições de categoria, sugerindo que a métrica pode servir como um proxy automatizado para separação semântica.

RQ3: Efeitos de Interação

A interação entre LV e QC foi amplamente aditiva, em vez de interativa.

• O descompasso de vocabulário (LV Distante) causou uma queda significativa no desempenho independentemente da complexidade (MAP caiu de ~0.55 para ~0.20).
• As distinções de complexidade só importavam quando a recuperação era bem-sucedida (LV Similar). Quando a recuperação falhava devido ao descompasso de vocabulário, a complexidade tornava-se irrelevante.

Significância e Alegações

O artigo alega fornecer um procedimento portátil em vez de verdades universais sobre o desempenho de RAG. Suas principais contribuições são:

1. Um Framework Hierárquico: Um método para determinar a granularidade ideal de avaliação em benchmarks de RAG, demonstrando que uma granularidade de "tamanho único" é suboptimal.
2. A Razão de Coerência: Uma métrica de validação para ajudar os profissionais a determinar se as divisões finas são estruturalmente sólidas antes da geração de benchmarks em larga escala.
3. Evidência Empírica: Dentro da configuração específica de BM25 + Falcon-3-10B, os autores mostram que diferentes características de perguntas exigem diferentes níveis de granularidade para avaliação diagnóstica (Fino para Complexidade, Médio para Tipo de Resposta e Variação Linguística).
4. Dataset e Código: A liberação de 5.872 perguntas sintéticas organizadas hierarquicamente e o código associado para replicação.

Os autores explicitamente notam limitações: os achados são específicos para o recuperador BM25 e o gerador Falcon utilizados; a atribuição de dimensão única em RQ1/RQ2 deixa outras dimensões como confundidores não controlados; e a correlação entre a Razão de Coerência e o acordo humano não foi estatisticamente significativa ($p=0.21$). Consequentemente, o artigo posiciona o HieraRAG como uma ferramenta para os profissionais diagnosticarem e calibrarem suas próprias configurações de avaliação de RAG, em vez de prescrever um padrão fixo de benchmark.