Resumo Técnico: Avaliando a Densidade Factual em RAG Multiferonte

Declaração do Problema

A Geração Aumentada por Recuperação (RAG) tornou-se o padrão da indústria para fundamentar Grandes Modelos de Linguagem (LLMs) em conhecimento externo. No entanto, os mecanismos de recuperação padrão — especificamente a Similaridade de Cosseno (proximidade semântica) e o BM25 (frequência lexical) — carecem de um mecanismo inerente para medir a qualidade factual do conteúdo recuperado.

O artigo identifica um modo de falha estrutural denominado Efeito de Cegueira do Especialista (Expert Blindness Effect). Este fenômeno ocorre quando pipelines de RAG padrão sistematicamente ocultam evidências de alta densidade e validadas por especialistas (ex: Revisões Sistemáticas Cochrane contendo desfechos clínicos quantificados e específicos) em favor de textos lexicalmente dominantes, mas factualmente esparsos (ex: artigos de formato longo que referenciam repetidamente um tópico sem fornecer dados específicos). Os frameworks de avaliação atuais focam na fidelidade (se o modelo alucinou em relação ao contexto recuperado) em vez da qualidade da recuperação (se o contexto recuperado era factualmente denso ou validado por especialistas em primeiro lugar).

Metodologia

1. Construção e Pré-processamento do Corpus

O estudo utilizou um corpus de 600 fragmentos (chunks) derivados de três níveis de evidência médica:

• Revisões Sistemáticas Cochrane (COCHRANE_SR): 200 resumos estruturados.
• Ensaios Clínicos Randomizados (CLINICAL_RCT): 200 resumos filtrados por tags da NLM.
• Resumos Gerais do PubMed (SCIENTIFIC_PMC): 200 resumos revisados por pares.

Antes da ingestão, o corpus passou pelo pipeline de pré-processamento NexusAgentics Ghost Audit:

• Extração de Alegações Atômicas: Utilizando o Gemini 2.5 Flash para identificar afirmações factuais únicas, independentes e verificáveis, descartando linguagem de hesitação e anedotas.
• Pontuação Probabilística de Factualidade: Atribuição de uma pontuação prob_fact (0.2 a 1.0) baseada na verificabilidade e especificidade, não na verdade empírica.

2. Formulação da Densidade Factual (FD*)

A métrica central, Densidade Factual (FD)*, é definida como a proporção de alegações atômicas verificadas em relação à contagem de tokens.

• Formulação Inicial ($FD_{raw}$): Soma das pontuações prob_fact dividida pela contagem de tokens.
  • Problema: O Experimento 1 revelou um severo confundimento de comprimento de documento (Pearson $R = -0.8636$), onde documentos mais curtos pontuavam artificialmente mais alto devido ao efeito do denominador.
• Formulação Corrigida ($FD^*$): Para resolver isso, os autores aplicaram a normalização de Z-score dentro de bins de comprimento de documento (Curto, Médio, Longo).
  • $FD^*(d) = [(FD_{raw}(d) - \mu_{bin}) / \sigma_{bin}] \times a_{source}$
  • Esta correção reduziu a correlação de comprimento para níveis não significativos ($p = 0.0749$), validando a FD* como um sinal independente de comprimento.

3. Condições de Recuperação

Três condições foram avaliadas contra o benchmark HealthFC (750 alegações de saúde rotuladas por especialistas):

• Condição A: Similaridade de Cosseno (Busca semântica).
• Condição B: BM25 (Busca lexical).
• Condição C: Recuperação Otimizada por FD.* Um pipeline híbrido de dois estágios:
  1. Pré-filtro de Similaridade de Cosseno (Top-20).
  2. Reclassificação (reranking) usando uma pontuação composta: $0.5 \times \text{CosineSim} + 0.5 \times FD^*_{rescaled}$.

4. Restrições de Avaliação

O estudo enfrentou significativas restrições de alinhamento entre corpus e benchmark. Apesar de duas iterações do corpus, a cobertura contra o conjunto de avaliação HealthFC permaneceu abaixo de 20% (14% na iteração final). Consequentemente, a validação estatística planejada (teste de postos sinalizados de Wilcoxon em $n=50$ queries) não pôde ser executada. Os resultados são reportados como evidência direcional baseada nos mapeamentos de verdade fundamental disponíveis.

Principais Resultados

1. Validação de Pontuação e Correção

• Ghost Audit: Validou que a estrutura de pontuação produz variância significativa entre os níveis de fonte (Desvio Padrão $\ge 0.10$), garantindo que o sinal de reclassificação não colapse.
• Confundimento de Comprimento: Confirmou que métricas de densidade normalizadas por tokens de forma ingênua são vulneráveis ao viés de comprimento de documento. A normalização de Z-score dentro de bins provou ser uma correção eficaz e de baixo custo computacional.

2. O Efeito de Cegueira do Especialista (Auditoria de Query Única)

Em uma query específica sobre exercício e risco cardiovascular, as condições de recuperação geraram resultados distintos:

• Similaridade de Cosseno: Recuperou 40% de revisões Cochrane e 60% de RCTs.
• BM25: Recuperou 80% de revisões Cochrane, mas falhou em classificá-las consistentemente alto em todas as métricas.
• Otimizado por FD:* Alcançou 100% de saturação de revisões sistemáticas nos cinco primeiros resultados.
  • Mecanismo: A FD* elevou com sucesso evidências de alta densidade que foram classificadas fora do top dez pela similaridade semântica sozinha (ex: um resumo Cochrane com um score de cosseno de 0.7308 foi elevado para o Rank 4 devido a um alto score de FD* de 9.660).
• Verificação de Verdade Fundamental: Os cinco principais resultados da condição FD* mapearam para nove instâncias confirmadas em cinco distinções de alegações suportadas pelo HealthFC, todas rotuladas como "Suportadas" por especialistas médicos.

3. Descobertas de Alinhamento de Corpus

O estudo identificou que amostras de pré-verificação sementeadas superestimam sistematicamente a cobertura do corpus. Uma amostra de 12 fragmentos mostrou 38,62% de alinhamento, enquanto o corpus completo de 600 fragmentos mostrou apenas 14%. Isso destaca uma lacuna crítica nas práticas atuais de avaliação de RAG, onde a seleção de fontes assume alinhamento sem verificação de todo o corpus.

Significância e Contribuições

O artigo propõe duas contribuições co-iguais:

1. Densidade Factual (FD) como Sinal de Recuperação:*
   A FD* é proposta como um sinal de otimização agnóstico à fonte, independente de comprimento e de baixo custo computacional. Pode ser integrada em pipelines de RAG existentes como um composto 50/50 com similaridade de cosseno sem exigir mudanças nos modelos de embedding, bancos de dados vetoriais ou infraestrutura de recuperação. Ela aborda a lacuna onde a proximidade semântica falha em correlacionar com a concentração informacional.

2. Documentação do Efeito de Cegueira do Especialista:
   O artigo nomeia e demonstra empiricamente o viés sistemático nos métodos de recuperação padrão que oculta evidências de alta autoridade. Isso tem implicações diretas de segurança para IA de saúde, onde apresentar um artigo de 2.000 palavras em vez de uma revisão Cochrane pode levar à desinformação perigosa.

3. Contribuição Metodológica para Avaliação de RAG:
   O estudo introduz uma metodologia de pré-verificação de filtro duplo (exigindo similaridade de cosseno $\ge 0.75$ e sobreposição de palavras-chave $\ge 2$) como pré-requisito para a construção de corpus de RAG de saúde. Argumenta-se que o alinhamento entre corpus e benchmark é um pré-requisito crítico e frequentemente negligenciado para uma avaliação de RAG válida, e que confiar em pequenas amostras topicamente sementadas leva a uma falsa confiança na cobertura.

Limitações e Trabalhos Futuros

Os autores declaram explicitamente que os achados são preliminares devido à incapacidade de executar o teste estatístico completo de $n=50$ causada pelo baixo alinhamento entre corpus e benchmark. O "Efeito de Cegueira do Especialista" é demonstrado em uma única query e não é generalizado estatisticamente.

Trabalhos futuros são delineados para:

• Executar testes estatísticos formais usando um corpus com $\ge 40\%$ de cobertura do HealthFC.
• Derivar empiricamente pesos de autoridade de fonte ($a_{source}$) ideais em vez de usar placeholders.
• Explorar a FD* como um sinal de nó âncora em arquiteturas de Graph RAG para combinar a estrutura de evidência com a densidade factual.

O artigo conclui que, embora a FD* não seja uma solução completa, ela representa um passo necessário para garantir que sistemas de IA recuperem fatos em vez de apenas correspondências lexicais, particularmente em domínios de alto risco como a saúde.