Beyond Topical Similarity: Contrastive Evidence Retrieval with Interpretable Attention Alignment in RAG

Resumo Técnico: Atenção de Racional de Evidência Contrastiva (CERA)

Problema
Os sistemas de Geração Aumentada por Recuperação (RAG) visam melhorar a factualidade dos Grandes Modelos de Linguagem (LLMs) ao restringir as saídas com documentos externos. No entanto, uma limitação crítica persiste: os recuperadores densos padrão frequentemente confundem similaridade tópica com validade de evidência. Um recuperador pode priorizar passagens que são lexicalmente relacionadas a uma consulta, mas factualmente não confiáveis, contraditórias ou meramente adjacentes topicamente, em vez daquelas que contêm evidências de suporte específicas. Essa "recuperação ruidosa" leva a alucinações e saídas enviesadas, particularmente em domínios de alto risco como a saúde. Além disso, os sistemas de recuperação existentes carecem de interpretabilidade; eles otimizam o que é recuperado, mas falham em explicar por que uma evidência específica foi selecionada ou como ela fundamenta uma decisão. Os métodos atuais de interpretabilidade dependem amplamente de explicações post-hoc em vez de mecanismos intrínsecos que alinhem a atenção do modelo com o raciocínio humano.

Metodologia
Os autores propõem o Contrastive Evidence Rationale Attention (CERA), um framework de recuperação densa projetado para injetar um "viés indutivo de evidência" no aprendizado contrastivo. O CERA opera sobre dois pilares centrais:

1. Seleção de Negativos Difíceis Baseada em Subjetividade:
   Em vez de tratar todos os documentos não relevantes como igualmente negativos, o CERA emprega uma estratégia consciente da subjetividade para selecionar "negativos difíceis" (hard negatives). Dentro de um documento, os fragmentos (chunks) que não se sobrepõem ao intervalo de evidência de ouro são classificados por um escore de subjetividade (calculado via TextBlob). Os top-$K$ fragmentos mais subjetivos são selecionados como negativos difíceis. Isso força o modelo a distinguir entre conteúdo que é meramente subjetivo ou opinativo versus conteúdo que constitui evidência objetiva e verificável, refinando assim o espaço de incorporação (embedding) além da simples proximidade semântica.

2. Alinhamento de Atenção Interpretável:
   O CERA introduz uma função de perda auxiliar para supervisionar os mecanismos de atenção interna do modelo.

   • Supervisão de Racional: O framework utiliza racionais factuais anotados por humanos (intervalos de evidência) como sinais de verdade fundamental (ground-truth).
   • Mascaramento Ponderado por POS: Um esquema de ponderação de classes gramaticais (Part-of-Speech - POS) é aplicado a esses racionais, atribuindo pesos maiores a tokens portadores de conteúdo (substantivos, verbos, adjetivos) e pesos menores a palavras funcionais.
   • Perda de Alinhamento: O modelo minimiza a divergência de Kullback-Leibler (KL) entre a distribuição de atenção normalizada do token [CLS] para os tokens de entrada e a distribuição de racional ponderada. Isso força o mecanismo de atenção a se alinhar com os tokens específicos que constituem a evidência de suporte, em vez de depender apenas da similaridade de distribuição.

O modelo é treinado usando uma função de perda de objetivo duplo: uma perda contrastiva baseada em tripletos ($L_{triplet}$) para separar a evidência positiva dos negativos difíceis, e a perda de alinhamento de atenção ($L_{alignment}$), ponderada por um hiperparâmetro $\lambda$.

Principais Contribuições

1. Framework CERA: O primeiro framework de recuperação que combina a seleção de negativos difíceis baseada em subjetividade com o alinhamento de atenção interpretável, injetando explicitamente um viés indutivo de evidência na recuperação densa.
2. Objetivo de Atenção Alinhado ao Racional: Um novo objetivo de treinamento que supervisiona a atenção do CLS-para-token usando racionais humanos ponderados por POS. Isso permite que o recuperador identifique não apenas fragmentos relevantes, mas os tokens específicos que constituem a evidência, melhorando a fidelidade sem sacrificar o desempenho da recuperação.
3. Validação Empírica: Experimentos abrangentes no conjunto de dados Evidence Inference 2.0 (relatórios de ensaios clínicos) demonstrando que o CERA supera tanto o baseline Contriever quanto os métodos padrão de seleção de negativos difíceis.

Resultos
Avaliado em um corpus de 3.393 relatórios de ensaios clínicos, o CERA demonstrou melhorias significativas na eficácia da recuperação e na interpretabilidade:

• Desempenho de Recuperação: O CERA alcançou ganhos substanciais sobre o baseline de negativos difíceis, com melhorias de +0,0768 em Recall@1, +0,1073 em Recall@3 e +0,1307 em Recall@5. O Mean Reciprocal Rank (MRR) aumentou em +0,1009.
• Interpretabilidade e Fidelidade: O objetivo de alinhamento de atenção melhorou significativamente as métricas de fidelidade. Especificamente, o escore de Suficiência (que mede quão bem a explicação reflete o processo de decisão do modelo) caiu de 0,2073 (Contriever) para 0,0939 sob um alinhamento mais forte ($\lambda=0,05$), indicando que o modelo depende de evidências mais compactas e adequadas.
• Factualidade: Usando um ensemble de juízes de LLM (GPT-5.4, Qwen3-Max, Mistral Large 3) para avaliar a relevância factual dos intervalos recuperados, o CERA superou consistentemente o baseline em todos os rankings, com o Jury Score melhorando de 1,1881 para 1,9015 no Rank 1.
• Ablação: O estudo confirmou que negativos baseados em subjetividade fornecem um sinal contrastivo mais informativo do que os negativos difíceis convencionais. No entanto, aumentar o peso de alinhamento ($\lambda$) além de 0,05 degradou levemente as métricas de recuperação, sugerindo um compromisso (trade-off) entre a precisão da recuperação e a força do alinhamento de atenção.

Significância e Alegações
O artigo alega que o CERA representa uma mudança da otimização puramente para "similaridade tópica" para a otimização de "suporte de evidência". Ao alinhar as distribuições de atenção com racionais anotados por humanos, o framework promove uma explicação mais fiel do comportamento do modelo, abordando a natureza de "caixa-preta" da recuperação. Os autores afirmam que essa abordagem é particularmente crítica para domínios de alto risco, onde saídas não suportadas podem levar a consequências éticas e de segurança significativas. Embora o trabalho seja um protótipo de pesquisa e não um sistema de decisão clínica autônomo, ele demonstra que sistemas de recuperação podem ser treinados para identificar tokens de evidência específicos, aumentando tanto a confiabilidade quanto a interpretabilidade dos sistemas RAG. Os autores reconhecem limitações, incluindo a dependência de dados anotados por especialistas e a restrição dos experimentos ao domínio biomédico.