Source-Aware Reranking for Retrieval-Augmented Generation: A Reliability Prior Approach

Resumo Técnico: Reclassificação Consciente da Fonte para Geração Aumentada por Recuperação (RAG)

Definição do Problema
Os pipelines de Geração Aumentada por Recuperação (RAG) padrão dependem tipicamente apenas da similaridade semântica entre os embeddings da consulta e do documento para classificar o conteúdo recuperado. Esta abordagem trata todos os documentos como entradas igualmente válidas, independentemente de sua origem, credibilidade ou potencial de dano. Em cenários de domínio aberto ou não curados, isso cria uma vulnerabilidade onde documentos semanticamente plausíveis, mas factualmente enganosos (ex: postagens geradas por IA ou fóruns de usuários), podem ser recuperados com a mesma prioridade que diretrizes clínicas revisadas por pares ou relatórios governamentais. O artigo aborda a necessidade de um mecanismo para distinguir entre fontes de alta credibilidade e baixa credibilidade dentro da função de classificação de recuperação sem alterar os modelos de linguagem ou de embedding subjacentes.

Metodologia
Os autores propõem uma modificação simples e interpretável ao pipeline de recuperação RAG padrão: uma camada de reclassificação consciente da fonte (source-aware reranking layer) que opera pós-recuperação, mas antes da janela de contexto final. O mecanismo central envolve a atribuição de um prior de confiabilidade, $\lambda(s)$, a cada documento com base em seu tipo de fonte $s$.

A pontuação de recuperação é reponderada usando a seguinte fórmula multiplicativa:
$$\text{score}_{SA}(q, d) = \text{sim}(q, d) \times \lambda(s_d)$$
Onde $\text{sim}(q, d)$ é a pontuação de similaridade semântica padrão e $\lambda(s_d)$ é um prior pré-definido baseado no domínio.

Os componentes principais da implementação incluem:

• Taxonomia de Fontes: Os documentos são categorizados em tipos como revisado_por_pares, governamental, noticias_estabelecidas, blog, gerado_por_usuario e gerado_por_ia.
• Priors: Valores de confiabilidade fixos são atribuídos (ex: 0,95 para revisado por pares, 0,30 para gerado por IA) com base em pressupostos de domínio no setor de saúde.
• Expansão de Candidatos: Para permitir que a ponderação reordene os resultados de forma significativa, o sistema recupera um pool expandido de candidatos ($3k$) antes de aplicar a ponderação de confiabilidade e selecionar o top-$k$.
• Extensões Opcionais: O framework inclui suavização de vizinho de etapa única opcional (ajustando a confiabilidade com base em vizinhos mais próximos) e um mecanismo de atualização de peso pós-consulta que ajusta os priors com base em feedback heurístico (feedback de oráculo simulado neste estudo).

Configuração Experimental
O framework foi avaliado em um corpus controlado de 120 documentos no domínio da saúde e medicina. O conjunto de dados incluiu 10 documentos criados adversariamente, projetados para serem semanticamente próximos das consultas de avaliação, mas contendo alegações médicas enganosas. Esses documentos adversários foram atribuídos a tipos de fonte de baixa credibilidade (ex: gerado_por_ia). A avaliação comparou o sistema consciente da fonte contra um baseline de apenas similaridade através de métricas como Precision@5, NDCG@5, Mean Reciprocal Rank (MRR) e taxa de acerto adversarial. Todos os experimentos foram executados no cluster de alto desempenho Rosie, na Milwaukee School of Engineering.

Principais Resultados
Neste cenário controlado, a abordagem de reclassificação consciente da fonte produziu os seguintes resultados:

• Melhoria na Precisão: A Precision@5 melhorou de 0,48 (baseline) para 0,72, um aumento relativo de 50%.
• Supressão Adversarial: A taxa média de acerto adversarial (frequência de documentos de baixa credibilidade no top 5) diminuiu de 0,32 para 0,28.
• Qualidade de Classificação: O MRR melhorou para 1,000, indicando que o primeiro documento recuperado era relevante para todas as consultas.
• Sensibilidade: A análise de sensibilidade mostrou que a magnitude da melhoria é impulsionada pela dispersão entre os priors de alta e baixa confiabilidade. Uma dispersão "comprimida" gerou ganhos modestos, enquanto as dispersões "atual" e "agressiva" produziram melhorias consistentes.
• Limitações Observadas: O método não foi uniformemente benéfico; para duas consultas específicas (q006 e q010), o sistema consciente da fonte teve um desempenho ligeiramente inferior ao baseline, sugerindo que estruturas de corpus específicas por tópico podem, às vezes, fazer com que a reponderação traga à tona documentos adversários que deslocam outros documentos limpos de baixa confiabilidade.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Formulação: Uma formulação de reclassificação ponderada por confiabilidade que funciona como uma modificação pós-recuperação, não exigindo alterações no modelo de linguagem ou no modelo de embedding subjacente.
2. Avaliação: Uma avaliação de injeção adversarial controlada sob um modelo de ameaça específico onde documentos de baixa credibilidade são identificáveis via metadados, demonstrando o efeito de supressão dos priors de confiabilidade.
3. Análise Empírica: Uma análise em um corpus do domínio da saúde sugerindo que a ponderação da proveniência da fonte pode reduzir a recuperação adversarial e melhorar a precisão em ambientes controlados.

Significância e Alegações
Os autores enquadram explicitamente este trabalho como uma avaliação empírica de uma modificação simples, em vez de uma proposta de um novo modelo de recuperação ou uma afirmação de robustez geral. A significância reside em demonstrar que a ponderação de proveniência de fonte leve e interpretável é uma estratégia viável para mitigar a degradação da qualidade da fonte em pipelines de RAG dentro dos limites da configuração experimental.

O artigo mantém um tom modesto quanto às suas alegações:

• Não afirma resolver o problema geral da desinformação, observando que um adversário ciente do sistema poderia falsificar metadados de fonte para contornar a penalidade.
• Reconhece que os priors de confiabilidade são definidos manualmente e não aprendidos a partir de dados.
• Esclarece que o componente de aprendizado adaptativo depende de feedback de oráculo (rótulos de verdade fundamental/ground-truth) e não é um mecanismo implantável para feedback de usuário do mundo real.
• Enfatiza que os resultados são exploratórios devido à pequena escala (120 documentos, 10 consultas) e à falta de testes de significância estatística formal.

Em última análise, o trabalho sugere que incorporar priors de fonte informados pelo domínio é um passo prático e não invasivo para melhorar a confiabilidade da recuperação, ao mesmo tempo em que destaca a necessidade de trabalhos futuros para abordar sinais de nível de conteúdo, aprender priors a partir de dados e testar contra modelos de ameaça adversários mais sofisticados.