Resumo Técnico: Quantificando a Dominância de Priores em Sistemas RAG

1. Declaração do Problema

Os atuais frameworks de avaliação para sistemas de Geração Aumentada por Recuperação (RAG) sofrem de "cegueira epistêmica". Benchmarks padrão dependem de heurísticas discretas, como Correspondência Exata (EM) ou pontuações F1, que falham em distinguir entre a extração genuína de informação contextual e a recitação de memória paramétrica (conhecimento pré-treinado). Essa ambiguidade obscurece se um modelo está verdadeiramente utilizando evidências recuperadas ou simplesmente dependendo de seus pesos internos. Além disso, essas métricas binárias não conseguem capturar flutuações contínuas na confiança preditiva quando os modelos encontram contextos adversariais, conflitos de conhecimento ou ruído semântico. Consequentemente, a suposição prevalecente de que contagens de parâmetros maiores melhoram inerentemente o desempenho de RAG permanece não verificada para tarefas estritas de extração factual.

2. Metodologia

Para abordar essas limitações, os autores introduzem um framework baseado em espaços de probabilidade contínua em vez de correspondência de texto discreta.

A Métrica NCU

A contribuição central é a métrica de Utilização de Contexto Normalizada (NCU). Esta métrica quantifica o ganho informacional fornecido pelo contexto recuperado medindo a redução na incerteza preditiva.

• Mecanismo: Ela calcula a diferença entre as log-probabilidades normalizadas pelo comprimento de uma sequência alvo em um cenário Zero-Shot (incerteza a priori, $S_{prior}$) e um cenário Oracle onde o contexto de verdade fundamental é fornecido (incerteza a posteriori, $S_{post}$).
• Fórmula: O Score de Utilização de Contexto (CUS) bruto é definido como $S_{prior} - S_{post}$. Para permitir a comparação entre modelos, isso é normalizado pelo ganho teórico máximo ($S_{prior}$), resultando no score NCU:
  $$NCU = \max\left[0, \min\left(1, \frac{CUS}{S_{prior} + \epsilon}\right)\right]$$
  onde $\epsilon$ é um fator de suavização para evitar a divisão por zero.
• Condições de Contorno: A métrica lida com a Transferência Negativa (onde o contexto aumenta a incerteza) rastreando razões brutas não clipadas, e com a Dominância de Prior (onde os modelos ignoram o contexto) medindo a falha em reduzir a incerteza.

Configuração Experimental

O estudo avaliou arquiteturas variando de 1.5B a 72B de parâmetros, juntamente com uma API comercial proprietária (gpt-4o-mini).

• Datasets: Natural Questions (NQ-Open), TriviaQA e HotpotQA (divisão de distratores), restritos ao inglês para minimizar o ruído de tokenização.
• Condições: Para cada consulta, quatro condições foram sintetizadas:
  1. Zero-Shot: Apenas a consulta.
  2. Oracle: Consulta + contexto de verdade fundamental.
  3. Conflito Adversarial: Consulta + contexto contendo uma entidade fabricada (substituindo a resposta verdadeira).
  4. Ruído Semântico: Consulta + contexto inserido em texto irrelevante.
• Restrições: A geração foi estritamente limitada a 5 tokens usando decodificação greedy para isolar capacidades puras de extração, excluindo raciocínio de Cadeia de Pensamento (CoT).

3. Principais Contribuições

1. Métrica de Avaliação Contínua: A definição e validação da NCU, que isola o processamento contextual da memória paramétrica e normaliza disparidades de vocabulário e tokenização.
2. Evidência de Retornos Decrescentes: Demonstração empírica de que, para extração factual estrita, o escalonamento de parâmetros gera retornos decrescentes severos. Modelos de Linguagem Pequenos (SLMs) atingiram paridade estatística com modelos massivos em utilização de contexto.
3. Quantificação de Dominância de Prior e Transferência Negativa: Identificação de uma vulnerabilidade estrutural em modelos de alta capacidade onde eles sobrepõem evidências externas explícitas (Dominância de Prior) e sofrem colapso sistêmico de confiança (Transferência Negativa) quando os priors são contraditos.

4. Resultados Principais

• Escalonamento de Extração (RQ1): A API comercial (gpt-4o-mini) alcançou a maior precisão zero-shot (62.0%), indicando memorização paramétrica superior, mas exibiu a menor precisão de extração Oracle (90.1%) e o menor score NCU limitado (0.777). Em contraste, o modelo Qwen de 1.5B alcançou um pico de precisão Oracle de 95.9% e um NCU de 0.864, igualando-se ao modelo de 72B (NCU 0.868) enquanto operava com latência significativamente menor (0.041s vs 0.389s).
• Dominância de Prior (RQ2): Modelos de alta capacidade demonstraram uma forte tendência de sobrepor o contexto adversarial. A API comercial rejeitou o contexto adversarial em 47.1% dos casos, recorrendo ao seu prior paramétrico apesar das instruções para usar o texto recuperado. O modelo de 72B mostrou uma taxa de sobreposição de 42.5%, enquanto os modelos de 1.5B e 7B aderiram ao contexto em aproximadamente 65–67% dos conflitos.
• Transferência Negativa (RQ3): Quando expostos a contextos conflitantes ou confusos, modelos de alta capacidade sofreram de "Transferência Negativa", onde o contexto degradou ativamente a confiança preditiva abaixo da linha de base zero-shot. O baseline comercial experimentou perda de informação em 9.8% das inferências, quase o triplo da taxa do modelo de 1.5B (3.8%). O NCU bruto para a API comercial mostrou valores negativos extremos (-7779.254), indicando um colapso na confiança em relação à sua alta incerteza inicial.

5. Significância e Alegações

O artigo argumenta que a vantagem epistêmica estrutural de Modelos de Linguagem Pequenos (SLMs) em fluxos de trabalho de extração estrita desafia a suposição de que modelos maiores são universalmente superiores para RAG.

• Hipótese do Imposto de Alinhamento: Os autores propõem que os alinhamentos proprietários e a pesada memorização paramétrica podem agir como um "imposto", fazendo com que os modelos resistam a atualizações fora da distribuição e sobreponham evidências externas.
• Implicações Arquiteturais: Os achados sugerem que, para tarefas que exigem fundamentação factual estrita, implantar modelos massivos e altamente alinhados pode ser computacionalmente subótimo. Em vez disso, os autores defendem arquiteturas RAG modulares onde o roteamento de tarefas é determinado pelos requisitos epistêmicos: SLMs para adesão ao contexto e extração de baixa latência, e modelos de alta capacidade reservados para síntese generativa complexa onde a integração paramétrica é benéfica.
• Limitações: Os autores observam que suas alegações são estritamente limitadas à extração factual (single-hop, geração curta) e não se estendem ao raciocínio multi-hop ou paradigmas de CoT, onde modelos grandes tipicamente se destacam. Além disso, a comparação entre modelos de pesos abertos e proprietários envolve variáveis de confusão (ex: arquiteturas MoE, dados de treinamento não divulgados) que impedem uma ablação causal estrita dos efeitos de alinhamento de segurança.