Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation

Título: Quantificação de Incerteza Consciente da Fidelidade para Verificação de Fatos na Saída de Geração Aumentada por Recuperação (RAG)

1. O Problema

Os Modelos de Linguagem Grandes (LLMs) aumentados por recuperação, conhecidos como RAG (Retrieval-Augmented Generation), têm demonstrado alto desempenho em perguntas de domínio aberto. No entanto, eles ainda são propensos a alucinações (saídas factualmente incorretas).

O problema central identificado pelos autores é a confusão comum entre dois conceitos distintos:

• Factualidade: Se a afirmação gerada é objetivamente verdadeira no mundo real.
• Fidelidade (Faithfulness): Se a afirmação gerada é semanticamente derivada ou apoiada pelo contexto recuperado.

Métodos existentes frequentemente tratam qualquer conteúdo não apoiado explicitamente pela recuperação como uma alucinação. Isso é problemático porque:

1. O modelo pode gerar uma afirmação factualmente correta baseada em seu conhecimento interno, mas que não está no contexto recuperado (o que seria erroneamente marcado como alucinação).
2. O contexto recuperado pode conter erros, levando o modelo a gerar uma resposta fidelamente alinhada ao contexto, mas factualmente errada.

Portanto, é necessário um método que diferencie entre erros de fundamentação (baseados no contexto) e erros de conhecimento interno, quantificando a incerteza de forma específica para cada caso.

2. Metodologia: FRANQ

Os autores propõem o FRANQ (Faithfulness-aware Retrieval Augmented UNcertainty Quantification), um novo método para detectar alucinações em RAG. A abordagem baseia-se em decompor a probabilidade de uma afirmação ser verdadeira em três componentes, utilizando técnicas distintas de Quantificação de Incerteza (UQ) dependendo da fidelidade da afirmação ao contexto.

A fórmula fundamental do FRANQ para uma afirmação $c$ é:
$$P(c \text{ é verdadeiro}) = P(c \text{ é fiel}) \cdot P(c \text{ é verdadeiro} | \text{fiel}) + P(c \text{ não é fiel}) \cdot P(c \text{ é verdadeiro} | \text{não fiel})$$

Componentes do FRANQ:

1. Estimativa de Fidelidade ($P(c \text{ é fiel})$):

   • Utiliza o AlignScore (uma métrica baseada em RoBERTa) para determinar o grau em que a afirmação é inferida pelo contexto recuperado.
   • Diferente de métodos binários, o AlignScore fornece uma estimativa contínua, capturando casos de fundamentação parcial.

2. Factualidade sob Condição Não-Fiel ($P(c \text{ é verdadeiro} | \text{não fiel})$):

   • Quando a afirmação não é apoiada pelo contexto, ela origina-se do conhecimento paramétrico interno do LLM.
   • Para QA de Longo Formato: Utiliza o método de Conhecimento Paramétrico, calculando a probabilidade da afirmação apenas com base no conhecimento do modelo (removendo o contexto recuperado da entrada).
   • Para QA de Curto Formato: Utiliza a Soma dos Autovalores (Sum of Eigenvalues), uma métrica baseada na diversidade de amostras, que se mostrou mais eficaz neste cenário.

3. Factualidade sob Condição Fiel ($P(c \text{ é verdadeiro} | \text{fiel})$):

   • Quando a afirmação é fiel ao contexto, o erro pode ocorrer se o modelo aplicar mal a informação recuperada.
   • Para QA de Longo Formato: Utiliza a Probabilidade Máxima da Afirmação (Max Claim Probability) condicionada ao prompt completo (pergunta + contexto).
   • Para QA de Curto Formato: Utiliza a Entropia Semântica, que captura melhor a incerteza em respostas curtas.

4. Calibração:

   • Como as métricas de UQ podem ter distribuições diferentes, o FRANQ aplica regressão isotônica para calibrar as pontuações.
   • A estratégia principal é a Calibração Condicional: calibrar separadamente os componentes de "fiel" e "não fiel" usando subconjuntos específicos de dados de treinamento, garantindo que as pontuações finais sejam probabilisticamente significativas.

3. Contribuições Principais

1. Método FRANQ: Desenvolvimento de uma nova abordagem de UQ que separa explicitamente a avaliação de fidelidade da avaliação de factualidade, adaptando a estratégia de detecção de incerteza conforme a origem do erro (contexto vs. conhecimento interno).
2. Novo Dataset de QA de Longo Formato: Criação de um dataset anotado com rótulos de factualidade e fidelidade para afirmações atômicas. O dataset foi construído combinando anotação automática (com GPT-4o) e validação manual rigorosa para casos difíceis (falsos ou não verificáveis), superando as limitações de benchmarks anteriores que focavam apenas na fidelidade.
3. Avaliação Abrangente: Experimentos extensivos em múltiplos datasets (curto e longo formato), tarefas e modelos LLM (Llama, Falcon, Gemma), demonstrando a superioridade do FRANQ sobre métodos existentes.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de QA de curto e longo formato, avaliando métricas como PR-AUC (Área sob a Curva de Precisão-Recall) e PRR (Razão de Rejeição de Previsão).

• Desempenho Geral: O FRANQ (especificamente a versão com calibração condicional) superou consistentemente todas as linhas de base, incluindo:
  • Métodos gerais de UQ (ex: Perplexidade, Entropia).
  • Métodos específicos para RAG (ex: AlignScore isolado).
  • Classificadores supervisionados (XGBoost).
• Robustez: O método demonstrou robustez contra ruídos na recuperação, mantendo alto desempenho mesmo quando 50% dos documentos recuperados eram irrelevantes ou continham erros factuais intencionais.
• Análise de Componentes:
  • Em QA de longo formato, a escolha do método para afirmações não fiéis (Conhecimento Paramétrico) foi crítica para o desempenho.
  • A calibração condicional provou ser superior à calibração global ou à ausência de calibração, especialmente para modelos menores.
• Eficiência: O overhead computacional do FRANQ é modesto (adição de ~1.7s por instância além da geração do LLM), e os modelos de calibração são extremamente leves (centenas de bytes), tornando-o viável para implantação.

5. Significado e Conclusão

O trabalho é significativo porque redefine a forma como avaliamos a confiabilidade em sistemas RAG. Ao distinguir entre "não apoiado pelo contexto" e "falso", o FRANQ evita penalizar modelos que trazem conhecimento externo correto, ao mesmo tempo em que detecta eficazmente erros factuais que surgem tanto de contextos ruins quanto de conhecimento interno falho.

A introdução de um dataset anotado com dupla verificação (factualidade e fidelidade) preenche uma lacuna crítica na comunidade, permitindo pesquisas mais precisas sobre alucinações. O FRANQ oferece um framework leve e eficaz para sistemas de verificação de fatos em tempo de execução ou pós-processamento, contribuindo para a construção de sistemas de IA mais confiáveis e interpretáveis em domínios de alto risco, como saúde e direito.