Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models

1. Declaração do Problema

Os sistemas de Geração Aumentada por Recuperação (RAG) são projetados para fundamentar Modelos de Linguagem de Grande Escala (LLMs) em evidências externas. No entanto, um modo de falha crítico conhecido como infidelidade ocorre quando os modelos ignoram o contexto recuperado e dependem, em vez disso, de sua memória paramétrica interna (conhecimento adquirido durante o pré-treinamento).

• Causa Raiz: As perdas padrão de previsão do próximo token tratam todos os tokens igualmente, falhando em distinguir entre informações derivadas do contexto e fatos memorizados. Sem sinais de treinamento explícitos que recompensem a fundamentação no contexto, os modelos recorrem ao conhecimento interno quando surgem conflitos.
• Lacuna: As soluções existentes focam ou na resolução de conflitos no tempo de inferência (por exemplo, Self-RAG, FaithfulRAG) ou fornecem benchmarks de avaliação em pequena escala (por exemplo, FaithEval com ~4,9 mil amostras). Há uma falta de dados de treinamento em grande escala e de alta qualidade especificamente projetados para forçar os modelos a priorizar o contexto recuperado sobre a memória interna por meio de conflitos de conhecimento controlados.

2. Metodologia: Construção do Faithfulness-QA

Os autores propõem o Faithfulness-QA, um conjunto de dados de 99.094 amostras construído por meio de um pipeline totalmente automatizado de quatro estágios. O mecanismo central é a Substituição de Entidade Contrafactual, que cria conflitos artificiais entre o contexto e o conhecimento paramétrico provável do modelo.

A. Dados de Origem

O conjunto de dados é construído a partir de dois benchmarks complementares de QA extrativa:

1. SQuAD: 87.599 pares (parágrafos da Wikipedia, comprimento mediano de 701 caracteres).
2. TriviaQA: 87.041 pares (documentos de evidência mais longos, comprimento mediano de 1.581 caracteres).

B. O Pipeline de Quatro Estágios

1. Construção do Banco de Entidades:

   • Entidades nomeadas extraídas dos contextos de origem usando o modelo NER en_core_web_lg do SpaCy.
   • Curadoria de um banco de 76.953 entidades únicas em 8 tipos: PERSON, GPE, ORG, DATE, CARDINAL, NORP, LOC e EVENT.
   • Filtragem de entidades por comprimento (2–100 caracteres).

2. Correspondência Resposta–Entidade:

   • Para cada amostra de QA $(q, c, a)$, o sistema tenta corresponder a resposta $a$ a uma entidade NER reconhecida no contexto $c$.
   • Utiliza uma cascata de três estratégias: correspondência exata, correspondência de substring e sobreposição posicional.
   • Amostras que não conseguem corresponder a uma entidade nomeada são filtradas (este é o principal gargalo).

3. Substituição de Entidade Contrafactual (Etapa Central):

   • Identifica a entidade de resposta original ($e_{orig}$) e seu tipo ($t$).
   • Amostra uma entidade de substituição ($e_{new}$) do banco que compartilha o mesmo tipo $t$, mas é distinta de $e_{orig}$.
   • Impõe compatibilidade de comprimento ($0,3 \le |e_{new}|/|e_{orig}| \le 3,0$).
   • Substituição Global: Substitui todas as ocorrências insensíveis a maiúsculas e minúsculas de $e_{orig}$ por $e_{new}$ no contexto para criar $c'$.
   • A nova resposta "fiel" torna-se $e_{new}$.

4. Filtragem de Qualidade e Divisão:

   • Aplica 6 verificações baseadas em regras (por exemplo, garantir que a nova entidade esteja no contexto modificado, que a original seja removida, que o comprimento do contexto seja suficiente, sem substituições excessivas).
   • Divide as amostras aprovadas em Treino/Validação/Teste (80/10/10) com uma semente fixa (42).
   • Todo o pipeline é determinístico, executa em uma única CPU em ~5,5 horas e não requer GPU.

3. Contribuições Principais

1. Conjunto de Dados Faithfulness-QA: Um recurso em grande escala (99 mil amostras) especificamente projetado para treinar modelos RAG a seguir o contexto em vez da memória paramétrica. É aproximadamente 20 vezes maior que os benchmarks de avaliação de fidelidade existentes.
2. Pipeline de Construção Automatizada: Um pipeline totalmente automatizado e de código aberto que alcança uma taxa de sucesso de substituição de 56,7% com taxas de aprovação de qualidade de 100% em amostras auditadas.
3. Banco de Entidades Tipadas: Um recurso reutilizável de 76.953 entidades em 8 categorias, permitindo a construção de conjuntos de dados reproduzíveis e extensíveis.
4. Análise Abrangente: Análise estatística detalhada das distribuições de entidades, comprimentos de contexto e modos de falha, demonstrando a complementaridade das fontes SQuAD e TriviaQA.

4. Resultados e Estatísticas

• Escala: 99.094 amostras no total (49.094 do SQuAD, 50.000 do TriviaQA).
• Taxa de Sucesso: 56,7% no geral (56,0% para SQuAD, 57,4% para TriviaQA).
• Análise de Falhas: A principal razão para filtragem (64,0%) é a falta de uma entidade NER correspondente (por exemplo, respostas são frases descritivas ou valores booleanos). Esta é uma troca deliberada para garantir substituições bem definidas e consistentes em tipo.
• Auditoria de Qualidade: Uma auditoria aleatória de 200 amostras alcançou taxas de aprovação de 100% em quatro dimensões: presença de substituição, remoção da original, modificação do contexto e razão de comprimento.
• Distribuição de Entidades:
  • O TriviaQA é dominado por entidades PERSON (45,7%).
  • O SQuAD mostra uma distribuição mais uniforme entre ORG, DATE e PERSON.
  • A combinação garante cobertura ampla, mitigando o sobreajuste específico de tipo.

5. Significado e Aplicações

O Faithfulness-QA aborda uma lacuna crítica no ecossistema RAG, deslocando o foco de avaliar a fidelidade para treinar para ela.

• Ajuste Fino Consciente de Fidelidade: Permite treinar modelos para anular a memória paramétrica quando esta entra em conflito com evidências recuperadas.
• Funções de Perda Baseadas em Atenção: As regiões de modificação explícitas permitem a supervisão dos pesos de atenção cruzada, incentivando os modelos a prestar atenção ao contexto.
• Pesquisa de Conflito de Conhecimento: Fornece um ambiente controlado para estudar como os LLMs resolvem conflitos entre evidências externas e crenças internas.
• Complementaridade: Enquanto o FaithEval serve como um benchmark para avaliação, o Faithfulness-QA serve como o recurso de treinamento para construir modelos capazes de passar por tais benchmarks.

6. Limitações e Trabalhos Futuros

• Limitações:
  • Sem resolução de coreferência (pronomes que se referem a entidades substituídas não são atualizados).
  • Depende de filtragem baseada em regras em vez de modelos NLI para consistência semântica.
  • Algumas substituições podem ser sintaticamente válidas, mas semanticamente implausíveis (por exemplo, "Amritsar, Illinois").
  • Atualmente limitado ao inglês.
• Direções Futuras: Integrar resolução de coreferência, usar LLMs para correspondência de entidades para melhorar as taxas de sucesso, aplicar filtragem baseada em NLI e conduzir experimentos de treinamento downstream com LLMs de código aberto (Llama-3, Mistral, Qwen).

Conclusão: O Faithfulness-QA fornece a infraestrutura necessária para mover os sistemas RAG de "aumentados por recuperação" para "fiéis à recuperação", garantindo que os modelos realmente dependam das evidências fornecidas a eles, em vez de seus vieses pré-treinados.