Resumo Técnico: ConflictScore: Identificando e Medindo Como Modelos de Linguagem Lidam com Evidências Conflitantes

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados em configurações de geração aumentada por recuperação (RAG) para tarefas como resposta a perguntas e geração de relatórios, onde devem sintetizar informações de múltiplas fontes. No entanto, essas fontes frequentemente contêm evidências conflitantes devido à ambiguidade, opiniões divergentes ou fatos contraditórios. Métricas existentes para avaliar a factualidade e a fidelidade (por exemplo, FactScore, SAFE) tipicamente tratam o conjunto de documentos de fundamentação como um corpus de referência único e unificado. Consequentemente, se pelo menos um documento apoia uma afirmação, a métrica frequentemente rotula a afirmação como suportada, negligenciando a presença de outros documentos que a contradizem. Esse enquadramento global falha em capturar a nuance do desacordo entre evidências, levando à avaliação de respostas excessivamente confiantes ou enganosas que ignoram perspectivas conflitantes.

Metodologia

Os autores introduzem o ConflictScore, uma nova métrica projetada para quantificar quão bem um modelo reconhece e navega por evidências conflitantes dentro de seus documentos de fundamentação. Diferente de abordagens anteriores que colapsam o conjunto de evidências, o ConflictScore opera com base em cada documento. O framework consiste em três estágios:

1. Decomposição de Afirmações: A resposta do modelo é decomposta em um conjunto de afirmações fatuais atômicas e mínimas (claims).
2. Avaliação de Evidência: Cada afirmação é avaliada independentemente contra cada documento de fundamentação. Um documento é rotulado como SUPORTE (SUPPORT), CONTRADIÇÃO (CONTRADICT) ou IRRELEVANTE (IRRELEVANT) em relação à afirmação. Crucialmente, um documento é considerado como suporte a uma afirmação mesmo que a suporte apenas parcialmente, incentivando o raciocínio matizado. Uma afirmação é considerada como tendo "evidência conflitante" se o conjunto de documentos de suporte ($D^+$) e o conjunto de documentos de contradição ($D^-$) forem ambos não vazios.
3. Cálculo da Métrica: O framework agrega esses rótulos em duas medidas complementares:
   • ConflictScore-Count (CS-C): A proporção de afirmações em uma resposta que exibem conflitos (ou seja, possuem tanto suporte quanto contradição de evidências). Pontuações mais baixas indicam menos afirmações contenciosas.
   • ConflictScore-Ratio (CS-R): O equilíbrio entre as evidências de suporte e de contradição. Para cada afirmação conflitante, calcula-se a razão $|D^-| / (|D^+| + |D^-|)$ e faz-se a média disso em todas as afirmações. Isso captura a severidade do desacordo (por exemplo, uma divisão de 1:1 versus um desequilíbrio de 9:1).

Para avaliar esta métrica, os autores construíram o ConflictBench, um benchmark que agrega e transforma conjuntos de dados existentes (ContraQA, MacNoise, AmbigDocs, ConflictingQA) para cobrir diversos tipos de conflito, incluindo contrafatuais, ambiguidade e opiniões divergentes.

Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Métrica ConflictScore: Uma extensão robusta e consciente de conflitos dos pipelines de factualidade de afirmação atômica que mede explicitamente como as respostas lidam com suporte e contradição simultâneos dos documentos de fundamentação.
2. ConflictBench: Um benchmark sistemático projetado para avaliar a detecção e calibração de conflitos através de diversos tipos de conflito, preenchendo uma lacuna nos protocolos de avaliação existentes.
3. Utilidade Diagnóstica e Corretiva: A demonstração de que o ConflictScore serve não apenas como uma ferramenta diagnóstica para identificar afirmações excessivamente confiantes, mas também como um sinal corretivo. Ao alimentar sinais de conflito de volta ao modelo, os autores mostram melhorias na veracidade das respostas.

Resultados

Desempenho de Detecção de Conflito:
Experimentos no ConflictBench usando modelos de fronteira (ex: Gemini-3.5-Flash, GPT-5.4-Mini) mostram que a sub-rotina de detecção de conflito subjacente alcança alta precisão (0.98) e recall (0.90), com um F1 score geral de 0.94. Isso indica que a métrica está bem calibrada para detectar conflitos em diferentes conjuntos de dados e famílias de modelos.

Benchmarking de LLMs:
Ao ser aplicado a LLMs de última geração (GPT-5.4-Mini, GPT-5.4-Nano, Qwen3-32B) em uma tarefa de geração de relatório com evidência contraditória, os resultados revelam uma lacuna significativa na consciência de conflito. Apesar de estratégias de prompting explícitas que incentivam respostas "equilibradas" ou "super-equilibradas", os modelos frequentemente se comprometem com um único posicionamento. Os escores CS-C permaneceram consistentemente altos (em torno de 0.50–0.55), indicando que, mesmo com instruções para hesitar, os modelos frequentemente falham em reconhecer o escopo total das evidências conflitantes.

Feedback Corretivo (TruthfulQA):
Em um estudo de caso sobre o TruthfulQA, os autores testaram se alimentar sinais de conflito de volta ao modelo poderia melhorar a veracidade. Usando uma configuração de "Regenerated-RAG" onde o modelo regenera sua resposta após ser informado dos conflitos detectados, observaram melhorias consistentes sobre as configurações padrão de RAG e de controle por prompt.

• Para modelos como gemide-3.1-flash-lite, o processo de regeneração corrigiu até 74% das respostas originalmente erradas, introduzindo muito poucos novos erros (taxa de dano < 3%).
• Isso sugere que os sinais de conflito podem guiar efetivamente os modelos em direção a um raciocínio mais cauteloso e preciso, particularmente em configurações de múltipla escolha.

Significância e Limitações

O artigo argumenta que o ConflictScore fornece um diagnóstico necessário para o problema da "excesso de confiança" em sistemas RAG, onde os modelos sintetizam fontes contraditórias em respostas definitivas e potencialmente enganosas. Ao quantificar a tensão entre evidências de suporte e de contradição, ele oferece um caminho para respostas de IA mais verdadeiras e matizadas.

Os autores reconhecem diversas limitações:

• Custo Computacional: A complexidade quadrática de avaliar cada afirmação contra cada documento pode ser cara para saídas de formato longo, embora variantes leves (ex: amostragem de afirmações salientes) sejam propostas.
• Confiabilidade da Fonte: O framework atual trata todos os documentos de fundamentação igualmente, sem ponderá-los pela confiabilidade da fonte. Embora o framework seja compatível com futuras extensões conscientes de confiabilidade, ele não distingue inerentemente entre conflitos entre fontes credíveis e aqueles impulsionados por evidências de baixa qualidade.
• Dependência de Upstream: A métrica depende da precisão da decomposição de afirmações e da rotulagem de evidências de upstream. Erros nessas etapas podem se propagar para o score final, e a escolha da granularidade da afirmação pode influenciar a avaliação.

Em resumo, o artigo estabelece que os LLMs atuais lutam para lidar naturalmente com evidências conflitantes e que mecanismos explícitos de detecção e feedback de conflito são ferramentas eficazes para melhorar a veracidade e a confiabilidade do conteúdo gerado.