Resumo Técnico: Estrutura de Contra-Interrogatório (CEF) para Fidelidade da Informação

Declaração do Problema

As métricas de avaliação tradicionais para tarefas de geração de texto-para-texto (como tradução automática, sumarização e geração de notas clínicas) falham em capturar adequadamente a fidelidade da informação. Métricas baseadas em sobreposição, como BLEU e ROUGE, penalizam paráfrases válidas e exibem viés de forma superficial, enquanto métricas baseadas em embeddings, como o BERTScore, permanecem amplamente insensíveis a contradições fatuais e alucinações ao nível de entidades. Além disso, esses métodos dependem fortemente de referências de padrão ouro custosas, limitando sua aplicabilidade em cenários específicos de domínio onde o objetivo central é a fidelidade semântica à fonte, em vez do alinhamento com um texto de referência específico.

Metodologia

Os autores adaptam a Estrutura de Contra-Interrogatório (Cross-Examination Framework - CEF) como uma ferramenta de diagnóstico agnóstica à tarefa e livre de referência. A estrutura opera na intuição de que, se dois textos contêm a mesma informação, eles devem responder às mesmas perguntas. O CEF trata o documento de origem ($D$) e o candidato gerado ($T$) como bases de conhecimento independentes e executa um processo de três estágios:

1. Geração de Perguntas: Um LLM gera perguntas de escolha fechada independentemente de ambos, da fonte ($Q_D$) e do candidato ($Q_T$). Crucialmente, as perguntas são restritas a serem do tipo "apenas SIM" (fatos verificáveis onde a resposta correta é "SIM"), garantindo que estejam fundamentadas no conteúdo do documento de origem.
2. Contra-Interrogatório: As perguntas geradas a partir da fonte ($Q_D$) são apresentadas ao candidato ($T$) para gerar respostas ($\hat{A}_{Q_D|T}$), e vice-versa ($Q_T$ apresentada a $D$). As respostas são categorizadas como "SIM", "NÃO" ou "NDS" (Não Sei Direito).
3. Computação de Pontuação: Três pontuações interpretáveis são derivadas comparando as respostas previstas contra os rótulos de verdade fundamental "SIM":
   • Cobertura (Coverage): Mede a retenção de conteúdo (porcentagem de perguntas da fonte que o candidato consegue responder, penalizando "NDS").
   • Consistência (Consistency): Mede a alucinação (porcentagem de perguntas do candidato que a fonte consegue responder, penalizando "NDS").
   • Conformidade (Conformity): Mede a contradição (porcentagem de perguntas da fonte que o candidato responde como "NÃO").
   • Concisão (Conciseness): (Específico para sumarização) Mede a brevidade através da redução da contagem de palavras.

A estrutura opera em dois modos: Livre de Referência (avaliando a fidelidade contra a fonte) e Com Referência (avaliando o alinhamento contra uma referência humana).

Principais Contribuições

• Estrutura Agnóstica à Tarefa: O CEF é estabelecido como uma avaliação multidimensional, livre de referência e aplicável à tradução, sumarização e tarefas clínicas.
• Validação Multitarefa: A validação empírica no NTREX (tradução), CNN/DailyMail (sumarização) e ACI-Bench (notas clínicas) demonstra que o CEF revela erros semânticos (omissões, contradições fatuais) ignorados por métricas tradicionais de sobreposição e de embeddings.
• Análise de Robustez e Confiabilidade: Um estudo sistemático identifica o DeepSeek-V3 como o modelo "juiz" mais estável entre diversos modelos e idiomas. O estudo também estabelece $N=10$ perguntas por documento como a configuração ideal, equilibrando confiabilidade estatística com eficiência computacional.
• Reprodutibilidade: Os autores disponibilizam os prompts, código e estudos de ablação detalhados.

Resultados Experimentais

• Estabilidade do Juiz: Entre cinco LLMs candidatos, o DeepSeek-V3 alcançou consistentemente as menores Taxas de Desacordo (ADR) e Pontuações de Desvio de Resposta (ADS) em todos os pares de idiomas e tarefas, particularmente em idiomas morfologicamente complexos (Árabe, Japonês) e na geração de notas clínicas.
• Sensibilidade de Desempenho: O CEF diferenciou com sucesso modelos de tradução especializados (ex: NLLB-3.3B, APIs comerciais) de LLMs de propósito geral, mostrando que as lacunas de desempenho aumentam em idiomas morfologicamente complexos.
• Confiabilidade Livre de Referência: Foram encontradas fortes correlações positivas entre os modos livre de referência e com referência para Cobertura ($r=0.845$) e Consistência ($r=0.846$), validando a capacidade do CEF de medir a fidelidade sem referências de ouro. A Conformidade mostrou menor correlação ($r=0.457$) devido à raridade de contradições (pontuações agrupadas próximas a 100%).
• Validação Humana:
  • Na tradução (subconjunto japonês WMT'25), o desencontro de perguntas do CEF alinhou-se com erros semânticos anotados por humanos a uma taxa de 78,40%, significativamente superior aos 23,32% de alinhamento com erros não semânticos.
  • Na sumarização (benchmark FRANK), o CEF destacou-se na identificação de distorções fatuais baseadas em relações e entidades (ex: Erros de Relação: 92,1%; Erros de Entidade: 86,2%), mas apresentou menor alinhamento com erros gramaticais ou de correferência, confirmando seu foco no embasamento semântico global em vez da fluência superficial.
• Estudos de Ablação:
  • Contagem de Perguntas: Contagens baixas de perguntas ($N=3, 5$) resultaram em severa instabilidade de pontuação. $N=10$ proporcionou estabilidade quase ótima, sendo que dobrar para $N=20$ gerou ganhos marginais pelo dobro do custo.
  • Restrição: A imposição de perguntas de "apenas SIM" provou ser crítica. Prompts não restritos que permitiam respostas "NÃO" ou "NDS" resultaram em alta instabilidade, pois os modelos tiveram dificuldade em formular alegações negativas verificáveis ou perguntas genuinamente não respondíveis.

Significância e Alegações

O artigo posiciona o CEF não como um substituto para as métricas existentes, mas como uma ferramenta de diagnóstico complementar que enriquece a avaliação ao fornecer insights semânticos profundos. Sua principal significância reside na capacidade de:

1. Identificar modos críticos de falha (omissões de conteúdo, contradições fatuais, alucinações) que métricas de superfície não detectam.
2. Operar efetivamente sem referências de padrão ouro, tornando-o adequado para aplicações de domínios específicos onde as referências não estão disponíveis.
3. Fornecer análise de erro interpretável e detalhada através de desencontros específicos de pergunta-resposta.

Os autores concluem que o CEF oferece uma abordagem principista e escalável para avaliar a fidelidade da informação, destacando-se particularmente na detecção de distorções de entidade e relacionais na geração de texto-para-texto.