💬 NLP

Evidence Absence Is Not Evidence Insufficiency: Diagnosing NEI Construction Artifacts in Fact Verification

Este artigo apresenta o NEI-CAP, um protocolo de diagnóstico que revela que os modelos de verificação de fatos frequentemente falham em generalizar a competência de "Informação Insuficiente" entre diferentes métodos de construção de evidências, porque as pontuações agregadas podem ocultar a dependência subjacente de pistas abreviadas e artefatos específicos da construção.

Autores originais: Jingxi Qiu, Zeyu Han, Cheng Huang

Publicado 2026-05-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jingxi Qiu, Zeyu Han, Cheng Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando um detetive para resolver mistérios. Seu objetivo é ver se eles conseguem distinguir entre três coisas:

O caso foi resolvido (As evidências sustentam a alegação).
O caso foi desvendado (As evidências refutam a alegação).
Ainda não temos informações suficientes (O rótulo "NEI").

Este artigo argumenta que, embora tenhamos estado testando detetives sobre o quão bem eles resolvem casos, temos estado a enganá-los no teste de "Não temos informações suficientes". Temos-lhes dado pistas que estão tão obviamente ausentes que o detetive não precisa ser inteligente para identificar o problema; eles apenas precisam de identificar o formato da pista em falta.

Aqui está a análise detalhada das descobertas do artigo usando analogias simples.

1. O Problema: O Truque da "Caixa Vazia"

Na verificação de factos, quando um modelo informático diz "Informação Insuficiente" (NEI), significa que as evidências fornecidas não são suficientes para provar ou refutar uma afirmação.

O artigo descobriu que muitos conjuntos de dados (os testes de treino para estes modelos) criam exemplos de "NEI" de forma preguiçosa.

O Truque "Fácil": Eles dão ao modelo uma afirmação como "A Grande Muralha está no Brasil" e depois dão-lhe nenhuma evidência de todo (uma caixa vazia) ou um pedaço de texto sobre pizza (totalmente irrelevante).
O Resultado: O modelo aprende um atalho. Pensa: "Ah, se não há texto ou o texto é sobre pizza, devo dizer 'Informação Insuficiente'". Não está realmente a verificar se a evidência é insuficiente; está apenas a verificar se a evidência está ausente ou estranha.

2. O Teste Real: A "Caixa Meio-Cheia"

O artigo apresenta uma nova forma de testar chamada NEI-CAP. Em vez de apenas dar ao modelo uma caixa vazia, dão-lhe uma caixa meio-cheia.

O Cenário: A afirmação é "A Grande Muralha está no Brasil". A evidência fornecida é um parágrafo longo e detalhado sobre a Grande Muralha, mas fala apenas sobre o seu comprimento e onde ela está na China. Não menciona o Brasil, mas é claramente relacionada ao tópico.
O Desafio: Um detetive inteligente deve perceber: "Este texto é sobre a Grande Muralha, mas não me diz se ela está no Brasil. Preciso de mais informações."
O Fracasso: O artigo descobriu que os modelos treinados nos truques de "Caixa Vazia" (o NEI fácil) falham completamente neste teste de "Caixa Meio-Cheia". Eles olham para o texto relacionado, veem que parece sustentador (porque é sobre a Grande Muralha) e dizem com confiança: "Isto sustenta a alegação!" ou "Isto refuta-a!". Eles perdem o facto de que o detalhe específico de que precisam está em falta.

3. A Metáfora da "Construção"

Os autores chamam à forma como estes testes são construídos "Famílias de Construção".

Construção Fácil: Como construir um muro de cartão. Parece um muro, mas é frágil. Se treinares um modelo em muros de cartão, ele aprende a identificar cartão, não tijolos reais.
Construção Difícil: Como construir um muro de tijolos reais, mas deixando um buraco no meio. O modelo precisa de entender a estrutura do muro para saber que está incompleto.

O artigo mostra que, se treinares um modelo em "cartão" (evidência fácil, irrelevante ou vazia), ele obtém uma pontuação perfeita no teste. Mas, no momento em que mudas para "tijolos reais com um buraco" (evidência semanticamente relacionada, mas insuficiente), o modelo colapsa. Obtém zero.

4. A Ilusão da "Pontuação Mágica"

Atualmente, quando olhamos para o boletim de um modelo, vemos um grande número: "Pontuação NEI".

O Aviso do Artigo: Este número é uma mentira. É como um aluno a obter um "A" num teste de matemática porque o professor só lhe pediu para somar zeros. Se pedires para somar frações, ele falha.
O artigo prova que um modelo pode ter uma "Pontuação NEI" perfeita em testes fáceis, mas ser completamente inútil em cenários do mundo real onde a evidência é relacionada, mas incompleta. A "Pontuação Média" esconde o facto de o modelo estar apenas a memorizar o formato do teste, e não a aprender a competência.

5. A Solução: NEI-CAP

Os autores propõem um novo protocolo chamado NEI-CAP. Pensa nisto como uma nova forma de avaliar o detetive:

Não dês apenas uma pontuação: Em vez disso, reporta como o teste foi construído. Usámos a "Caixa Vazia" ou a "Caixa Meio-Cheia"?
Audita os truques: Verifica se o modelo está apenas a detetar atalhos (como "sem texto = NEI") ou se realmente compreende o conteúdo.
Verificação Humana: Para os testes mais difíceis, humanos verificam se a evidência é verdadeiramente insuficiente, garantindo que o modelo não está a ser enganado por dados ambíguos.

Resumo

O artigo conclui que a forma como criamos testes de "Informação Insuficiente" determina o que a IA aprende.

Se fizermos os testes demasiado fáceis (caixas vazias), a IA aprende a detetar o vazio, e não a insuficiência.
Se fizermos os testes difíceis (informação relacionada, mas incompleta), a IA tem realmente de pensar.
Atualmente, a maioria dos modelos de IA está a "trapacear" nos testes fáceis. Parecem inteligentes, mas falham quando a evidência é complicada. O artigo pede que deixemos de nos esconder atrás de pontuações médias e comecemos a relatar exatamente que tipo de "construção de evidências" o modelo foi testado.

Resumo Técnico: A Ausência de Evidência Não é Insuficiência de Evidência: Diagnosticando Artefatos de Construção NEI em Verificação de Fatos

Declaração do Problema

Sistemas de verificação de fatos classificam tipicamente alegações em três categorias: SUSTENTADO, REFUTADO ou NÃO HÁ INFORMAÇÃO SUFICIENTE (NEI). O rótulo NEI destina-se a indicar que o conjunto de evidências disponível $E$ é insuficiente para estabelecer a veracidade ou falsidade de uma alegação $c$ . No entanto, o artigo argumenta que a operacionalização do rótulo NEI é uma escolha de design que varia significativamente entre benchmarks (por exemplo, FEVER, SciFact, HoVer) e frequentemente permanece indefinida nos protocolos de avaliação.

O problema central identificado é que a "ausência de evidência" (por exemplo, campos vazios, trechos não relacionados) é observacionalmente distinta da "insuficiência de evidência" (por exemplo, evidência semanticamente relacionada, mas incompleta). Benchmarks atuais frequentemente confundem essas condições. Consequentemente, modelos podem aprender a reconhecer artefatos de construção específicos (como texto ausente, incompatibilidades de tópico ou vieses posicionais) em vez de aprender a capacidade pretendida de identificar a insuficiência genuína de evidência. Isso leva a uma situação onde métricas agregadas de desempenho NEI (como NEI-F1) podem ser altas, enquanto o modelo falha completamente em evidência insuficiente semanticamente relacionada.

Metodologia: NEI-CAP

Para abordar isso, os autores introduzem o NEI-CAP (Protocolo Consciente da Construção NEI), um quadro diagnóstico que trata a construção de evidências NEI como uma variável explícita na avaliação.

1. Taxonomia de Construção

O NEI-CAP categoriza exemplos NEI em famílias de construção específicas com base em como a evidência insuficiente foi gerada. A taxonomia distingue entre:

Construções propensas a atalhos: Exemplos projetados para expor atalhos de formato, tópico ou posição.
- Marcador: Marcadores de evidência fixos ou vazios.
- Irrelevante Aleatório: Evidência de tópicos não relacionados.
- Viesada por Posição: Evidência não racional de locais previsíveis do documento.
Evidência insuficiente semanticamente relacionada (NEI Difícil): Exemplos onde a evidência é topicamente relacionada, mas logicamente incompleta.
- Quase-acerto BM25: Alta sobreposição lexical, mas suporte insuficiente.
- Não racional citado: Evidência de documentos citados que não é a racionalidade real.
- Não racional do mesmo documento: Evidência não racional da mesma fonte documental.
- Salto ausente: Evidência multi-salto com um fato necessário removido.

2. Fluxo de Trabalho Diagnóstico

O protocolo segue cinco etapas:

Construir: Atribuir uma família de construção ( $z$ ) e um ID de grupo ( $g$ ) a cada exemplo. O modelo nunca é exposto a $z$ ; ele é usado exclusivamente para auditoria e relatórios estratificados.
Auditar: Medir características de atalho (por exemplo, comprimento, sobreposição, cobertura) para identificar pistas de superfície que os modelos possam explorar.
Validar: Usar a adjudicação humana para separar o "candidato" NEI difícil de exemplos que são realmente sustentados, refutados ou ambíguos. Isso cria um subconjunto de "NEI difícil adjudicado por humanos".
Teste de Estresse: Avaliar modelos treinados em famílias de construção específicas contra outras famílias para testar a transferibilidade.
Relatar: Liberar métricas estratificadas por família de construção em vez de pontuações agregadas.

3. Configuração Experimental

O protocolo é instanciado principalmente no SciFact (verificação de alegações científicas), com FEVER e HoVer servindo como controles externos delimitados.

Modelos: O verificador principal é o DeBERTa-v3-base, com RoBERTa e SciBERT como backbones secundários.
Regimes de Treinamento: Modelos são treinados em famílias de construção únicas (por exemplo, apenas marcadores) ou regimes mistos (misturas fáceis, difíceis ou balanceadas).
Avaliação: Utiliza matrizes de deslocamento de construção (treinar na Família A, testar na Família B) e recall de NEI difícil adjudicado por humanos.

Principais Resultados

1. Falha de Transferência do Treinamento Propenso a Atalhos

Modelos treinados em construções NEI "fáceis" (por exemplo, marcadores) alcançam NEI-F1 perfeito em conjuntos de teste correspondentes, mas colapsam para 0,000 NEI-F1 quando avaliados em construções "difíceis" (quase-acerto BM25 ou não racional citado).

Essa falha não é um artefato de calibração; a massa de probabilidade desloca-se inteiramente para SUSTENTADO ou REFUTADO.
O colapso é estável em diferentes arquiteturas de modelo (DeBERTa, RoBERTa, SciBERT) e sementes aleatórias.

2. NEI Difícil Adjudicado por Humanos Expõe Fraquezas do Modelo

No subconjunto de NEI difícil validado por humanos (54 exemplos), modelos treinados em marcadores ou dados viesados por posição alcançam 0,000 de recall. Eles preveem massivamente SUSTENTADO (falsos positivos) com alta confiança.

Mesmo o treinamento "irrelevante aleatório", que é menos extremo que marcadores, falha em generalizar para insuficiência difícil (0,216 de recall).
Apenas modelos treinados em construções difíceis (BM25/citados) mostram recuperação parcial, mas ainda não alcançam transferência perfeita.

3. Treinamento Misto Não Elimina a Sensibilidade à Construção

O treinamento em regimes de construção mistos (combinando exemplos fáceis e difíceis) melhora o recall de NEI difícil em comparação com o treinamento de família única, mas não elimina a lacuna de desempenho.

Modelos treinados em misturas "balanceadas" ainda exibem perfis estratificados por construção, desempenhando significativamente melhor em condições fáceis do que em condições difíceis.
Isso indica que o treinamento misto é um teste de estresse mais forte, mas não um substituto para relatórios conscientes da construção.

4. Impacto nos Rótulos Não-NEI

Diagnósticos de alegações fixas revelam que a escolha da construção NEI afeta a confiança do modelo nos rótulos SUSTENTADO e REFUTADO. Quando a evidência de referência é trocada por evidência insuficiente, modelos treinados em NEI fácil falham em reduzir sua confiança no rótulo original, enquanto modelos treinados em NEI difícil mostram uma queda de probabilidade. Isso sugere que artefatos de construção afetam toda a tarefa de três vias, não apenas o canto NEI.

Contribuições

Reenquadramento do NEI: O artigo reencara o NEI não como um único rótulo negativo, mas como uma condição de evidência sensível à construção.
Protocolo NEI-CAP: Introduz um protocolo diagnóstico que rastreia explicitamente famílias de construção, audita características de atalho e valida casos difíceis por meio de adjudicação humana.
Evidência Empírica de Falha: Demonstra, através de experimentos no SciFact, FEVER e HoVer, que o treinamento propenso a atalhos falha em transferir para evidência insuficiente semanticamente relacionada, e que pontuações agregadas de NEI-F1 podem ocultar essas falhas.

Significado e Alegações

O artigo afirma que pontuações agregadas de NEI-F1 são insuficientes para avaliar sistemas de verificação de fatos porque podem ocultar se um modelo aprendeu a reconhecer a insuficiência genuína de evidência ou meramente os artefatos de como os exemplos NEI foram construídos.

Escopo Moderado: Os autores afirmam explicitamente que o NEI-CAP é um protocolo diagnóstico, não uma solução completa para o raciocínio de insuficiência de evidência. Ele identifica a sensibilidade à construção e fornece ferramentas de auditoria, mas não garante raciocínio de suficiência de propósito geral.
Disciplina de Relato: A contribuição principal é uma mudança na disciplina de relato: todo resultado NEI deve ser acompanhado pela família de construção que o produziu.
Limitações: A evidência mais forte é derivada da verificação científica no estilo SciFact. FEVER e HoVer são usados como controles delimitados e não são benchmarks de NEI difícil validados por humanos neste contexto. O artigo reconhece que diferentes domínios podem exigir famílias de construção adicionais e que a validação humana reduz, mas não elimina, os riscos de validade de rótulos.

Em conclusão, o artigo argumenta que a construção de evidência insuficiente deve ser tratada como parte central do protocolo de avaliação, ao lado de rótulos e métricas, para garantir que os sistemas de verificação de fatos estejam aprendendo as capacidades pretendidas e não atalhos específicos do conjunto de dados.