💬 NLP

Evidence Absence Is Not Evidence Insufficiency: Diagnosing NEI Construction Artifacts in Fact Verification

Cet article présente NEI-CAP, un protocole de diagnostic révélant que les modèles de vérification des faits échouent souvent à généraliser la compétence « informations insuffisantes » à travers différentes méthodes de construction des preuves, car les scores agrégés peuvent masquer une dépendance sous-jacente à des indices de raccourci et à des artefacts spécifiques à la construction.

Auteurs originaux : Jingxi Qiu, Zeyu Han, Cheng Huang

Publié 2026-05-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jingxi Qiu, Zeyu Han, Cheng Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un détective pour résoudre des mystères. Votre objectif est de voir s'il peut faire la différence entre trois choses :

L'affaire est résolue (Les preuves étayent l'affirmation).
L'affaire est élucidée (Les preuves réfutent l'affirmation).
Nous n'avons pas encore assez d'informations (L'étiquette « NEI »).

Ce papier soutient que, tandis que nous testons les détectives sur leur capacité à résoudre des affaires, nous les trompons sur le test « Nous n'avons pas assez d'informations ». Nous leur donnons des indices si manifestement manquants que le détective n'a pas besoin d'être intelligent pour repérer le problème ; il lui suffit de repérer le format de l'indice manquant.

Voici la décomposition des conclusions du papier en utilisant des analogies simples.

1. Le Problème : L'astuce de la « Boîte Vide »

En vérification des faits, lorsqu'un modèle informatique déclare « Pas assez d'informations » (NEI), cela signifie que les preuves fournies ne suffisent pas à prouver ou à réfuter une affirmation.

Le papier a révélé que de nombreux jeux de données (les tests d'entraînement pour ces modèles) créent des exemples « NEI » de manière paresseuse.

L'astuce « Facile » : Ils donnent au modèle une affirmation comme « La Grande Muraille est au Brésil » puis ne lui fournissent aucune preuve (une boîte vide) ou un texte sur la pizza (totalement sans rapport).
Le Résultat : Le modèle apprend une astuce. Il pense : « Oh, s'il n'y a pas de texte ou si le texte parle de pizza, je devrais dire « Pas assez d'informations ». » Il ne vérifie pas réellement si les preuves sont insuffisantes ; il vérifie simplement si les preuves sont absentes ou étranges.

2. Le Vrai Test : La « Boîte à Moitié Pleine »

Le papier introduit une nouvelle méthode de test appelée NEI-CAP. Au lieu de simplement donner au modèle une boîte vide, ils lui donnent une boîte à moitié pleine.

Le Scénario : L'affirmation est « La Grande Muraille est au Brésil ». Les preuves fournies sont un long paragraphe détaillé sur la Grande Muraille, mais qui ne parle que de sa longueur et de son emplacement en Chine. Il ne mentionne pas le Brésil, mais il est clairement lié au sujet.
Le Défi : Un détective intelligent devrait réaliser : « Ce texte parle de la Grande Muraille, mais il ne me dit pas si elle est au Brésil. J'ai besoin de plus d'informations. »
L'Échec : Le papier a révélé que les modèles entraînés sur les astuces de la « Boîte Vide » (le NEI facile) échouent complètement à ce test de la « Boîte à Moitié Pleine ». Ils regardent le texte lié, voient qu'il semble favorable (car il parle de la Grande Muraille), et déclarent avec assurance : « Cela étaye l'affirmation ! » ou « Cela la réfute ! ». Ils manquent le fait que le détail spécifique dont ils ont besoin est absent.

3. La Métaphore de la « Construction »

Les auteurs appellent la manière dont ces tests sont construits « Familles de Construction ».

Construction Facile : Comme construire un mur en carton. Cela ressemble à un mur, mais c'est fragile. Si vous entraînez un modèle sur des murs en carton, il apprend à repérer le carton, pas de vraies briques.
Construction Difficile : Comme construire un mur avec de vraies briques mais en laissant un trou au milieu. Le modèle doit comprendre la structure du mur pour savoir qu'il est incomplet.

Le papier montre que si vous entraînez un modèle sur du « carton » (preuves faciles, sans rapport ou vides), il obtient un score parfait au test. Mais dès que vous passez aux « vraies briques avec un trou » (preuves sémantiquement liées mais insuffisantes), le modèle s'effondre. Il obtient zéro.

4. L'Illusion du « Score Magique »

Actuellement, lorsque nous regardons le bulletin de notes d'un modèle, nous voyons un grand chiffre : « Score NEI ».

L'Avertissement du Papier : Ce chiffre est un mensonge. C'est comme un étudiant qui obtient un « A » à un test de mathématiques parce que le professeur ne lui a demandé que d'ajouter des zéros. Si vous lui demandez d'ajouter des fractions, il échoue.
Le papier prouve qu'un modèle peut avoir un « Score NEI » parfait sur des tests faciles mais être totalement inutile dans des scénarios réels où les preuves sont liées mais incomplètes. Le « Score Moyen » cache le fait que le modèle mémorise simplement le format du test, sans apprendre la compétence.

5. La Solution : NEI-CAP

Les auteurs proposent un nouveau protocole appelé NEI-CAP. Imaginez cela comme une nouvelle façon de noter le détective :

Ne donnez pas juste un score : Au lieu de cela, rapportez comment le test a été construit. Avons-nous utilisé la « Boîte Vide » ou la « Boîte à Moitié Pleine » ?
Audit des astuces : Vérifiez si le modèle repère simplement des raccourcis (comme « pas de texte = NEI ») ou s'il comprend réellement le contenu.
Vérification Humaine : Pour les tests les plus difficiles, des humains vérifient que les preuves sont vraiment insuffisantes, s'assurant que le modèle n'est pas trompé par des données ambiguës.

Résumé

Le papier conclut que la manière dont nous créons les tests « Pas assez d'informations » détermine ce que l'IA apprend.

Si nous rendons les tests trop faciles (boîtes vides), l'IA apprend à repérer le vide, pas l'insuffisance.
Si nous rendons les tests difficiles (informations liées mais incomplètes), l'IA doit réellement réfléchir.
Actuellement, la plupart des modèles d'IA « trichent » sur les tests faciles. Ils semblent intelligents, mais ils échouent lorsque les preuves sont délicates. Le papier nous exhorte à cesser de nous cacher derrière des scores moyens et à commencer à rapporter exactement quel type de « construction de preuves » a été utilisé pour tester le modèle.

Résumé technique : L'absence de preuve n'est pas une insuffisance de preuve : Diagnostic des artefacts de construction NEI dans la vérification des faits

Énoncé du problème

Les systèmes de vérification des faits classent généralement les affirmations en trois catégories : SOUTENUE, RÉFUTÉE ou PAS ASSEZ D'INFORMATIONS (NEI). L'étiquette NEI vise à indiquer que l'ensemble de preuves disponible $E$ est insuffisant pour établir la véracité ou la fausseté d'une affirmation $c$ . Cependant, l'article soutient que l'opérationnalisation de l'étiquette NEI est un choix de conception qui varie considérablement selon les benchmarks (par exemple, FEVER, SciFact, HoVer) et est souvent laissé non défini dans les protocoles d'évaluation.

Le problème central identifié est que l'« absence de preuve » (par exemple, des champs vides, des passages sans rapport) est observationnellement distincte de l'« insuffisance de preuve » (par exemple, des preuves sémantiquement liées mais incomplètes). Les benchmarks actuels confondent souvent ces conditions. Par conséquent, les modèles peuvent apprendre à reconnaître des artefacts de construction spécifiques (tels que du texte manquant, des incohérences thématiques ou des biais positionnels) plutôt que d'apprendre la capacité visée d'identifier une véritable insuffisance de preuves. Cela conduit à une situation où les métriques agrégées de performance NEI (comme le NEI-F1) peuvent être élevées tandis que le modèle échoue complètement sur des preuves insuffisantes sémantiquement liées.

Méthodologie : NEI-CAP

Pour y remédier, les auteurs introduisent NEI-CAP (Protocole de Conscience de la Construction NEI), un cadre de diagnostic qui traite la construction des preuves NEI comme une variable explicite dans l'évaluation.

1. Taxonomie de construction

NEI-CAP catégorise les exemples NEI en familles de construction spécifiques basées sur la manière dont les preuves insuffisantes ont été générées. La taxonomie distingue entre :

Constructions propices aux raccourcis : Exemples conçus pour révéler des raccourcis de format, de sujet ou de position.
- Espace réservé : Marqueurs de preuves fixes ou vides.
- Aléatoire sans rapport : Preuves provenant de sujets non liés.
- Biaisées par la position : Preuves non rationnelles provenant d'emplacements prévisibles du document.
Preuves insuffisantes sémantiquement liées (NEI difficile) : Exemples où les preuves sont thématiquement liées mais logiquement incomplètes.
- Raté proche BM25 : Forte superposition lexicale mais soutien insuffisant.
- Citation non rationnelle : Preuves provenant de documents cités qui ne constituent pas la véritable justification.
- Non rationnelle du même document : Preuves non rationnelles provenant du même document source.
- Saut manquant : Preuves multi-sauts avec un fait requis supprimé.

2. Flux de travail de diagnostic

Le protocole suit cinq étapes :

Construire : Assigner une famille de construction ( $z$ ) et un identifiant de groupe ( $g$ ) à chaque exemple. Le modèle n'est jamais exposé à $z$ ; il est utilisé uniquement pour l'audit et les rapports stratifiés.
Auditer : Mesurer les caractéristiques de raccourci (par exemple, longueur, chevauchement, couverture) pour identifier les indices de surface que les modèles pourraient exploiter.
Valider : Utiliser une adjudication humaine pour séparer les « candidats » NEI difficiles des exemples qui sont en réalité soutenus, réfutés ou ambigus. Cela crée un sous-ensemble de « NEI difficile adjudiqué par l'homme ».
Tester sous contrainte : Évaluer les modèles entraînés sur des familles de construction spécifiques contre d'autres familles pour tester la transférabilité.
Rapporter : Publier des métriques stratifiées par famille de construction plutôt que des scores agrégés.

3. Configuration expérimentale

Le protocole est principalement mis en œuvre sur SciFact (vérification d'affirmations scientifiques), FEVER et HoVer servant de contrôles externes bornés.

Modèles : Le vérificateur principal est DeBERTa-v3-base, avec RoBERTa et SciBERT comme architectures secondaires.
Régimes d'entraînement : Les modèles sont entraînés sur des familles de construction uniques (par exemple, uniquement des espaces réservés) ou des régimes mixtes (mélanges faciles, difficiles ou équilibrés).
Évaluation : Utilisation de matrices de décalage de construction (entraînement sur la Famille A, test sur la Famille B) et du rappel sur les NEI difficiles adjudiqués par l'homme.

Résultats clés

1. Échec du transfert de l'entraînement propice aux raccourcis

Les modèles entraînés sur des constructions NEI « faciles » (par exemple, des espaces réservés) atteignent un NEI-F1 parfait sur les ensembles de test correspondants, mais s'effondrent à 0,000 NEI-F1 lorsqu'ils sont évalués sur des constructions « difficiles » (raté proche BM25 ou citation non rationnelle).

Cet échec n'est pas un artefact de calibration ; la masse de probabilité se déplace entièrement vers SOUTENUE ou RÉFUTÉE.
L'effondrement est stable à travers différentes architectures de modèles (DeBERTa, RoBERTa, SciBERT) et différentes graines aléatoires.

2. Le NEI difficile adjudiqué par l'homme expose les faiblesses des modèles

Sur le sous-ensemble de NEI difficile validé par l'homme (54 exemples), les modèles entraînés sur des espaces réservés ou des données biaisées par la position atteignent un rappel de 0,000. Ils prédisent massivement SOUTENUE (faux positifs) avec une haute confiance.

Même l'entraînement « aléatoire sans rapport », moins extrême que les espaces réservés, échoue à se généraliser à l'insuffisance difficile (rappel de 0,216).
Seuls les modèles entraînés sur des constructions difficiles (BM25/citations) montrent une récupération partielle, mais ils n'atteignent toujours pas un transfert parfait.

3. L'entraînement mixte n'élimine pas la sensibilité à la construction

L'entraînement sur des régimes de construction mixtes (combinant des exemples faciles et difficiles) améliore le rappel NEI difficile par rapport à l'entraînement sur une seule famille, mais n'élimine pas l'écart de performance.

Les modèles entraînés sur des mélanges « équilibrés » présentent toujours des profils stratifiés par construction, performant significativement mieux dans des conditions faciles que dans des conditions difficiles.
Cela indique que l'entraînement mixte est un test de contrainte plus fort, mais pas un remplacement pour un rapport conscient de la construction.

4. Impact sur les étiquettes non-NEI

Les diagnostics d'affirmations fixes révèlent que le choix de la construction NEI affecte la confiance du modèle dans les étiquettes SOUTENUE et RÉFUTÉE. Lorsque les preuves de référence sont remplacées par des preuves insuffisantes, les modèles entraînés sur des NEI faciles ne réduisent pas leur confiance dans l'étiquette originale, tandis que les modèles entraînés sur des NEI difficiles montrent une baisse de probabilité. Cela suggère que les artefacts de construction affectent l'ensemble de la tâche à trois voies, et pas seulement le coin NEI.

Contributions

Redéfinition du NEI : L'article redéfinit le NEI non pas comme une étiquette négative unique, mais comme une condition de preuve sensible à la construction.
Protocole NEI-CAP : Introduit un protocole de diagnostic qui suit explicitement les familles de construction, audite les caractéristiques de raccourci et valide les cas difficiles via une adjudication humaine.
Preuve empirique d'échec : Démontre, grâce aux expériences sur SciFact, FEVER et HoVer, que l'entraînement propice aux raccourcis échoue à se transférer vers des preuves insuffisantes sémantiquement liées, et que les scores agrégés de NEI-F1 peuvent masquer ces échecs.

Importance et affirmations

L'article affirme que les scores agrégés de NEI-F1 sont insuffisants pour évaluer les systèmes de vérification des faits, car ils peuvent masquer si un modèle a appris à reconnaître une véritable insuffisance de preuves ou simplement les artefacts de la manière dont les exemples NEI ont été construits.

Portée modeste : Les auteurs déclarent explicitement que NEI-CAP est un protocole de diagnostic, et non une solution complète au raisonnement sur l'insuffisance de preuves. Il identifie la sensibilité à la construction et fournit des outils d'audit, mais ne garantit pas un raisonnement de suffisance à usage général.
Discipline de rapport : La contribution principale est un changement de discipline de rapport : chaque résultat NEI doit être accompagné de la famille de construction qui l'a produit.
Limites : Les preuves les plus solides sont dérivées de la vérification scientifique de style SciFact. FEVER et HoVer sont utilisés comme contrôles bornés et ne constituent pas des benchmarks de NEI difficile validés par l'homme dans ce contexte. L'article reconnaît que différents domaines peuvent nécessiter des familles de construction supplémentaires et que la validation humaine réduit mais n'élimine pas les risques de validité des étiquettes.

En conclusion, l'article soutient que la construction de preuves insuffisantes doit être traitée comme une partie fondamentale du protocole d'évaluation, aux côtés des étiquettes et des métriques, pour garantir que les systèmes de vérification des faits apprennent les capacités visées plutôt que des raccourcis spécifiques à l'ensemble de données.