MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference

Résumé Technique : MERGE – Minimal Expression-Replacement GEneralization

Énoncé du Problème
Les modèles actuels d'inférence de langage naturel (NLI) atteignent souvent des performances élevées sur les ensembles de tests standards en exploitant des heuristiques apprises à partir des données d'entraînement, telles que le chevauchement de mots ou des artefacts présents uniquement dans l'hypothèse, plutôt qu'en s'appuyant sur de véritables capacités de raisonnement. Bien que des ensembles de données hors distribution (OOD) aient été utilisés pour exposer ces faiblesses, les approches existantes reposent souvent sur des exemples adverses qui brisent délibérément les heuristiques communes ou utilisent des modifications ne préservant pas la syntaxe, ce qui introduit une impraisemblance. De plus, la construction manuelle de jeux de données de raisonnement de haute qualité est coûteuse et difficile à mettre à l'échelle, tandis que les méthodes de génération automatique ont historiquement souffert de biais ou de la création de variantes agrammaticales. Il existe un besoin pour une méthode robuste et automatisée afin d'évaluer la généralisation des modèles contre des changements minimaux, non adverses, qui préservent le raisonnement logique sous-jacent et la structure syntaxique des problèmes originaux.

Méthodologie : MERE et MERGE
Les auteurs proposent MERGE (Minimal Expression-Replacement GEneralization), un cadre pour évaluer la robustesse des modèles, construit sur la base de MERE (Minimal Expression REplacement), une technique de génération automatisée.

1. Processus de Génération MERE :

   • Sélection des Graines (Seeds) : Le processus commence par un problème NLI « graine » original consistant en une prémisse ($p$) et une hypothèse ($h$) avec une étiquette $l$.
   • Identification de la Cible : Le système identifie les mots de classe ouverte (noms, verbes, adjectifs, adverbes) partagés entre $p$ et $h$.
   • Remplacement via des MLM : Des modèles de langue masqués (MLM) sont utilisés pour suggérer des remplacements contextuellement probables pour ces mots partagés.
   • Contraintes : Pour garantir la validité, les remplacements ($r$) doivent satisfaire trois conditions :
     1. $r$ possède une probabilité plus élevée que le mot original ($o$) dans le contexte masqué sous le MLM.
     2. $r$ ne figure pas déjà dans la phrase.
     3. $r$ appartient à la même catégorie grammaticale (classe de mots) que $o$.
   • Validation Croisée : Les remplacements sont validés à travers $p$ et $h$ pour s'assurer qu'ils sont suggérés par le même modèle pour plusieurs occurrences au sein d'une phrase et qu'ils sont cohérents à travers la paire.
   • Filtrage de Qualité : Un processus de filtrage à plusieurs étapes élimine les sous-mots, la ponctuation et les candidats à faible probabilité. Une validation manuelle confirme la fluidité et la préservation de la relation d'inférence originale.
   • Construction du Jeu de Données : Pour chaque graine, plusieurs variantes sont générées en remplaçant les mots partagés. Le jeu de données final (Var) est construit en échantillonnant aléatoirement des variantes pour éviter la surreprésentation de graines hautement productives.

2. Métrique d'Évaluation MERGE :

   • Contrairement à la précision standard basée sur les échantillons, MERGE introduit la précision Graine-Variante (SV accuracy).
   • Un problème graine est considéré comme correctement classé uniquement si un nombre minimum de ses variantes générées (le Seuil de Correction (CT)) est également correctement classé.
   • Le Seuil de Correction Correspondante (MC) est défini comme le CT auquel le score SV d'un modèle correspond le plus étroitement à sa précision standard sur la graine. Un MC plus bas indique une moins bonne généralisation.

Contributions Clés

1. Méthodologie Automatisée : Un pipeline entièrement automatisé (MERE) pour créer des ensembles de test de généralisation « amicaux » qui préservent le raisonnement, la syntaxe et le chevauchement de mots tout en introduisant une diversité lexicale minimale.
2. Constats Empiriques sur la Généralisation : Preuve démontrant que les modèles NLI affinés et les grands modèles de langage (LLM) généralisent mal aux variantes minimales. Les modèles peinent à maintenir la cohérence lorsque les variantes diffèrent seulement légèrement de forme.
3. Analyse Linguistique : Identification du fait que les verbes sont généralement la classe de mots la plus difficile à généraliser, suivis des noms et des adjectifs.
4. Indépendance de la Source : Résultats indiquant que le MLM source spécifique utilisé pour générer les variantes n'influence pas de manière significative la performance des modèles NLI évalués.

Résultats

• Écart de Généralisation : Bien que les modèles performent bien sur les variantes individuelles (précision standard), leurs performances chutent significativement lorsqu'ils sont évalués sur la cohérence des variantes par graine (précision SV). La plupart des modèles ne maintiennent leur performance originale que lorsque le seuil de correction est fixé à environ 50 % ou moins. Au-delà de ce seuil, la performance décline brutalement, particulièrement pour les LLM.
• Comparaison de Jeux de Données : Les modèles ont montré une légère meilleure généralisation sur les variantes MNLI par rapport aux variantes SNLI.
• Sensibilité de la Classe de Mots :
  • Verbes : Considérablement les plus difficiles à généraliser, surtout à des seuils de correction élevés.
  • Noms : Généralement plus difficiles que les adjectifs mais plus faciles que les verbes dans MNLI ; plus difficiles que les verbes dans SNLI à des seuils élevés.
  • Adjectifs : Généralement la classe la plus facile à généraliser.
• Impact de la Source MLM : L'origine des mots de remplacement (par exemple, utiliser BERT pour générer des variantes pour un modèle NLI basé sur BERT) n'a pas conduit à des scores systématiquement plus élevés ou plus bas, suggérant que la méthode de génération ne biaise pas intrinsèquement l'évaluation vers des architectures de modèles spécifiques.
• Difficulté de la Graine : Les modèles ont performé de manière nettement moins bonne sur les problèmes de graine qu'ils avaient initialement mal classés, avec seulement ~80 % de leurs variantes étant correctes, contre ~97 % pour les graines correctement classées.

Signification et Revendications
L'article affirme que MERGE fournit un test de généralisation rigoureux et non adverse qui révèle les faiblesses des modèles de pointe actuels que les métriques standard occultent. En imposant la cohérence à travers des variantes minimales préservant l'étiquette, l'étude démontre que les modèles s'appuient fortement sur des indices lexicaux spécifiques plutôt que sur un raisonnement robuste. Les auteurs positionnent MERGE comme un outil pour révéler de « nouveaux types de faiblesses » dans les modèles de raisonnement sans nécessiter la construction manuelle coûteuse de jeux de données ou l'introduction de bruit adverse. Bien qu'actuellement appliqué au NLI, les auteurs notent que la méthodologie est applicable à d'autres tâches de raisonnement.

Limites
Les auteurs reconnaissent plusieurs limites :

• La méthode n'utilise pas de remplacement pour les mots découpés en sous-mots afin d'éviter les artefacts d'agrégation de probabilité.
• Lorsqu'un mot apparaît plusieurs fois, une seule instance est masquée à la fois, ce qui pourrait introduire un biais (bien que ces cas soient rares dans les jeux de données sources).
• Les dérivations morphologiques ne sont pas remplacées pour éviter les erreurs dans les composés nominaux, ce qui peut occasionnellement conduire à des variantes de faible fluidité.
• L'analyse n'a pas inclus de LLM plus larges au-delà de ceux testés.