Résumé technique : Revoir la systématicité de la négation à l'ère de l'apprentissage en contexte (In-Context Learning)

Énoncé du problème

Malgré les capacités des grands modèles de langage (LLM), la compréhension de la négation reste un défi important. Bien que les modèles soient souvent performants sur des benchmarks spécifiques, leur capacité à généraliser systématiquement — c'est-à-dire à comprendre un ensemble illimité d'expressions structurées à partir d'un ensemble fini de primitives — est discutable. Les évaluations précédentes se sont largement concentrées sur la systématicité comportementale (performance sur des entrées non vues lors de l'entraînement), échouant souvent à distinguer une véritable compréhension compositionnelle de corrélations spécieuses ou de mémorisation.

De plus, bien que la systématicité représentationnelle (l'encodage interne de la structure compositionnelle) soit théoriquement cruciale pour la généralisation systématique, elle a été sous-explorée dans le contexte de l'apprentissage en contexte (ICL). La plupart des travaux antérieurs sur l'analyse représentationnelle se sont concentrés sur des modèles pré-entraînés comme BERT, laissant la systématicité des LLM basés sur l'ICL insuffisamment explorée. Cet article comble cette lacune en analysant à la fois la systématicité comportementale et représentationnelle concernant la compréhension de la négation par les LLM.

Méthodologie

L'étude emploie une approche à double perspective :

1. Analyse de la systématicité comportementale

Les auteurs évaluent les LLM dans un cadre d'apprentissage à quelques exemples (few-shot) pour déterminer si les modèles peuvent reconnaître les expressions de négation et leurs portées dans des phrases contenant des combinaisons de mots non vues dans les démonstrations.

• Tâches :
  • Extraction de l'indice de négation : Identifier l'expression de négation (ex: "ne... pas").
  • Résolution de la négation : Prédire la portée de la négation (la partie de la phrase affectée par l'indice).
  • Base de référence : Prédiction de l'antonyme (utilisée pour vérifier si des vecteurs de fonction peuvent être construits pour des tâches plus simples).
• Formats de sortie : Pour tester la robustesse, la tâche de résolution de la négation a été évaluée selon quatre formats distincts :
  • EXTRACT : Sortir la séquence de jetons (tokens) à l'intérieur de la portée.
  • BRACKET : Envelopper la portée entre crochets.
  • LAST-WORD : Sortir le dernier jeton de la portée.
  • NER : Une tâche de labellisation de séquence (0 pour l'extérieur de la portée, 1 pour l'intérieur).
• Modèles : GPT-J-6B et Qwen3-4B.
• Jeu de données : Un sous-ensemble du corpus SFU Review, filtré pour les phrases contenant des indices et des portées de négation, garantissant que les ensembles d'entraînement, de développement et de test contiennent des combinaisons de mots distinctes.

2. Analyse de la systématicité représentationnelle

Les auteurs étudient si les mécanismes internes des LLM encodent la tâche de compréhension de la négation sous la forme d'une représentation vectorielle robuste et réutilisable.

• Vecteurs de fonction (Function Vectors) : Vecteurs denses extraits des activations cachées du modèle (spécifiquement d'un sous-ensemble de têtes d'attention identifiées via une analyse de médiation causale) qui résument la mise en correspondance entrée-sortie démontrée par les exemples en contexte.
• Vecteurs de tâche (Task Vectors) : Vecteurs extraits directement des activations du flux résiduel d'une position de jeton représentative de la tâche.
• Intervention : Ces vecteurs sont injectés dans le modèle lors de l'inférence (environnements zero-shot) pour voir s'ils peuvent induire la tâche cible sans démonstrations explicites.
• Évaluation : L'étude mesure la précision top-1 en zero-shot obtenue lorsque ces vecteurs sont appliqués aux modèles, en se concentrant spécifiquement sur les exemples de test où les modèles ont performé correctement dans un cadre à 10 exemples (pour isoler l'effet du vecteur de la capacité générale du modèle).

Résultats clés

Systématicité comportementale

• Extraction de l'indice de négation : Les deux modèles ont atteint une précision comparable à la tâche de prédiction d'antonymes (environ 62–64 %), suggérant qu'ils peuvent partiellement apprendre à identifier les indices de négation à partir de démonstrations. Cependant, la performance n'est pas parfaite, indiquant une absence de capacité systématique complète.
• Résolution de la négation : La performance varie considérablement selon le format de sortie. Les modèles éprouvent des difficultés notables avec le format NER (0 % de précision pour les deux modèles dans le cadre à 10 exemples) et le format LAST-WORD. Le format EXTRACT donne de meilleurs résultats (jusqu'à 76 % pour Qwen3-4B), mais globalement, les modèles ne parviennent pas à une performance parfaite à travers les formats, suggérant une difficulté à généraliser le concept de "portée" à travers différentes structures de sortie.

Systématicité représentationnelle

• Extraction de l'indice de négation : Les vecteurs de fonction (appliqués dans les couches intermédiaires) et les vecteurs de tâche (appliqués dans les couches tardives) ont réussi à induire la performance de la tâche en zero-shot, atteignant une précision élevée (90 % pour GPT-J-6B, 80 % pour Qwen3-4B). Cela indique que la tâche d'identification des indices de négation peut être encodée de manière robuste sous la forme d'un vecteur de fonction.
• Résolution de la négation : En revanche, les vecteurs de fonction et de tâche ont eu un effet nettement plus faible sur les tâches de résolution de la négation (0–50 % de précision). Bien qu'il y ait un léger effet de pilotage (steering) pour les formats EXTRACT et LAST-WORD dans GPT-J-6B, les vecteurs ont généralement échoué à induire la tâche de manière robuste.
• Comparaison des vecteurs : Les vecteurs de tâche sont apparus plus efficaces que les vecteurs de fonction pour les tâches de résolution de la négation, particulièrement dans les couches tardives.

Signification et affirmations

L'article affirme que, bien que les LLM puissent apprendre à reconnaître les indices de négation via l'apprentissage en contexte, ils peinent à atteindre une systématicité comportementale parfaite, particulièrement lorsque le format de sortie change. Plus crucial encore, l'analyse représentationnelle révèle une divergence dans la manière dont ces tâches sont encodées en interne :

1. Extraction de l'indice vs Reconnaissance de la portée : Les modèles peuvent former des vecteurs de fonction robustes pour extraire les indices de négation, de manière similaire à des tâches plus simples comme la prédiction d'antonymes. Cependant, construire des vecteurs de fonction pour reconnaître la portée de la négation est nettement plus difficile.
2. Limites de l'ICL : La difficulté de former des vecteurs robustes pour la reconnaissance de la portée suggère que les LLM ne possèdent peut-être pas les représentations internes structurées nécessaires pour l'inférence systématique concernant la portée de la négation, même lorsqu'ils peuvent produire des sorties correctes dans des contextes spécifiques de quelques exemples.
3. Contribution méthodologique : L'étude souligne la nécessité d'aller au-delà des benchmarks comportementaux vers des analyses représentationnelles (utilisant des vecteurs de fonction/tâche) pour évaluer véritablement si les LLM ont acquis les principes sous-jacents de la généralisation systématique.

Les auteurs concluent que, bien que les LLM montrent une certaine capacité de comportement systématique dans les tâches de négation, l'incapacité à construire des vecteurs de fonction robustes pour la reconnaissance de la portée pointe vers une limitation fondamentale de leur systématicité représentationnelle pour ce phénomène linguistique spécifique.