Beyond Memorization: Assessing Semantic Generalization in Large Language Models Using Phrasal Constructions

Résumé Technique : Au-delà de la mémorisation : Évaluer la généralisation sémantique dans les grands modèles de langage via les constructions phraséales

Énoncé du problème
Le pré-entraînement des grands modèles de langage (LLM) sur des données à l'échelle du web présente un défi d'évaluation critique : distinguer la véritable compétence linguistique de la simple mémorisation de motifs fréquents. Bien que les modèles soient souvent performants sur des tâches impliquant des données bien représentées dans leurs ensembles d'entraînement, leur capacité à généraliser vers des instances linguistiques créatives, hors domaine ou moins communes reste incertaine. Plus précisément, il est difficile de déterminer si les modèles comprennent réellement la sémantique abstraite des structures syntaxiques ou s'ils s'appuient sur des corrélations statistiques dérivées d'items lexicaux à haute fréquence. Les méthodes d'évaluation existantes peinent souvent à garantir l'indépendance des tests vis-à-vis des données de pré-entraînement ou échouent à isoler des phénomènes linguistiques spécifiques tels que la sémantique constructionnelle.

Méthodologie
Pour répondre à ces défis, les auteurs construisent un cadre d'évaluation diagnostique fondé sur la Grammaire des Constructions (CxG). La CxG postule que la langue est apprise par l'usage, où les locuteurs s'abstrayent des emplacements syntaxiques pour interpréter et produire de nouvelles instanciations de constructions, même avec des items lexicaux inconnus. Les auteurs s'appuient sur ce cadre pour concevoir deux expériences utilisant l'Inférence de Langage Naturel (NLI) comme un substitut à la compréhension :

1. Expérience 1 (CxNLI) : Cette expérience teste la capacité du modèle à généraliser la sémantique constructionnelle à des instanciations créatives et peu fréquentes de constructions phraséales communes. Le jeu de données consiste en 435 triples NLI dérivés de 8 constructions anglaises à haute fréquence (ex. : Résultatif, Mouvement Causé, Let-Alone). Les prémisses utilisent des modèles constructionnels « ancrés » mais sont instanciées avec des verbes ou des items lexicaux atypiques peu susceptibles d'apparaître dans cette structure spécifique lors du pré-entraînement. La tâche consiste à déterminer si une hypothèse (dérivée du sens abstrait de la construction) implique, contredit ou est neutre par rapport à la prémisse.
2. Expérience 2 (CxNLI-Distinction) : Cette expérience teste la capacité du modèle à distinguer des constructions syntaxiquement identiques mais possédant des sens divergents. Le jeu de données contient 99 triples NLI présentant des constructions (ex. : Défectif vs Résultatif) qui partagent la même syntaxe de surface (ex. : NP V NP ADJ) mais diffèrent de sens (ex. : état résultant d'une action vs état existant pendant une action). L'objectif est d'évaluer si les modèles peuvent éviter de sur-généraliser la sémantique des constructions hautement ancrées à des distracteurs syntaxiquement identiques mais moins ancrés.

L'évaluation implique de tester des modèles de pointe, incluant GPT-4o, GPT-o1, GPT-3.5 et Llama 3 (8B et 70B), dans des contextes de zero-shot et d'apprentissage en contexte (ICL). Les contextes ICL utilisent des exemples issus de leur propre jeu de données (CxNLI) et du jeu de données standard Stanford NLI (SNLI) pour sonder le recours des modèles à une connaissance constructionnelle spécifique par rapport à des capacités NLI générales.

Contributions Clés

1. Jeu de données diagnostique inédit : Les auteurs introduisent un jeu de données de 534 triples NLI validés manuellement, spécifiquement conçu pour tester la généralisation et la distinction constructionnelles, allant au-delà des tâches d'identification métalinguistique pour évaluer la compréhension sémantique sous-jacente.
2. Cadre d'évaluation basé sur la CxG : Contrairement aux travaux antérieurs qui se concentrent sur une seule construction ou des tâches métalinguistiques, cette étude utilise la tâche NLI, bien établie, pour sonder la compréhension fonctionnelle du sens constructionnel, testant à la fois la génération créative et l'ambiguïté syntaxique.
3. Évaluation large des modèles : L'étude évalue une gamme de modèles, y compris les plus grands actuellement disponibles (GPT-o1, Llama 3 70B), fournissant une vue complète de l'état actuel de la généralisation constructionnelle dans les LLM.
4. Ressources ouvertes : Le jeu de données, les prompts et les réponses des modèles sont rendus publics pour faciliter la recherche ultérieure sur la généralisation linguistique des LLM.

Résultats
Les expériences révèlent une divergence significative entre la performance humaine et celle des modèles, particulièrement dans la capacité à distinguer des constructions syntaxiquement identiques :

• Expérience 1 (Généralisation) : Les modèles, particulièrement GPT-4o et GPT-o1, ont démontré une grande précision (jusqu'à 90 %) dans la généralisation de la sémantique constructionnelle à des instanciations créatives. La performance s'est améliorée avec l'apprentissage en contexte utilisant des exemples spécifiques aux constructions, suggérant que les modèles peuvent apprendre la correspondance abstraite lorsqu'ils sont fournis avec des indices pertinents.
• Expérience 2 (Distinction) : Une chute brutale de performance s'est produite lorsque les modèles ont été chargés de distinguer des constructions syntaxiquement identiques. Même les modèles les plus avancés (GPT-o1, GPT-4o) ont vu leur précision chuter de plus de 40 % par rapport à l'Expérience 1. Par exemple, GPT-o1 est passé de 90 % de précision dans l'Exp. 1 à 46 % dans l'Exp. 2.
• Signification statistique : Des tests A/B bayésiens ont confirmé que la baisse de performance dans l'Expérience 2 est statistiquement significative et bien plus prononcée pour les LLM que pour les humains. Alors que la performance humaine est restée robuste (IAA de 83 %), les modèles ont eu du mal à rejeter la sémantique des constructions hautement ancrées face à des distracteurs moins ancrés et syntaxiquement identiques.
• Analyse d'erreurs : Les modèles ont fréquemment échoué à distinguer des constructions comme le Résultatif (l'action cause un état) et le Défectif (l'état existe pendant l'action), interprétant souvent mal la relation causale. Cela suggère un échec du raisonnement causal et une dépendance excessive aux associations lexical-sémantiques les plus fréquentes.

Signification et Revendications
Les auteurs affirment que leurs conclusions mettent en évidence une limitation fondamentale des architectures actuelles de LLM : bien que les modèles puissent traiter la sémantique constructionnelle à un certain degré, ils échouent à généraliser cette compréhension à de nouvelles instanciations lorsque l'ambiguïté syntaxique est introduite. Les résultats remettent en question le paradigme « plus de données, c'est mieux », suggérant que l'augmentation de l'échelle des données textuelles du web peut renforcer les biais envers les significations constructionnelles fréquentes plutôt que de favoriser un véritable raisonnement abstrait.

L'article soutient que l'incapacité à distinguer des constructions syntaxiquement identiques représente un échec du raisonnement causal avec des implications potentielles pour la sécurité, car la mauvaise compréhension de la différence entre un état co-occurrent et un résultat causé pourrait conduire à des erreurs catastrophiques chez les agents d'IA. De plus, l'étude souligne la nécessité de benchmarks diagnostiques et contrastifs pour évaluer précisément la compétence linguistique, car les benchmarks à large couverture peuvent surestimer les capacités réelles d'un modèle. Les auteurs concluent que, bien que les modèles actuels fassent preuve de robustesse dans la manipulation des constructions ancrées, leur capacité à généraliser le sens constructionnel à des formes distinctes et syntaxiquement identiques reste nettement en retrait par rapport à la connaissance linguistique humaine.