Language Models Can Resolve Reference Compositionally, But It's Not Their Native Strength: The Case of the Personal Relation Task

Résumé Technique : Les modèles de langage peuvent résoudre la référence de manière compositionnelle, mais ce n'est pas leur force native

Énoncé du problème
L'article traite d'une question critique dans l'évaluation des grands modèles de langage (LLM) : ces modèles acquièrent-ils véritablement des capacités compositionnelles pour interpréter le langage naturel, ou leurs résultats résultent-ils principalement d'une reconnaissance de formes sophistiquée ? Alors que les bancs d'essai existants se concentrent souvent soit sur la traduction du langage naturel en représentations formelles (tâches intensionnelles), soit sur la correspondance de descriptions à des référents concrets (tâches extensionnelles), peu d'études contrastent explicitement ces deux aspects du sens au sein d'un cadre unifié. Les auteurs soutiennent qu'un manque d'ancrage référentiel dans l'entraînement des LLM peut être une composante manquante cruciale pour imiter la compréhension du langage humaine, nécessissant une méthode pour distinguer la capacité d'un modèle à calculer un « sens » (la formule structurelle) de sa capacité à résoudre une « référence » (l'entité spécifique).

Méthodologie
Les auteurs ont adapté la Tâche de Relation Personnelle (PRT) (Paperno, 2022) pour évaluer à la fois les LLM et les participants humains. La tâche implique un « univers » contrôlé de six personnes connectées par quatre types de relations : ami, ennemi, parent et enfant. Les participants sont confrontés à des groupes nominaux complexes (ex. : « l'ami du parent d'Amber ») et doivent accomplir l'une des deux tâches suivantes :

1. Tâche Extensionnelle : Identifier la personne spécifique (le référent) que la phrase désigne au sein de l'univers fourni.
2. Tâche Intensionnelle : Générer une formule fonctionnelle imbriquée représentant le sens de la phrase (ex. : ami(parent(amber))).

Le design expérimental a manipulé quatre variables clés :

• Approche : Extensionnelle vs Intensionnelle.
• Représentation : Anglais (utilisant des noms et relations standards) vs Abstrait (mappage des noms et relations vers des variables arbitraires, ex. : Amber $\to$ h, ami $\to$ x). La condition Abstraite sert de contrôle pour la contamination des données de pré-entraînement et augmente la difficulté de la tâche Intensionnelle en empênant la manipulation superficielle de chaînes de caractères.
• Ramification : Ramification à gauche (génitif 's, ex. : « Amber's parent's friend ») vs Ramification à droite (groupes prépositionnels, ex. : « the friend of the parent of Amber »).
• Complexité : Le nombre de relations impliquées plus un (testé aux niveaux 3, 4, 5 et 6 pour les LLM ; limité au niveau 3 pour les humains en raison de contraintes budgétaires).

L'étude a évalué cinq LLM, incluant des modèles standards ajustés par instructions et des Modèles de Raisonnement Large (LRM), en utilisant une structure de prompt standardisée en quatre parties (introduction, jeu de données, exemple travaillé, question de test). Les données humaines ont été collectées auprès de 32 participants via Prolific. Les performances ont été analysées à l'aide de modèles linéaires mixtes généralisés (GLMM) pour évaluer les effets du groupe de participants, de l'approche de la tâche, de la représentation et de la complexité.

Contributions Clés

• Cadre Méthodologique : Le papier introduit une méthodologie unifiée pour évaluer l'interprétation compositionnelle intensionnelle versus extensionnelle, permettant une comparaison directe entre ces deux capacités sémantiques distinctes.
• Données Comparatives : Il fournit des données de performance humaine sur les mêmes tâches sous des conditions maximalement comparables aux LLM, comblant une lacune où les capacités compositionnelles sont souvent évaluées sans base humaine explicite.
• Évaluation Empirique : L'étude propose une évaluation statistique de plusieurs LLM, soulignant les divergences de forces entre les modèles et les participants humains, et enquête spécifiquement sur l'impact des architectures enrichies par le raisonnement.

Résultats
L'étude révèle une divergence fondamentale dans les profils de performance entre les humains et les LLM :

• Forces Opposées : Les humains ont obtenu des résultats significativement meilleurs sur les tâches Extensionnelles (82,8 % de précision) que sur les tâches Intensionnelles (71,1 %). Inversement, les LLM ont mieux performé sur les tâches Intensionnelles (95,0 %) que sur les tâches Extensionnelles (79,8 %).
• Effets de Représentation : Les deux groupes ont trouvé les représentations en anglais plus faciles que les représentations Abstraites. Cependant, l'écart de difficulté était plus prononcé pour les LLM dans la condition Extensionnelle Abstraite (66,1 % de précision), qui nécessite de naviguer dans l'univers et de mapper des symboles arbitraires, tandis que la tâche Intensionnelle en anglais (95 % de précision) était la plus facile pour les LLM, ressemblant à une tâche de traduction ou de réarrangement syntaxique.
• Complexité et Raisonnement : La performance des LLM s'est dégradée à mesure que la complexité augmentait. Cependant, les modèles enrichis par le raisonnement (LRM) ont maintenu un écart de performance plus stable entre les tâches Extensionnelles et Intensionnelles à travers les niveaux de complexité par rapport aux modèles standards, suggérant que les capacités de raisonnement peuvent atténuer, sans toutefois éliminer, la faiblesse de la résolution référentielle.
• Ramification : Contra\text{irement} aux études antérieures sur les réseaux de neurones récurrents, les modèles modernes basés sur les Transformers n'ont pas montré de biais systématique significatif entre les structures à ramification gauche et droite.

Signification et Revendications
Les auteurs affirment que leurs résultats soutiennent l'idée que le manque d'ancrage référentiel dans l'entraînement des LLM est un déficit critique pour atteindre une compréhension du langage semblable à celle des humains. Les conclusions suggèrent que les LLM excellent dans la « traduction » du langage naturel en structures formelles (tâches Intensionnelles) car leur objectif d'entraînement se concentre sur la prédiction de formes de surface et de motifs syntaxiques. En revanche, les humains, dont l'usage du langage est ancré dans l'interaction avec le monde réel, excellent dans l'identification de référents concrets (tâches Extensionnelles) mais peinent lorsqu'ils sont forcés d'articuler explicitement les formules structurelles sous-jacentes.

Le papier postule que bien que les LLM puissent atteindre une grande précision sur les tâches compositionnelles, ils le font via un processus sous-jacent différent de celui des humains — en exploitant des capacités de traduction plutôt qu'un véritable ancrage référentiel. Les auteurs concluent que la référence arbitraire reste un défi notable même pour les modèles de pointe, renforçant les arguments selon lesquels l'ancrage référentiel est une composante importante manquante à intégrer dans les systèmes d'IA. L'étude est modeste dans ses revendications, notant que le dispositif expérimental est quelque peu artificiel et que des travaux futurs sont nécessaires pour comparer plus largement les modèles de base ajustés par instructions et les modèles enrichis par le raisonnement.