Résumé technique : Black Big Boxes : Tracer les préférences d'ordre des adjectifs dans les grands modèles de langage

Énoncé du problème

L'ordre des adjectifs dans les groupes nominaux (par exemple, large wooden box [grande boîte en bois] vs wooden large box [boîte en bois grande]) représente un phénomène linguistique complexe caractérisé par des préférences graduées et sensibles au contexte, plutôt que par des contraintes grammaticales binaires. Bien qu'étudié de manière approfondie en linguistique théorique, les mécanismes qui pilotent ces préférences restent difficiles à capturer en raison de leur dépendance à de multiples facteurs interactifs (sémantiques, pragmatiques, informationnels) et du fait que même les meilleurs modèles multi-facteurs n'expliquent qu'environ 71 % des préférences humaines.

Cet article étudie comment les grands modèles de langage (LLM) acquièrent et utilisent ces préférences « souples » d'ordre des mots. La question de recherche centrale est de savoir dans quelle mesure le comportement des LLM concernant l'ordre des adjectifs est dicté par l'apprentissage distributionnel (mémorisation des motifs de cooccurrence de surface) versus l'émergence d'un comportement linguistique généralisable et sensible au contexte. Plus précisément, les auteurs demandent :

1. Dans quelle mesure les préférences d'ordre des adjectifs (AOP) des LLM sont-elles pilotées par les fréquences des données d'entraînement ?
2. Les modèles généralisent-ils à des combinaisons d'adjectifs inédites au-delà de la simple mémorisation directe ?
3. Comment le contexte de la phrase influence-t-il ces préférences, et quels indices spécifiques les pilotent ?

Méthodologie

Les auteurs emploient une analyse empirique systématique utilisant la suite de modèles de langage Pythia (allant de 70M à 12B de paramètres), tous entraînés sur le corpus The Pile. L'étude utilise des points de contrôle (checkpoints) d'entraînement intermédiaires pour analyser la dynamique d'apprentissage à un niveau granulaire.

Données et métriques

• Corpus d'évaluation (CAP) : L'étude utilise le Corpus of Adjective Pairs (CAP), dérivé du corpus BabyLM 100M. Il contient 9 396 phrases avec des doubles adjectifs modifiant un nom, ainsi que leurs contreparties « inversées ».
• Métriques :
  • AOP-∆ : La différence de log-probabilité entre l'ordre naturel ($A_1A_2N$) et l'ordre inversé ($A_2A_1N$), calculée tant de manière isolée qu'avec contexte.
  • AOP-% : Le pourcentage d'éléments où le modèle préfère l'ordre naturel (AOP-∆ > 0).
• Analyse distributionnelle : Les auteurs utilisent Infini-gram pour extraire les statistiques exactes des n-grammes (uni-, bi- et trigrammes) de The Pile, permettant une comparaison directe entre les prédictions du modèle et les fréquences des données d'entraînement.
• Test de généralisation : Pour évaluer la mémorisation versus la généralisation, les auteurs analysent les performances du modèle sur des paires d'adjectifs vues $0$ fois (inédites) par rapport à celles vues de $1$à$10+$ fois pendant l'entraînement, en utilisant des points de contrôle intermédiaires.
• Analyse contextuelle :
  • Contextes aléatoires : Comparaison de l'AOP-∆ avec le véritable contexte de la phrase par rapport à une attente sur des contextes aléatoires pour quantifier le « gain contextuel ».
  • Attribution de caractéristiques : Utilisation des gradients intégrés (Integrated Gradients) pour identifier les jetons (tokens) spécifiques dans le contexte qui contribuent le plus à la préférence du modèle pour un ordre d'adjectifs spécifique. Ceux-ci sont cartographiés selon les étiquettes de catégories grammaticales (POS) pour identifier des motifs globaux.

Contributions clés et résultats

1. Dynamique d'acquisition et taille du modèle

• Performance : Les LM présentent des préférences fortes et cohérentes pour les ordres d'adjectifs naturels. L'AOP-% contextuel augmente avec la taille du modèle, passant de 85,0 % (70M) à 91,7 % (12B).
• Phases d'apprentissage : L'analyse des points de contrôle intermédiaires révèle trois phases distinctes d'acquisition :
  1. Initialisation : Les jugements AOP ne sont pas encore formés.
  2. Acquisition : Formation rapide des jugements AOP ; la sensibilité à l'ordre des adjectifs émerge tôt (autour de 1,5 % de l'entraînement total).
  3. Consolidation : Les jugements se stabilisent et le rôle du contexte est renforcé.
• Localisation au niveau du jeton : La plus grande différence de probabilité entre l'ordre naturel et l'ordre inversé se produit au niveau du second jeton de l'adjectif. Cependant, le contexte influence la probabilité du premier adjectif immédiatement, suggérant que le contexte façonne les préférences dès le début de la locution.

2. Le rôle des statistiques des données d'entraînement

• Corrélation avec les fréquences : Il existe une forte corrélation entre l'AOP-∆ du modèle et les fréquences des bigrammes dans les données d'entraînement. Les statistiques simples de bigrammes expliquent une grande partie du comportement du modèle (86,8 % de précision prédictive pour les comptes de bigrammes).
• Limites de la mémorisation : Bien que les statistiques de bigrammes soient hautement prédictives, elles n'expliquent pas entièrement le comportement du modèle. Les statistiques de trigrammes (adjectif-adjectif-nom) montrent une précision prédictive plus faible (76,7 %), et les modèles restent performants sur des éléments où le trigramme spécifique est rare ou absent de l'entraînement.

3. Généralisation au-delà de la mémorisation

• Performance Zero-Shot : Malgré la forte influence des statistiques distributionnelles, les modèles font preuve d'une généralisation robuste. Sur des paires d'adjectifs jamais vues durant l'entraînement (0 occurrence), les modèles atteignent toujours des scores AOP-% élevés (atteignant ~85 % dans certains découpages).
• Interprétation : Cela indique que le comportement du modèle ne peut être réduit à la seule mémorisation des ordres observés ; les modèles généralisent aux combinaisons inédites, s'appuyant probablement sur des motifs appris à partir d'autres ordres d'adjectifs.

4. Le rôle du contexte

• Gain contextuel : L'ajout du contexte de la phrase améliore significativement les prédictions AOP. Dans 67,6 % des cas, le contexte augmente le score AOP-∆.
• Sémantique vs Aléatoire : Le vrai contexte améliore les prédictions dans 65,1 % des cas, tandis que les contextes aléatoires n'améliorent les prédictions que dans 39,6 %, confirmant que le contenu sémantique du contexte est le moteur, et non la simple présence d'un signal linguistique.
• Sources d'influence : L'attribution de caractéristiques identifie deux sources principales d'influence contextuelle :
  1. Indices de collocation locaux : Les déterminants, adverbes et prépositions précédant immédiatement la locution adjectivale agissent comme de puissants moteurs (par exemple, un déterminant co-occurrent fréquemment avec un type d'adjectif spécifique).
  2. Indices sémantiques précoces : Les adjectifs et noms apparaissant plus tôt dans la phrase biaisent l'ordre en fonction de la similitude sémantique. Les adjectifs de contexte les mieux classés présentent une similitude cosinus plus élevée avec le premier adjectif de la locution qu'avec le second.

Signification et affirmations

L'article positionne les LM non pas comme des théories explicatives de l'ordre des adjectifs humains, mais comme des outils empiriques pour sonder les sources d'information qui influencent les préférences d'ordre des mots.

• Au-delà des statistiques de surface : L'étude démontre que si les modèles s'appuient lourdement sur les fréquences des données d'entraînement (apprentissage distributionnel), ils présentent également des capacités de généralisation qui vont au-delà de la simple mémorisation des cooccurrences.
• Sensibilité au contexte : La recherche souligne que les LLM exploitent un contexte de phrase riche pour résoudre les préférences graduées, une caractéristique souvent absente des comptes théoriques traditionnels de l'ordre des adjectifs qui se concentrent sur les adjectifs de manière isolée.
• Contribution méthodologique : En combinant l'analyse comportementale et l'attribution de caractéristiques, les auteurs identifient des indices contextuels spécifiques (collocation locale et sémantique distante) qui modulent l'ordre des mots. Ces conclusions suggèrent de nouvelles voies pour l'étude empirique du traitement du langage humain, particulièrement concernant le rôle du contexte dans les contraintes linguistiques « souples ».
• Limites : Les auteurs reconnaissent que leurs conclusions sont spécifiques à l'anglais et ne constituent pas un compte rendu explicatif complet du comportement linguistique humain. Ils notent que l'arbitrage entre mémorisation et généralisation chez l'humain reste une question empirique ouverte nécessitant davantage de données.

En résumé, l'article fournit une caractérisation comportementale de la manière dont les LLM acquièrent les préférences d'ordre des adjectifs, en les reliant à une combinaison de statistiques de données d'entraînement, de mécanismes de généralisation et d'indices contextuels spécifiques, offrant ainsi un cadre pour l'étude de l'ordre des mots dans les modèles de langage.