Differences in Typological Alignment in Language Models' Treatment of Differential Argument Marking

Résumé technique : Différences dans l'alignement typologique du traitement de la marquage différentiel des arguments par les modèles de langage

Énoncé du problème
Des recherches récentes indiquent que les modèles de langage (ML) entraînés sur des corpus synthétiques peuvent présenter des préférences typologiques ressemblant à des régularités interlinguistiques, en particulier dans des domaines structurels comme l'ordre des mots. Cependant, il reste incertain si ces tendances s'étendent à des systèmes où la validité grammaticale dépend de facteurs sémantiques plutôt que de configurations purement structurelles. Cet article examine cette lacune en utilisant le marquage différentiel des arguments (MDA), un phénomène linguistique où les arguments reçoivent un marquage morphologique basé sur des propriétés sémantiques telles que l'animéité, la définitude et la pronominalité. Plus précisément, les auteurs se demandent si les ML entraînés avec des objectifs standards de prédiction du prochain token développent des biais typologiques en MDA qui s'alignent sur les langues humaines, et si oui, si ces biais proviennent des mêmes sources sous-jacentes que les tendances typologiques humaines.

Méthodologie
Les auteurs emploient un paradigme de corpus synthétique contrôlé utilisant des modèles GPT-2-small entraînés à partir de zéro.

• Construction du corpus : À partir d'un sous-ensemble du corpus OpenSubtitles (anglais), les auteurs extraient environ 21 millions de clauses SVO. Ils annotent les arguments pour des propriétés sémantiques (animéité, définitude, pronominalité) en utilisant des classificateurs basés sur BERT.
• Injection de règles : Ils construisent 18 corpus synthétiques distincts en injectant des règles MDA dans le texte anglais. Ces règles sont paramétrées selon quatre dimensions :
  1. Déclencheur sémantique : Animéité, définitude ou pronominalité.
  2. Complexité de la dépendance : Locale (le marquage dépend de la propriété d'un seul argument) vs Globale (le marquage dépend de la prominence relative du sujet et de l'objet).
  3. Direction de la marquée : Naturelle (le marquage cible des arguments sémantiquement atypiques/moins fréquents) vs Inverse (le marquage cible des arguments typiques).
  4. Cible de l'argument : Ciblage de l'objet (marquage du patient) vs Ciblage du sujet (marquage de l'agent).
• Évaluation : Les modèles sont évalués sur la maîtrise des règles à l'aide de paires minimales. Pour chaque condition, 1 000 paires de phrases retenues sont générées, où l'une suit la règle MDA injectée et l'autre la viole. La performance est mesurée par la proportion de fois où le modèle attribue un log-vraisemblance négative (NLL) plus faible à la phrase grammaticale.
• Analyses auxiliaires : L'étude inclut des tests de précision du placement des marqueurs, de sondage sémantique (pour s'assurer que l'information sémantique n'est pas perdue) et de tâches diagnostiques BLiMP (pour s'assurer que l'injection MDA ne dégrade pas l'apprentissage grammatical général).

Résultats clés
Les expériences révèlent une dissociation entre deux dimensions typologiques majeures du MDA :

1. Direction de la marquée (Alignement fort) : Les modèles reproduisent de manière fiable la préférence typologique humaine pour la marquée naturelle. À travers tous les déclencheurs sémantiques et types de dépendance, les modèles apprennent les règles naturelles (où le marquage explicite cible des arguments atypiques) significativement mieux que les règles inverses.

   • Précision moyenne optimale pour les règles Naturelles : ~85 %.
   • Précision moyenne optimale pour les règles Inverses : ~68 %.
   • Cet avantage persiste même en contrôlant la fréquence d'entrée, suggérant qu'il est piloté par des dynamiques d'apprenabilité plutôt que par une simple exposition.

2. Préférence d'argument (Alignement faible/Inexistant) : Les modèles ne reproduisent pas la forte préférence typologique humaine pour les systèmes à ciblage d'objet. Bien que les règles à ciblage d'objet aient montré un léger avantage moyen par rapport aux règles à ciblage de sujet (~79 % contre ~74 %), cette différence est substantiellement plus petite que l'effet de marquée et statistiquement moins significative.

   • Les règles locales ont été apprises plus réussies que les règles globales (~77 % contre ~59 %), reflétant un biais vers la localité de l'information.
   • L'écart de performance entre les variantes naturelles et inverses était plus faible pour les règles à ciblage d'objet que pour les règles à ciblage de sujet, suggérant que les modèles encodent les propriétés sémantiques du sujet plus robustement.

3. Résultats auxiliaires :

   • Placement des marqueurs : Les modèles ont atteint une précision proche du plafond dans le placement correct des marqueurs, indiquant que les échecs de maîtrise des règles ne sont pas dus à une incapacité à localiser le marqueur dans la chaîne.
   • Sondage sémantique : Des sondages linéaires ont confirmé que les modèles conservent l'information sémantique (animéité, définitude, pronominalité) pour les sujets et les objets, écartant la dégradation sémantique comme cause des différences de performance.
   • BLiMP : L'injection MDA n'a pas significativement altéré la capacité des modèles à apprendre d'autres phénomènes grammaticaux.

Signification et affirmations
L'article soutient que la dissociation observée fournit des preuves concernant les sources distinctes des asymétries typologiques :

• Marquée comme apprenabilité : L'alignement fort avec la marquée naturelle suggère que cette tendance typologique peut émerger de régularités distributionnelles et d'une apprenabilité formelle. Les systèmes de marquée naturelle réduisent l'incertitude de prédiction (surprise) en fournissant des signaux locaux explicites pour des configurations moins fréquentes, s'alignant sur les biais inductifs des modèles autorégressifs optimisés pour la prédiction du prochain token.
• Préférence d'argument comme pilotée par le discours : L'absence de forte préférence pour l'objet chez les modèles suggère que cette asymétrie typologique dépend de facteurs non capturés par l'entraînement standard au prochain token, tels que la structure du discours, la prominence thématique et les pressions communicatives (par exemple, la tendance des objets à assumer des rôles discursifs atypiques comme la topicalité).
• Conclusion : Des tendances typologiques distinctes reflètent des pressions sous-jacentes différentes. Certaines, comme la direction de la marquée, sont accessibles aux ML par l'apprentissage statistique local, tandis que d'autres, comme la préférence d'argument, nécessitent probablement des pressions interactionnelles ou diachroniques que les objectifs d'entraînement standards ne simulent pas.

Limites
Les auteurs notent plusieurs contraintes : l'utilisation d'une seule petite architecture (GPT-2-small), la dépendance à l'anglais (une langue SVO où le marquage de cas est moins critique que dans les langues à ordre des mots flexible), et l'opérationnalisation simplifiée des déclencheurs MDA (les traitant comme des caractéristiques binaires indépendantes plutôt que comme des propriétés interactives sensibles au discours). De plus, la fréquence des instances marquées par rapport aux instances non marquées n'a pas été entièrement contrôlée expérimentalement, bien que les auteurs soutiennent que la fréquence seule n'explique pas les asymétries observées.