Left-Branching Transformers Excel at Right-Branching Languages: Data Shapes Word Order Preferences in Language Models
Cet article démontre que les biais d'ordre des mots dans les modèles de langage à décodeur seul ne sont pas des préférences architecturales intrinsèques mais sont plutôt dictés par les données d'entraînement, les modèles favorisant les structures SVO à branchement à droite dans les langues naturelles en raison de l'abondance et de la qualité des données, posant ainsi un risque de réduction de la diversité mondiale de l'ordre des mots.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Le langage n'est pas seulement une collection de mots ; c'est un ensemble de règles sur la manière dont ces mots sont agencés pour avoir du sens. Dans certaines langues, le verbe vient après le sujet et l'objet, comme dans « Le chat a mangé le poisson ». Dans d'autres, le verbe vient en premier, ou l'objet précède le sujet. Cet agencement, connu sous le nom d'ordre des mots, est l'un des aspects les plus fondamentaux qui différencient les langues humaines. Pendant des décennies, les linguistes ont étudié ces schémas pour comprendre comment le cerveau humain apprend et traite le langage, cherchant des règles universelles qui pourraient s'appliquer à tous les êtres humains, partout dans le monde. Aujourd'hui, un nouveau type d'apprenant est entré dans le domaine : l'intelligence artificielle. Ces programmes informatiques, appelés modèles de langage, sont entraînés sur de vastes quantités de texte et peuvent générer des phrases semblables à celles des humains. Une question cruciale a émergé : ces machines apprennent-elles le langage de la même manière que les humains, ou développent-elles leurs propres préférences cachées sur la façon dont les mots doivent être ordonnés ?
Une équipe de chercheurs s'est donné pour mission de répondre à cette question en testant la manière dont ces modèles gèrent différents ordres de mots. Ils ont construit une expérience contrôlée utilisant deux types de données très différents. D'abord, ils ont créé des centaines de langues artificielles. Il ne s'agissait pas de vraies langues parlées par des humains, mais de constructions mathématiques conçues pour isoler des caractéristiques spécifiques. Imaginez une langue où la seule chose qui change est que l'adjectif soit placé avant ou après le nom, ou que le verbe se trouve au début ou à la fin de la phrase. En éliminant la complexité du langage humain réel — tel que le contexte culturel, la grammaire irrégulière et les données désordonnées — les chercheurs pouvaient voir si le modèle informatique avait une préférence intrinsèque pour une structure plutôt qu'une autre. Ils ont ensuite comparé ces résultats avec la performance de ces mêmes modèles sur des langues réelles et naturelles du monde entier, allant de l'anglais et l'espagnol au japonais et au swahili.
Les résultats ont révélé une division surprenante dans le comportement de ces modèles. Lorsque les chercheurs ont entraîné les modèles sur les langues artificielles, les ordinateurs préféraient systématiquement une structure spécifique où les modificateurs précèdent le mot principal, un schéma que les linguistes appellent « à branche gauche » (left-branching). Cette préférence était si forte qu'elle apparaissait quel que soit l'ordre de base de la phrase. Cependant, cette préférence ne correspondait pas à ce que nous savons de l'apprentissage du langage humain. Les humains ont tendance à préférer la cohérence ; si une langue place le verbe à la fin, les humains s'attendent généralement à ce que d'autres parties de la phrase suivent un schéma similaire. Les langues artificielles ont montré que les modèles ne suivaient pas la logique humaine ou les schémas statistiques présents dans les langues du monde. Au lieu de cela, les modèles semblaient favoriser une structure qui était simplement plus facile à traiter pour leur architecture spécifique, un biais qui existait indépendamment de toute règle linguistique réelle.
L'histoire a totalement changé lorsque les chercheurs sont passés aux données du monde réel. Lorsqu'ils ont entraîné les modèles sur des langues naturelles, mais avec une petite quantité de texte — environ cinq mégaoctets par langue — ceux-ci ne montraient aucune préférence claire pour un ordre de mots spécifique. Ils étaient également à l'aise avec différents agencements. Cependant, à mesure que les chercheurs augmentaient la quantité de données d'entraînement vers une échelle beaucoup plus grande, soit environ mille mégaoctets, un motif distinct est apparu. Les modèles ont commencé à favoriser les langues où le sujet vient avant le verbe, et le verbe avant l'objet, comme en anglais ou en chinois. Il s'agit de l'ordre Sujet-Verbe-Objet, ou SVO. Curieusement, cette préférence s'est accentuée à mesure que les modèles voyaient plus de données, même si un autre ordre, où le verbe vient à la fin (Sujet-Objet-Verbe), est en réalité plus courant parmi les langues du monde.
Les chercheurs ont cherché à comprendre pourquoi ce changement s'était produit. Ils ont découvert que la préférence pour le SVO n'était pas due au fait que l'architecture informatique soit intrinsèquement meilleure pour comprendre cet ordre spécifique. Au contraire, la préférence était entièrement dictée par les données dont les modèles étaient nourris. Les langues les plus largement disponibles sur Internet et dans les bibliothèques numériques — souvent appelées langues à « hautes ressources » — sont massivement de type SVO. Parce que les modèles ont été entraînés sur des quantités massives de textes provenant de ces langues spécifiques, ils ont appris à prioriser cette structure. Lorsque les chercheurs ont examiné les modèles entraînés sur des langues disposant de très peu de données disponibles, l'avantage du SVO disparaissait. Cela suggère que les modèles ne découvrent pas une vérité universelle sur le langage ; ils reflètent simplement le déséquilibre dans l'information à laquelle ils ont accès.
Cette découverte a des implications significatives pour l'avenir de la technologie du langage. Si ces modèles sont de plus en plus utilisés pour traduire, écrire ou communiquer dans des langues moins communes ou ayant des ordres de mots différents, il existe un risque qu'ils poussent subtilement ces langues vers la structure SVO. Les modèles pourraient rendre plus difficile l'utilisation ou la compréhension des ordres de mots naturels et flexibles sur lesquels de nombreuses langues comptent pour exprimer la nuance, l'accentuation ou l'émotion. L'étude montre que si la conception interne de l'ordinateur peut avoir un léger biais, les données qu'il consomme sont la force dominante qui façonne son comportement. À mesure que ces outils se généralisent, la manière dont nous sélectionnons et organisons les données dont ils apprennent déterminera s'ils préserveront la riche diversité du langage humain ou s'ils l'aplaniront progressivement en un modèle unique et uniforme.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.