Shared Circuits for Shared Grammar: Tracing Subject-Verb Agreement Across Languages
En analysant 29 langues à travers cinq familles de modèles, cette étude démontre que les grands modèles de langage multilingues utilisent des circuits computationnels partiellement partagés pour l'accord sujet-verbe, le degré de chevauchement translinguistique augmentant dans les langues qui expriment ouvertement l'inflexion morphologique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les ordinateurs modernes qui lisent et écrivent dans de nombreuses langues sont devenus remarquablement habiles, capables de traduire ou de répondre à des questions dans une douzaine de langues avec un seul cerveau. Pourtant, malgré toute leur fluidité, les scientifiques ne comprennent pas pleinement comment ces systèmes fonctionnent à l'intérieur. Un mystère central est de savoir si un ordinateur multilingue utilise un ensemble universel de règles pour gérer la grammaire de chaque langue, ou s'il construit un moteur distinct et unique pour chacune d'elles. Cette question est importante car si la machine utilise la même machinerie interne pour différentes langues, alors les connaissances acquises en étudiant une langue pourraient nous aider à comprendre toutes les autres. Si elle construit des moteurs séparés, cependant, alors ce que nous apprenons sur l'anglais ne nous dira rien sur la façon dont elle gère l'espagnol ou le chinois. Le puzzle spécifique que cette recherche aborde est la manière dont ces modèles gèrent l'accord sujet-verbe, la règle grammaticale qui force un verbe à changer de forme pour correspondre à la personne qui accomplit l'action, comme changer « walk » en « walks » quand le sujet est « he ».
Pour résoudre cela, les chercheurs ont examiné comment cinq familles différentes de modèles de langage en code source ouvert traitent cette règle grammaticale à travers vingt-neuf langues. Ils se sont concentrés sur un moment spécifique du processus de pensée de l'ordinateur : la fraction de seconde avant qu'il ne prédise la lettre finale ou le mot d'un verbe. En utilisant une technique qui échange les signaux internes d'une phrase correcte dans une phrase légèrement altérée et incorrecte, l'équipe a pu identifier précisément quelles parties du réseau de l'ordinateur étaient responsables de la réussite de la grammaire. Ils ont testé cette méthode sur des langues qui changent énormément leurs verbes, comme l'espagnol, des langues qui ne les changent pas du tout, comme le chinois, et l'anglais, qui les change seulement dans quelques cas spécifiques.
L'enquête a révélé que ces modèles ne reposent pas sur des moteurs entièrement séparés pour chaque langue, ni n'utilisent un moteur unique et identique pour toutes. Au lieu de cela, ils semblent réutiliser un ensemble partagé de voies internes, mais seulement lorsque la tâche l'exige. Lorsque les chercheurs ont examiné les langues où le verbe doit visiblement changer pour correspondre au sujet, ils ont constaté que les mêmes parties spécifiques du réseau de l'ordinateur étaient actives dans presque toutes ces langues. Ces voies partagées étaient les plus cohérentes lorsque l'ordinateur devait récupérer la différence exacte entre deux formes verbales, comme distinguer « I walk » de « he walks ». Dans ces moments, les modèles semblaient s'appuyer sur un circuit commun et partagé pour effectuer le calcul grammatical.
Cependant, ce partage n'est pas uniforme. Lorsque les chercheurs ont examiné les langues où le verbe ne change pas du tout, les voies internes semblaient très différentes. L'ordinateur ne semblait pas utiliser la même machinerie partagée pour ces langues. Plus révélateur encore était le comportement de l'anglais. Comme l'anglais ne change ses verbes qu'à la troisième personne du singulier, le câblage interne de l'ordinateur paraissait différent des langues à forte conjugaison la plupart du temps. Mais au moment où l'ordinateur devait produire cette forme spécifique « he walks », son activité interne basculait pour ressembler presque exactement aux motifs observés dans les langues qui changent constamment leurs verbes. Cela suggère que l'ordinateur ne décide pas d'utiliser un moteur partagé en fonction de la langue elle-même, mais plutôt en fonction de l'opération grammaticale spécifique qu'il effectue à ce moment-là.
L'étude a également examiné comment ces parties partagées du réseau se comportent réellement. Ils ont découvert que les composants spécifiques responsables de l'accord dans différentes langues prêtent attention aux mêmes parties de la phrase. Lorsqu'un modèle décide d'une forme verbale, ces composants partagés se concentrent sur le pronom sujet et le verbe lui-même, que la langue soit l'espagnol, le français ou le cas spécifique de l'anglais. Cela indique que le chevauchement n'est pas seulement une coïncidence de localisation ; les parties partagées accomplissent réellement le même travail de routage de l'information du sujet vers le verbe.
Enfin, les conclusions suggèrent que les ordinateurs multilingues ne se contentent pas de mémoriser des règles séparées pour chaque langue, ni n'utilisent un système unique et rigide pour tout. Ils semblent posséder une architecture flexible qui réutilise des structures internes partagées chaque fois qu'une langue exige qu'une même opération grammaticale soit effectuée de manière visible. Le degré auquel ces structures sont partagées dépend moins de l'identité de la langue que du fait que la langue force l'ordinateur à calculer et à afficher explicitement cette différence grammaticale. Cela offre une image plus claire de la manière dont l'intelligence artificielle apprend à gérer les règles complexes et variées de la grammaire humaine, montant qu'elle construit sa compréhension en réutilisant des outils fonctionnels plutôt qu'en construisant des outils entièrement nouveaux pour chaque langue apprise.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.