Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs
Cette étude translinguistique démontre que, bien que GPT-2 small présente certains biais inductifs semblables à ceux des humains en distinguant les langues attestées des langues typologiquement impossibles, ces biais sont imparfaits et plus faibles que ceux trouvés chez les apprenants humains.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un robot très intelligent et très rapide qui apprend à parler en lisant des millions de livres. Des scientifiques se sont disputés pour savoir si ce robot « comprend » réellement le langage comme les humains le font, ou s'il n'est qu'un perroquet statistique capable d'imiter n'importe quoi, même le non-sens.
Certains critiques disent que le robot est trop flexible : « Il peut apprendre le charabia aussi facilement que l'anglais réel, donc cela ne prouve rien sur le fonctionnement du cerveau humain. »
Cet article met cette idée à l'épreuve. Les chercheurs se sont posé la question suivante : Le robot peut-il faire la différence entre une vraie langue et une langue inventée et impossible ?
Voici une décomposition de leurs expériences et de ce qu'ils ont trouvé, en utilisant des analogies de la vie quotidienne.
L'installation : La « salle de sport du langage »
Les chercheurs ont construit une salle de sport pour leur robot (un petit modèle d'IA appelé GPT-2). Ils n'ont pas utilisé uniquement l'anglais ; ils ont utilisé 12 langues différentes à travers le monde (comme le turc, le chinois, l'allemand et l'arabe) pour s'assurer que les résultats ne soient pas dus au hasard d'une langue spécifique.
Ils ont créé deux types d'« entraînements » pour le robot :
- Langues réelles : Des phrases normales parlées par des humains.
- Langues impossibles : Il s'agissait de phrases réelles qui avaient été mélangées. Imaginez prendre une phrase comme « Le chat est assis sur le tapis » et mélanger les mots jusqu'à ce qu'elle devienne « tapis sur le assis chat le ». Ou inverser chaque mot. Ces phrases sont « impossibles » car aucun cerveau humain ne les apprendrait ou ne les parlerait naturellement.
Ils ont également testé des Langues « non attestées ». Ce sont des langues qui pourraient exister logiquement, mais qui ne sont simplement jamais utilisées par les humains. C'est comme une pièce de puzzle qui s'insère dans l'image, mais que personne n'a jamais placée dans le cadre.
Expérience 1 : Le test de l'« œuf brouillé »
La Question : Si vous donnez au robot une version brouillée d'une langue, réalise-t-il qu'elle est cassée ?
L'Analogie : Imaginez que vous apprenez à un chien à rapporter une balle. Si vous lancez la balle, le chien la rapporte. Si vous lancez une pierre, il pourrait quand même la rapporter, mais peut-être avec moins d'enthousiasme. Les chercheurs voulaient voir si le robot « préfère » la balle (langue réelle) à la pierre (langue brouillée).
Le Résultat :
- Plutement Oui : Dans presque toutes les langues, le robot a appris les phrases réelles beaucoup plus vite et mieux que les phrases brouillées. Il a été « confus » (mesuré par un score appelé perplexité) lorsque les mots étaient dans le mauvais ordre.
- Le Bémol : Le robot n'était pas parfait. Parfois, si le mélange était léger (comme échanger seulement deux mots), le robot ne remarquait pas la différence aussi clairement qu'un humain le ferait. C'était un peu comme une personne qui peut dire qu'une chanson est fausse, mais qui pourrait rater le détail si une seule note est légèrement désaccordée.
Expérience 2 : La « Comparaison Globale »
La Question : Si nous mélangeons toutes les vraies langues et toutes les langues brouillées ensemble, le robot peut-il les trier en deux piles bien distinctes ?
L'Analogie : Imaginez un bibliothécaire essayant de trier une pile de vrais livres d'une pile de livres dont les pages ont été arrachées et recollées de manière aléatoire. Le bibliothécaire peut-il distinguer quelle pile est laquelle simplement en regardant les livres ?
Le Résultat :
- Pas parfaitement : Le robot pouvait faire la différence la plupart du temps, mais pas à 100 %. Certaines langues brouillées ressemblaient tellement aux vraies que le robot les confondait.
- La Conclusion : Le robot a une préférence « douce » pour les vraies langues, mais il n'a pas les règles strictes et ancrées que les cerveaux humains semblent posséder. C'est un peu comme un fan de musique qui préfère les vraies chansons au bruit, mais qui appréciera quand même un remix bizarre s'il est entraînant.
Expérience 3 : Le « Puzzle de Grammaire »
La Question : Les humains ont un biais naturel pour certains ordres de mots. Par exemple, en anglais, nous disons « The red car » (Adjectif-Nom). Dans d'autres langues, on dit « Car red ». Mais il existe des combinaisons que les humains n'utilisent jamais, comme « Red car the ». Le robot peut-il apprendre ces ordres de mots étranges et non utilisés aussi bien que les normaux ?
L'Analogie : Imaginez enseigner à un enfant comment empiler des blocs. Les humains préfèrent naturellement empiler de manière stable (gros bloc en bas, petit en haut). Si vous essayez de leur apprendre à les empiler à l'envers, ils ont du mal. Les chercheurs voulaient voir si le robot aurait du mal avec l'empilement « à l'envers » ou s'il le ferait simplement sans se plaindre.
Le Résultat :
- La partie déroutante : Lorsqu'ils ont simplement observé la vitesse d'apprentissage du robot (perplexité), il semblait apprendre les ordres de mots étranges et non utilisés aussi facilement que les normaux. C'était comme si le robot ne se souciait pas des « règles » de stabilité.
- La Révélation : Cependant, lorsqu'ils ont testé la capacité du robot à généraliser (appliquer ce qu'il a appris à de nouvelles situations), un tableau différent est apparu. Le robot réussissait en fait mieux avec les ordres de mots que les humains utilisent naturellement. Il montrait un biais subtil, semblable à celui de l'humain, mais beaucoup plus faible que ce que nous observons chez les personnes réelles.
Le Verdict Final : « Tout est permis ? »
L'article conclut que le robot n'est pas une « table rase » capable d'apprendre n'importe quoi de manière égale.
- Le Mythe du « Tout est permis » : L'idée que le robot peut apprendre le charabia aussi facilement que le langage réel est fausse. Le robot montre certains instincts « humains » ; il préfère les vraies langues et éprouve plus de difficultés avec les langues impossibles.
- La Réalité : Cependant, ces instincts sont faibles. Ils ne sont pas aussi forts ou rigides que les règles présentes dans un cerveau humain. Le robot est comme un étudiant très talentueux qui a étudié les règles de grammaire, mais qui n'a pas le « ressenti » inné du langage que possèdent les humains.
En bref : Le robot n'est pas magique, et ce n'est pas une copie parfaite d'un esprit humain. Il se situe quelque part entre les deux : il a appris certaines des « règles » du langage humain, mais il lui manque encore la compréhension profonde et intuitive qui rend l'apprentissage humain si unique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.