Implicit Representations of Grammaticality in Language Models
Ce papier démontre que les modèles de langage préentraînés acquièrent implicitement une représentation distincte de la grammaticalité au sein de leurs couches cachées, laquelle peut être extraite au moyen de sondes linéaires pour surpasser les jugements basés sur la probabilité des chaînes de caractères dans la distinction entre phrases grammaticales et non grammaticales à travers plusieurs langues.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un robot très intelligent qui a lu presque tous les livres, sites web et articles d'Internet. Ce robot, appelé un Modèle de Langage (LM), est incroyablement doué pour prédire quel mot vient ensuite dans une phrase. Si vous lui demandez de terminer une histoire, il s'en sort très bien.
Mais voici la partie délicate : Le fait qu'une phrase semble « probable » pour le robot ne signifie pas qu'elle respecte les règles de la grammaire.
Le problème de la « Probabilité » vs la « Correction »
Imaginez le robot comme une personne qui a entendu beaucoup de gens parler, mais qui n'a jamais appris les règles de la grammaire à l'école.
- Le point de vue du robot (Probabilité) : Si vous dites : « La clé des armoires sont sur la table », le robot pourrait penser : « Hé, j'ai déjà entendu des gens faire cette erreur quand ils sont confus par le mot « armoires ». Cela ressemble à quelque chose qu'un humain dirait vraiment. » Ainsi, il attribue un score élevé à cette phrase.
- La règle grammaticale (Grammaticalité) : Un grammairien humain sait que c'est faux. Le sujet est « clé » (singulier), donc le verbe devrait être « est », et non « sont ». La phrase est agrammaticale, même si c'est une erreur courante.
La grande question que les chercheurs se sont posée était : Ce robot sait-il secrètement faire la différence entre « ce que les humains disent souvent » et « ce qui est grammaticalement correct », même si son score final ne le montre pas ?
L'expérience : Le « Détective de la Grammaire »
Pour le découvrir, les chercheurs n'ont pas simplement demandé au robot : « Cette phrase est-elle correcte ? » (Les robots sont mauvais pour répondre directement à cela). Au lieu de cela, ils ont regardé à l'intérieur du cerveau du robot.
Création d'une salle de sport d'entraînement : Ils ont pris une énorme pile de textes normaux et ont commencé à les manipuler. Ils ont ajouté des mots au hasard, supprimé des mots ou mélangé des mots (comme prendre une phrase et dire : « Elle éclate en sanglots et s'en va » vs « Elle éclate en sanglots frange et s'en va »).
- Les phrases originales étaient « Bonnes ».
- Les phrases manipulées étaient « Mauvaises ».
Entraînement d'un détective : Ils ont entraîné un petit « détective » simple (une sonde linéaire) à examiner les pensées internes du robot (ses couches cachées) et à deviner : « Est-ce une phrase Bonne ou une phrase Mauvaise ? »
Le test : Ils ont pris ce détective et l'ont testé sur de véritables tests de grammaire créés par des humains.
Les résultats surprenants
1. Le robot possède un sens secret de la grammaire
Le détective a fait un bien meilleur travail pour repérer les erreurs de grammaire que le propre « score de probabilité » du robot.
- L'analogie : Imaginez que le robot est un chef qui goûte une soupe. Le « score de probabilité » du chef, c'est à quel point il s'attend à goûter du sel parce qu'il en met généralement partout. Mais le « détective » examine la structure chimique de la soupe et dit : « Attendez, ce n'est pas du sel ; c'est du sucre. »
- Le cerveau interne du robot contient en réalité un signal clair pour la « correction grammaticale » qui est distinct de « la fréquence de cette phrase ».
2. Le détective est un spécialiste de la grammaire, pas un spécialiste du sens
Lorsque les chercheurs ont testé le détective sur des phrases grammaticalement parfaites mais qui n'avaient aucun sens (par exemple : « Les idées vertes sans couleur dorment furieusement » vs « Les idées vertes furieusement dorment sans couleur »), le détective a été confus.
- Cependant, le « score de probabilité » original du robot était excellent pour repérer ces phrases absurdes.
- La conclusion : Le cerveau du robot possède deux systèmes différents. Un système sait « Est-ce que cela a du sens ? » (Probabilité), et un système caché sait « Est-ce que cela respecte les règles ? » (Grammaire). Le détective a accédé au système caché.
3. Le détective fonctionne aussi dans d'autres langues
Voici la partie la plus folle : Ils ont entraîné le détective en utilisant uniquement des données en anglais. Ensuite, ils l'ont testé en suédois, néerlandais, italien, russe, japonais et chinois.
- Même si le détective n'avait jamais vu ces langues auparavant, il restait meilleur pour repérer les erreurs de grammaire que les scores de probabilité bruts du robot.
- L'analogie : C'est comme enseigner à un chien d'aller chercher une balle en anglais, puis l'emmener dans un parc en France. Même si le chien ne parle pas français, il comprend toujours le concept de « aller chercher » et peut reconnaître quand un jeu se déroule correctement.
La conclusion
L'article conclut que ces modèles d'IA, bien qu'entraînés uniquement à prédire le mot suivant, ont implicitement appris les règles de la grammaire. Ils ont construit un « détecteur de grammaire » caché à l'intérieur de leurs réseaux de neurones, distinct de leur capacité à deviner quel mot vient ensuite.
Ils ne font pas que mimer les modèles de discours humain ; ils ont développé une représentation interne de ce qui rend une phrase structurellement valide, distincte de la probabilité que cette phrase apparaisse dans la vie réelle.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.