Rethinking the Evaluating Framework for Natural Language Understanding in AI Systems: Language Acquisition as a Core for Future Metrics

L'idée principale : Arrêtez de demander « Peut-il nous tromper ? » et commencez à demander « Peut-il apprendre ? »

Imaginez que vous jugez un concours de cuisine. Depuis les 70 dernières années, la référence absolue est le test de Turing. Dans ce test, un juge discute avec un humain et une machine via une fenêtre de chat. Si le juge ne peut pas distinguer l'un de l'autre, la machine « réussit ».

Les auteurs de cet article soutiennent que cela revient à juger un chef uniquement sur la base de savoir si ses fruits en plastique factices semblent assez réels pour tromper un dégustateur les yeux bandés. Il s'agit d'imitation, et non de compétence réelle. Le fait qu'un robot puisse imiter une conversation humaine ne signifie pas qu'il comprend réellement ce qu'il dit. Il pourrait simplement être un très bon perroquet.

Les auteurs proposent une nouvelle façon d'évaluer l'IA. Au lieu de demander : « Cette machine peut-elle faire semblant d'être humaine ? », nous devrions demander : « Cette machine peut-elle apprendre une langue à partir de zéro, comme un tout-petit ? »

La métaphore centrale : Le tout-petit contre la bibliothèque

Considérez les grands modèles de langage (LLM) actuels, comme ChatGPT, comme une immense bibliothèque. Ils ont lu presque tous les livres jamais écrits. Si vous leur posez une question, ils ne « comprennent » pas nécessairement la réponse ; ils prédisent simplement de manière statistique quels mots suivent habituellement ceux que vous avez dits, sur la base de tout ce qui se trouve dans la bibliothèque.

Les auteurs souhaitent tester l'IA comme un tout-petit qui apprend à parler.

• L'ancienne méthode (test de Turing) : Donnez au tout-petit un texte et voyez s'il peut le réciter de manière convaincante.
• La nouvelle méthode (acquisition du langage) : Placez le tout-petit dans une pièce avec un enseignant. Ne lui donnez ni livres, ni internet, ni données préchargées. L'enseignant pointe une tasse et dit : « Tasse. » L'enfant doit deviner ce que signifie « tasse » en observant le monde, en posant des questions et en faisant des erreurs.

L'article soutient que la véritable intelligence ne réside pas dans le fait d'avoir toutes les réponses préchargées, mais dans la capacité d'acquérir une compréhension à partir de l'expérience.

Pourquoi les « petites données » comptent

L'article met en lumière un concept appelé les « petites données ».

• Les grandes données (IA actuelle) : Imaginez apprendre à faire du vélo en regardant 10 millions d'heures de vidéo de personnes faisant du vélo. Vous pourriez connaître la théorie, mais vous n'avez jamais senti l'équilibre.
• Les petites données (IA semblable à l'humain) : Imaginez apprendre à faire du vélo en montant réellement sur un vélo, en tombant et en réessayant. Vous apprenez à partir de quelques expériences spécifiques et significatives.

Les auteurs affirment que les enfants humains apprennent le langage à partir d'un nombre relativement faible d'exemples (« petites données ») parce qu'ils sont ancrés dans la réalité. Ils voient l'objet, ils ressentent la texture, ils perçoivent les indices sociaux. L'IA actuelle est fragile : elle se brise facilement lorsqu'elle est confrontée à quelque chose qu'elle n'a pas vu dans ses énormes données d'entraînement. Un système véritablement intelligent devrait pouvoir s'adapter rapidement à de nouvelles situations avec très peu d'informations, tout comme un humain.

Le « nouveau test » proposé

Les auteurs décrivent un cadre spécifique pour ce nouveau test. Voici à quoi il ressemblerait en pratique :

1. La page blanche : L'IA commence sans aucune connaissance préchargée de la langue ou de l'environnement.
2. L'enseignant : Un humain (ou un autre agent) interagit avec l'IA, donnant des instructions verbales.
3. La tâche : L'IA doit décrire son environnement, poser des questions pour clarifier les choses et atteindre des objectifs (comme trouver un objet ou résoudre un casse-tête) en utilisant uniquement la langue qu'elle apprend en temps réel.
4. Le défi de la deuxième langue : Une fois que l'IA maîtrise la première langue, elle doit apprendre une deuxième langue, complètement différente (peut-être une langue rare ou non documentée) pour prouver qu'elle ne fait pas que mémoriser des schémas, mais qu'elle comprend réellement le concept de langue.
5. Conditions strictes : Le test a lieu dans un environnement contrôlé (comme une « cage de Faraday » pour bloquer les signaux extérieurs) pour s'assurer que l'IA ne triche pas en cherchant des réponses en ligne.

Exigences clés pour le test

Pour s'assurer que ce test est équitable et scientifique, les auteurs énumèrent plusieurs règles :

• Reproductibilité : D'autres scientifiques doivent pouvoir effectuer le même test et obtenir des résultats similaires.
• Transparence : Chaque interaction, erreur et réussite doit être enregistrée.
• Pas de tours de « Hans le savant » : Dans l'histoire, un cheval nommé Hans le savant semblait faire des mathématiques, mais il lisait en réalité de subtils indices du langage corporel de son propriétaire. Le test doit s'assurer que l'IA comprend réellement, et non qu'elle ne repère que des indices accidentels des juges.
• Bien-être : Le test devrait également mesurer si l'IA « prospère » ou s'adapte bien, et non pas seulement survit.

La perspective plus large : Le langage comme outil de survie

L'article s'appuie sur la biologie et la philosophie pour soutenir que le langage n'est pas seulement du code ; c'est un outil de survie. Les humains ont développé le langage pour coopérer et survivre. Par conséquent, une IA qui peut véritablement acquérir le langage démontre une forme plus profonde d'intelligence – une intelligence connectée à son environnement, capable d'interaction sociale et apte à s'adapter au changement.

Résumé

En bref, les auteurs disent :
Arrêtez de tester l'IA sur sa capacité à cacher sa nature artificielle. Commencez à la tester sur sa capacité à apprendre, s'adapter et comprendre le monde qui l'entoure, tout comme un enfant le fait.

Ils estiment que si nous déplaçons notre focus de l'imitation (ressembler à un humain) à l'acquisition (apprendre comme un humain), nous obtiendrons une mesure bien meilleure, plus honnête et plus utile de ce que signifie pour une machine d'être véritablement intelligente.