La vie secrète des minuscules mini-cerveaux robotiques

Imaginez un monde où les ordinateurs ne se contentent pas de parler anglais, mais tentent d'apprendre des milliers d'autres langues, du français au swahili en passant par le turc. C'est la frontière de l'Intelligence Artificielle (IA), et plus précisément d'un domaine appelé le Traitement du Langage Naturel (NLP). Considérez ces modèles d'IA comme de gigantesques cerveaux numériques ayant lu presque tout ce qui existe sur Internet. Ils apprennent des schémas : si vous dites « Le chat est assis sur le », ils savent que le mot suivant est probablement « tapis ».

Mais voici la partie délicate : tous les cerveaux ne sont pas créés égaux. Certains sont massifs, comme un supercalculateur possédant une bibliothèque de tous les livres jamais écrits. D'autres sont des Petits Modèles de Langage (SLM), qui sont comme des carnets de notes de poche. Ils sont moins coûteux à construire et plus rapides à exécuter, ce qui les rend parfaits pour des tâches spécifiques ou des langues qui reçoivent moins d'attention que l'anglais. Cependant, ce n'est pas parce qu'un modèle semble apprendre une langue qu'il la comprend réellement. Il pourrait mémoriser la forme des mots sans en connaître le sens, ou bien il pourrait tricher aux examens en devinant la lettre de la réponse la plus populaire au lieu de résoudre le problème.

Les chercheurs tentent constamment de trouver comment rendre ces minuscules et abordables cerveaux d'IA plus intelligents et plus honnêtes, en particulier pour des langues comme le turc, qui possède un style de grammaire unique, basé sur des blocs de construction, qui peut piéger les programmes informatiques standards. La grande question est la suivante : Pouvons-nous réparer un petit modèle d'IA en difficulté pour qu'il comprenne véritablement sa langue, ou apprend-il simplement à faire semblant ?

L'histoire de NEDOQwen : Le relooking d'un tuteur de turc

Rencontrez NEDOQwen, un minuscule modèle d'IA de 0,824 milliard de paramètres conçu spécifiquement pour parler le turc. Imaginez-le comme un étudiant qui essaie d'apprendre le turc mais qui éprouve des difficultés avec les bases. Une équipe de chercheurs d'Ethosoft a décidé de jouer le rôle de tuteurs stricts mais utiles. Ils ne voulaient pas seulement voir si l'étudiant pouvait réussir un test ; ils voulaient effectuer un véritable « diagnostic et réparation » pour comprendre exactement pourquoi l'étudiant échouait et s'ils pouvaient réellement corriger les problèmes de fond.

Le diagnostic : Il ne s'agit pas seulement des réponses

D'abord, les chercheurs ont soumis NEDOQwen à une série de tests. Ils ont observé deux choses : sa capacité à suivre des instructions dans une discussion (diagnostics internes) et sa capacité à répondre à des questions à choix multiples sur des sujets scolaires comme les mathématiques ou l'histoire (benchmarks externes).

Voici la surprise : le modèle s'améliorait dans la discussion ! Lorsque les chercheurs lui donnaient un ensemble d'instructions « propres » à apprendre, il cessait de commettre des erreurs stupides en conversation. Il paraissait plus poli et respectait mieux les règles. Cependant, lorsqu'ils passaient aux tests difficiles à choix multiples, le modèle était toujours médiocre. Il obtenait environ 18,11 % à un test de mathématiques et de sciences en turc (TurkishMMLU-sub) et 21,33 % à un test de culture générale (TUMLU-mini). Pour donner un ordre d'idée, un choix au hasard vous donnerait environ 20 % ou 25 % de bonnes réponses. Le modèle battait à peine les probabilités.

Les chercheurs ont également vérifié l'« outil de vocabulaire » du modèle, appelé tokenizer. C'est la partie de l'IA qui découpe les phrases en morceaux qu'elle peut comprendre. Ils ont découvert que même si NEDOQwen était conçu spécifiquement pour le turc, son outil était en fait moins performant pour décomposer les mots turcs que certains outils à usage général. Il laissait certains mots comme « inconnus » (UNK) et utilisait plus de segments pour dire la même chose. C'était comme donner à un étudiant un dictionnaire auquel il manquerait la moitié des mots et qui contiendrait des définitions confuses.

La réparation : Apprendre au modèle à tricher (puis le corriger)

L'équipe a donc tenté de le réparer. Ils ont donné au modèle un cours de « réparation » spécial. Il ne s'agissait pas seulement de lui enseigner plus de faits ; il s'agissait de lui apprendre comment passer le test. Ils lui ont montré des exemples de la manière de choisir la bonne lettre de réponse (A, B, C ou D) et de formater ses réponses.

Ils ont effectué cette réparation pendant 600 étapes (une courte séquence d'apprentissage). Les résultats étaient intéressants :

• Le score TurkishMMLU-sub est passé de 18,11 % à 21,00 %.
• Le score TUMLU-mini a bondi de 21,33 % à 32,22 %.

On aurait dit que le modèle devenait plus intelligent ! Mais les chercheurs ont creusé davantage et ont découvert un tour caché. Ils ont réalisé que le modèle n'apprenait pas nécessairement plus de faits ; il apprenait à se calibrer. Avant la réparation, le modèle était obsédé par la lettre C. Il choisissait « C » pour 85,9 % de ses réponses lors d'un test ! Il s'agissait essentiellement d'un « adepte du C ».

Après la réparation, l'obsession pour le « C » a chuté, et le modèle a commencé à choisir « D » plus souvent. Les chercheurs ont mené un test spécial où ils ont seulement appris au modèle comment choisir des lettres de réponse, sans lui enseigner de nouveaux faits. Même avec seulement cela, les scores sont montés à 19,56 % et 27,00 %. Cela a prouvé qu'une grande partie de l'amélioration provenait du fait que le modèle apprenait à arrêter de deviner la même lettre à chaque fois, et non du fait qu'il en savait soudainement plus sur l'histoire ou les mathématiques turques.

Le verdict : Un meilleur élève, mais toujours pas un génie

Le verdict final est un mélange de bonnes nouvelles et de rappel à la réalité. La réparation a fonctionné, mais seulement partiellement. Le modèle a cessé d'être un « adepte du C » et a commencé à répartir ses choix entre C et D (environ 47,6 % et 51,6 % respectivement). Il est devenu meilleur pour respecter le format du test.

Cependant, le modèle n'est pas un génie du turc. Il échoue encore en mathématiques, en traduction et en résumé de textes. Il fait encore des erreurs lorsque les questions sont formulées légèrement différemment. Les chercheurs soulignent que ce n'est pas un modèle de « pointe » (state-of-the-art) prêt pour le monde réel. C'est une expérience à bas coût et transparente.

La chose la plus importante qu'ils ont découverte est qu'un score de test plus élevé ne signifie pas toujours que l'IA est plus intelligente. Parfois, cela signifie simplement que l'IA a appris à mieux passer le test. En exposant cela, l'équipe a créé un nouveau « flux de travail » pour les autres chercheurs : vérifier la discussion interne, vérifier le test externe, vérifier le tokenizer et vérifier si le modèle ne se contente pas de deviner la même lettre encore et encore.

En fin de compte, NEDOQwen est une leçon d'honnêteté. Elle nous montre que pour les petits modèles d'IA non anglophones, nous devons faire attention à ne pas célébrer une petite hausse de score comme une avancée majeure. Au lieu de cela, nous devons regarder sous le capot pour voir si le modèle apprend réellement, ou s'il apprend simplement à jouer le jeu. Les chercheurs n'ont passé que environ 0,465 heure de GPU (environ 28 minutes de temps informatique) et une infime somme d'argent pour découvrir ces vérités, prouvant qu'il n'est pas nécessaire d'avoir un supercalculateur pour diagnostiquer une IA défaillante — il suffit d'un bon microscope et d'un œil sceptique.