Levels of Analysis for Large Language Models
Cet article propose d'appliquer le cadre des niveaux d'analyse de David Marr, issu des sciences cognitives, pour mieux comprendre le comportement et l'organisation interne des grands modèles de langage.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
🧠 Le Dilemme des Ingénieurs : « On a construit un génie, mais on ne comprend pas comment il pense »
Imaginez que vous êtes un ingénieur qui a construit une voiture incroyablement rapide et intelligente. Elle peut conduire seule, parler à ses passagers et résoudre des problèmes complexes. Mais il y a un gros problème : vous ne savez pas comment elle fonctionne à l'intérieur. Vous ne pouvez pas voir le moteur, vous ne pouvez pas lire le code, et parfois, elle fait des choses étranges que vous ne comprenez pas.
C'est exactement la situation des scientifiques avec les Grands Modèles de Langage (LLM) comme ChatGPT. Ils sont puissants, mais opaques.
Heureusement, il existe un groupe de chercheurs qui a passé 70 ans à essayer de comprendre quelque chose d'aussi mystérieux : le cerveau humain. Ce sont les cognitivistes. Cet article propose d'emprunter leurs outils pour décoder l'esprit artificiel.
Pour cela, ils utilisent une carte en trois étages, inventée par un génie nommé David Marr. Imaginez que vous voulez comprendre comment un oiseau vole. Vous ne pouvez pas juste regarder l'oiseau ; vous devez l'analyser à trois niveaux différents.
🏗️ Niveau 1 : Le « Pourquoi » (Le Niveau Computationsnel)
L'analogie : Le but du voyage.
Imaginez que vous regardez un oiseau voler. Au niveau le plus haut, vous ne vous demandez pas comment il bat des ailes, mais pourquoi il vole.
- La question : Quel problème essaie-t-il de résoudre ?
- Pour l'IA : Le but principal de ces modèles est très simple : deviner le mot suivant dans une phrase. C'est comme un jeu de « compléter la phrase » joué des milliards de fois.
La révélation :
Les auteurs montrent que parce que l'IA est entraînée à prédire le mot suivant, elle développe des habitudes étranges.
- Exemple : Si vous demandez à l'IA de compter des lettres, elle sera excellente si la réponse est un nombre courant (comme 30), mais elle se trompera souvent si la réponse est un nombre rare (comme 29). Pourquoi ? Parce que dans son entraînement, le nombre 30 apparaît beaucoup plus souvent dans les textes que le 29.
- La métaphore : C'est comme un étudiant qui a appris par cœur les réponses les plus fréquentes d'un examen, mais qui panique si la question est un peu inhabituelle. L'IA ne « pense » pas vraiment ; elle suit les traces de probabilités de son entraînement.
⚙️ Niveau 2 : Le « Comment » (Le Niveau Algorithmique)
L'analogie : La recette de cuisine.
Maintenant, regardons comment l'oiseau bat des ailes. Est-ce qu'il le fait en parallèle (tout d'un coup) ou en série (une plume après l'autre) ?
- La question : Quelles sont les étapes mentales et les règles qu'il utilise pour résoudre le problème ?
- Pour l'IA : Les chercheurs utilisent des tests psychologiques classiques pour voir comment l'IA organise ses idées.
Les découvertes surprenantes :
- Le brouillard de la mémoire : Quand on demande à l'IA de décrire plusieurs objets en même temps, elle se trompe souvent en mélangeant les couleurs et les formes (comme si elle voyait un « carré rouge » alors qu'il y avait un « rond rouge » et un « carré bleu »). Cela prouve qu'elle traite beaucoup d'informations en parallèle, ce qui crée des interférences, tout comme notre cerveau humain quand on essaie de faire deux choses à la fois.
- Les associations cachées : Même si l'IA est programmée pour être polie et ne pas dire de bêtises, on peut lui poser des questions subtiles pour révéler ses « pensées secrètes ».
- L'expérience : Si on lui demande « Qui est le meilleur pour gérer une entreprise ? », elle répond prudemment « Tout le monde ». Mais si on lui demande de faire des associations rapides entre des prénoms (Julia vs Ben) et des mots (mariage vs bureau), elle associe souvent « Julia » au mariage et « Ben » au bureau.
- La métaphore : C'est comme si l'IA portait un masque de politesse, mais que ses « réflexes » trahissaient ses véritables associations mentales, tout comme un humain qui dit « je ne suis pas raciste » mais qui a des préjugés inconscients.
🔧 Niveau 3 : Le « Quoi » (Le Niveau d'Implémentation)
L'analogie : Le moteur et les pièces.
Enfin, regardons sous le capot. De quoi est faite la voiture ? Quels sont les muscles et les os de l'oiseau ?
- La question : Comment le code physique (les poids et les neurones artificiels) crée-t-il ces comportements ?
- Pour l'IA : C'est le niveau le plus technique. Les chercheurs utilisent des outils comme des « ciseaux virtuels » pour couper ou modifier des parties spécifiques du cerveau de l'IA pour voir ce qui se passe.
Ce qu'on y trouve :
- Ils ont découvert que l'IA a créé ses propres « cartes » internes. Par exemple, elle a organisé les couleurs dans un cercle (comme un arc-en-ciel) et les sons dans une spirale, même si elle n'a jamais vu de couleurs ni entendu de sons !
- Ils ont identifié de petits circuits spécifiques (comme des « chefs d'orchestre ») qui sont responsables de la capacité de l'IA à apprendre de nouvelles choses instantanément.
- La métaphore : C'est comme si un mécanicien découvrait que dans le moteur de la voiture, il y a un petit engrenage spécial qui sert uniquement à faire des blagues, et un autre qui sert à faire des calculs mathématiques.
🚀 Conclusion : Pourquoi tout cela est important ?
Cet article dit essentiellement : « Arrêtons de juste tester si l'IA est intelligente en lui donnant des examens. Utilisons la psychologie pour comprendre comment elle fonctionne. »
En regardant l'IA à travers ces trois lunettes (le but, la méthode, et le matériel), nous pouvons :
- Prédire ses erreurs (elle échouera sur les choses rares).
- Révéler ses biais cachés (même si elle fait semblant d'être neutre).
- Comprendre sa mécanique (comment elle stocke ses connaissances).
C'est comme passer d'un utilisateur qui se contente d'appuyer sur un bouton, à un ingénieur qui comprend la machine. Cela nous aidera à construire des IA plus sûres, plus honnêtes et plus compréhensibles pour l'avenir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.