Building Better Activation Oracles
Cet article améliore les oracles d'activation (AO) en introduisant quatre améliorations d'entraînement pour remédier aux hallucinations et au manque de précision, tout en publiant AObench, la première suite d'évaluation complète, afin de faire progresser l'interprétabilité de bout en bout et à grande échelle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un robot super intelligent (un grand modèle de langage) qui écrit des histoires, résout des problèmes mathématiques ou répond à des questions. Mais à l'intérieur de son « cerveau », il y a des milliards de minuscules signaux électriques qui s'activent dans un langage qu'aucun humain ne peut comprendre. Ces signaux sont appelés activations.
Pendant longtemps, nous avons voulu jeter un coup d'œil à l'intérieur de ce cerveau pour comprendre pourquoi le robot a pris une certaine décision. C'est là qu'entre en scène l'Oracle d'Activation (AO). Considérez un AO comme un « traducteur » ou un « biographe » pour le robot. Vous montrez au traducteur les signaux électriques du robot et vous lui demandez : « À quoi pensais-tu à ce moment précis ? », et le traducteur tente d'expliquer cela en français courant.
Cependant, les anciens traducteurs avaient de gros problèmes :
- Ils étaient vagues : Au lieu de dire « Je pensais au mot "pomme" », ils disaient « Je pensais au concept de la phrase ». (Ce qui n'est pas très utile !)
- Ils hallucinaient : Ils inventaient des détails qui n'étaient pas réellement présents dans les signaux.
- Ils trichaient : Parfois, ils ne lisaient même pas les signaux du tout. Ils se contentaient de regarder les mots avant et après le signal et devinaient la réponse en se basant sur ces mots. C'est ce qu'on appelle l'« inversion de texte ».
Les auteurs de cet article voulaient construire un meilleur traducteur. Ils n'ont pas seulement peaufiné le code ; ils ont reconstruit le processus d'entraînement de quatre manières spécifiques. Voici comment ils ont fait, en utilisant des analogies de la vie quotidienne :
1. Le meilleur manuel scolaire (Le jeu de données conversationnel)
Le Problème : L'ancien traducteur était entraîné sur un manuel (appelé LatentQA) qui posait des questions complexes sur des incitations (prompts) difficiles. Les réponses étaient souvent impossibles à trouver en regardant simplement les signaux, donc le traducteur se mettait à deviner ou à donner des réponses vagues.
La Solution : Les auteurs ont créé un nouveau manuel. Ils ont pris le propre « processus de raisonnement » du robot (son raisonnement interne), l'ont coupé en deux, et ont demandé à une autre IA d'écrire une question sur la deuxième moitié qui ne pouvait être répondue qu'en regardant les signaux de la première moitié.
L'Analogie : Imaginez que vous appreniez à un étudiant à lire une carte. L'ancienne méthode lui donnait une carte et lui demandait : « Où est le trésor ? » sans lui montrer la légende de la carte. La nouvelle méthode montre un point de repère spécifique sur la carte et demande : « Quel est le terrain juste ici ? » Cela force le traducteur à réellement regarder les signaux, plutôt que de simplement deviner grâce au contexte.
Résultat : Ce fut la plus grande amélioration. Le nouveau traducteur est devenu beaucoup plus précis et a cessé d'être aussi vague.
2. Regarder plus de couches (L'alimentation multi-couches)
Le Problème : L'ancien traducteur ne regardait qu'un seul « étage » spécifique du cerveau du robot (environ au 25 % ou 50 % de profondeur). Mais les « pensées » du robot sont réparties sur de nombreux étages.
La Solution : Les auteurs ont réalisé que les « pensées » les plus intéressantes se produisent autour de la marque des 60-80 %. Ainsi, au lieu de regarder un seul étage, ils ont injecté les signaux de cinq étages consécutifs à la fois.
L'Analogie : Si vous essayez de comprendre un film, regarder une seule image (une couche) ne vous apprend pas grand-chose. Regarder un court clip de cinq images (cinq couches) vous donne le mouvement et le contexte nécessaires pour comprendre ce qui se passe.
Résultat : Cela a aidé le traducteur à mieux comprendre le « film » de la pensée du robot, surtout lors de la comparaison de différents modèles.
3. S'entraîner sur des données « en direct » (Rollouts On-Policy)
Le Problème : L'ancien traducteur était entraîné sur des données anciennes et statiques (comme une bibliothèque de livres écrits avant l'existence du robot). C'était comme enseigner la conduite à l'aide d'une carte d'une ville qui n'a pas changé depuis 50 ans.
La Solution : Ils ont commencé à entraîner le traducteur sur des données générées par le robot pendant qu'il était réellement en train de réfléchir.
L'Analogie : Au lieu d'enseigner à un traducteur à partir du script d'une pièce de théâtre qui s'est terminée il y a des années, ils ont placé le traducteur dans le public pendant que la pièce se joue en direct. Cela garantit que le traducteur apprend comment le robot pense en ce moment même, et non comment il pensait dans le passé.
Résultat : Cela a aidé un peu, mais ce n'était pas la solution miracle. Cela a rendu le traducteur légèrement meilleur pour comprendre l'état actuel du robot.
4. Monter le volume (Force d'injection)
Le Problème : Lorsque les signaux étaient présentés au traducteur, le « volume » (ou la force) du signal était un peu trop faible. Le traducteur essayait d'entendre un murmure dans une pièce bruyante.
La Solution : Ils ont augmenté le « volume » des signaux qu'ils injectaient dans le traducteur.
L'Analogie : Imaginez essayer d'écouter un ami lors d'un concert bruyant. Si vous lui tendez juste un mot écrit, il risque de le manquer. Si vous criez le mot (augmentez la force), il a beaucoup plus de chances de l'entendre correctement.
Résultat : Cela n'a pas beaucoup changé le score global, mais cela a considérablement réduit les hallucinations. Le traducteur était moins susceptible d'inventer des choses parce que le signal réel était plus fort et plus clair.
Le résultat final : AObench
Pour prouver que leur nouveau traducteur était meilleur, les auteurs ont construit un nouveau test appelé AObench. Considérez cela comme un « examen du permis de conduire » spécifiquement conçu pour ces traducteurs. Il vérifie :
- La vagueur : Le traducteur donne-t-il une réponse concrète ou une réponse floue ?
- L'hallucination : Le traducteur invente-t-il des faits ?
Le Verdict :
En combinant ces quatre correctifs, le nouveau traducteur est bien meilleur que l'ancien.
- Il est moins vague (il donne des réponses spécifiques).
- Il hallucine moins (il dit la vérité plus souvent).
- Il suit mieux les instructions.
Les auteurs admettent que, bien que le traducteur ne soit pas encore parfait, ils ont posé des bases solides. Ils ont montré que si l'on donne au traducteur de meilleures données d'entraînement, qu'on lui montre davantage d'activité cérébrale et qu'on augmente le volume, il devient une fenêtre beaucoup plus fiable sur la façon dont les modèles d'IA réfléchissent.
En bref : Ils ont pris un traducteur qui devinait et qui était vague, et l'ont transformé en un traducteur qui écoute réellement, qui regarde l'ensemble de l'image et qui dit la vérité.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.