Where You Measure Decides What You Measure: Position Selection in Ablation-Based SAE Evaluation

Imaginez que vous essayez de comprendre comment une bibliothèque magique et géante réfléchit. À l'intérieur de cette bibliothèque, le « cerveau » est composé de millions de minuscules interrupteurs lumineux. Lorsque la bibliothèque lit une histoire, certains interrupteurs s'allument pour l'aider à comprendre le sens. Des scientifiques ont construit un outil spécial appelé Auto-encodeur Creux (ou SAE) pour servir de traducteur. Cet outil observe les interrupteurs lumineux et tente de leur donner des noms, comme « interrupteur pour chat » ou « interrupteur pour le futur ». Une fois que le traducteur a nommé les interrupteurs, la grande question suivante est : lesquels sont réellement importants ? Pour le découvrir, les scientifiques jouent généralement au jeu du « et si ». Ils prennent un interrupteur nommé spécifique, l'éteignent et regardent si l'histoire de la bibliothèque change. Si l'histoire devient bizarre, cet interrupteur était important. Si l'histoire reste la même, c'est qu'il ne faisait peut-être pas grand-chose. C'est ce qu'on appelle un test d'ablation. C'est une façon standard de comprendre ce qui fait fonctionner la bibliothèque. Mais voici la partie délicate : un seul interrupteur ne s'allume pas qu'une seule fois ; il s'allume des milliers de fois à différents endroits dans l'histoire. Donc, quand vous décidez de l'éteindre, où l'éteignez-vous ? Choisissez-vous la première fois qu'il s'allume ? La dernière ? Ou le moment où il brille le plus intensément ?

Cette publication pose une question simple mais frappante : Est-ce que l'endroit où vous choisissez d'éteindre l'interrupteur importe ? L'auteur a découvert que la réponse est un « oui » retentissant, et que la manière dont les scientifiques font ce test depuis des années pourrait les conduire à de fausses conclusions.

Le piège de l'« Étincelle la plus brillante »

Pendant longtemps, la règle standard pour ces tests a été : « Éteignez l'interrupteur au moment où il brille le plus intensément. » Cela semble être une intuition intelligente. Si une ampoule est super brillante à un endroit, c'est probablement là qu'elle fait son travail le plus important, n'est-ce pas ?

Le problème, comme l'explique cet article, est que « l'endroit où elle brille le plus intensément » n'est pas un fait fixe concernant la bibliothèque. C'est un fait concernant le traducteur (le SAE) que vous utilisez. Imaginez deux traducteurs différents observant la même bibliothèque. Ils sont tous deux d'accord pour dire que l'Interrupteur n°42 est l'« interrupteur chat ». Mais le Traducteur A pense que l'interrupteur chat brille le plus intensément au mot « chaton », tandis que le Traducteur B pense qu'il brille le plus intensément au mot « félin ».

Si vous suivez la règle standard, le Traducteur A éteindra l'interrupteur à « chaton », et le Traducteur B l'éteindra à « félin ». Même s'ils testent exactement le même concept, ils le testent dans deux endroits complètement différents de l'histoire. L'article montre que ce n'est pas un détail mineur ; c'est une source massive de confusion.

La Grande Expérience de l'Extinction des Interrupteurs

Pour prouver cela, le chercheur ne s'est pas contenté de deviner ; il a mené une expérience massive et contrôlée. Il a construit six traducteurs différents (SAE) qui sont des jumeaux presque identiques. Ils sont partis du même plan de base et ont été entraînés sur les mêmes données, en ne changeant que des paramètres minuscules et inoffensifs. Comme ils étaient identiques au départ, chaque « Interrupteur n°42 » dans les six traducteurs était censé signifier exactement la même chose.

Ensuite, il a lancé le test standard :

1. L'Ancienne Méthode : Il a laissé chaque traducteur choisir son propre « point le plus brillant » pour éteindre l'interrupteur.
2. La Nouvelle Méthode : Il a forcé les six traducteurs à éteindre l'interrupteur au même endroit exact dans l'histoire.

Le Résultat fut Chocant.
Lorsqu'ils ont utilisé l'ancienne méthode (en laissant chaque traducteur choisir son propre point), les résultats étaient totalement disparates. Les traducteurs semblaient être en désaccord profond sur l'importance de l'interrupteur. L'un disait qu'il était super important ; un autre disait qu'il ne faisait rien. Le chercheur a calculé qu'environ 7,6 % à 11,9 % du désaccord entre les traducteurs provenait en réalité du fait qu'ils regardaient des endroits différents dans l'histoire.

Mais lorsqu'ils ont forcé tout le monde à regarder le même endroit, le désaccord a presque disparu. Le « désaccord » est tombé à presque 0 % pour un modèle et 2,4 % pour un autre.

Il s'avère que la plupart du temps, lorsque les scientifiques pensaient que les traducteurs se disputaient le sens de l'interrupteur, ils se disputaient en fait l'endroit où regarder. La règle du « point le plus brillant » les faisait regarder à des endroits différents, créant une illusion de désaccord.

Le « Où » compte plus que le « Quoi »

L'article révèle une vérité cachée : l'emplacement où vous mesurez l'effet est plus important que le dictionnaire que vous utilisez.

En fait, le chercheur a découvert que la « position » est cruciale. Dans ses données, la variation causée par l'endroit où vous mesurez représentait 67,4 % de la différence totale. Cela signifie que si vous changez l'endroit où vous éteignez l'interrupteur, vous changez la réponse plus que si vous changiez le traducteur lui-même.

Cela devient encore plus intéressant à mesure que la bibliothèque s'agrandit. Vous pourriez penser que si vous donnez plus de texte à lire aux traducteurs, ils s'accorderont mieux. Mais c'est le contraire qui s'est produit. À mesure que la quantité de texte augmentait, les traducteurs étaient de plus en plus en désaccord sur l'endroit du « point le plus brillant ». Avec plus de texte, il y a plus d'endroits où les traducteurs peuvent choisir des points différents, ce qui aggrave le problème au lieu de l'améliorer.

Pourquoi cela change tout

L'auteur a vérifié cinq articles majeurs qui avaient déjà publié des résultats utilisant cette méthode. Il a constaté qu'aucun d'entre eux ne rapportait où l'effet avait été mesuré. Ils disaient simplement : « Nous avons éteint l'interrupteur au point le plus brillant. »

C'est comme si un scientifique disait : « Nous avons testé le médicament à la température parfaite », sans jamais vous dire quelle était cette température. Si deux scientifiques testent le même médicament mais que l'un utilise 37°C et l'autre 39°C, ils pourraient obtenir des résultats différents et conclure que le médicament est peu fiable. Mais en réalité, ils ont simplement mesuré à des températures différentes.

L'article conclut que pour qu'un résultat soit digne de confiance et comparable entre différentes études, les scientifiques doivent rapporter exactement quel mot (token) ils ont utilisé pour éteindre l'interrupteur. Ils doivent également rapporter comment ils ont géré les cas particuliers, comme le tout premier mot d'une phrase, qui peut fausser les calculs s'il n'est pas traité avec soin.

La Solution est Simple

La bonne nouvelle est que corriger cela ne nécessite pas de construire de nouvelles bibliothèques ou d'entraîner de nouveaux traducteurs. L'auteur affirme que la solution n'est qu'une seule ligne de code. Au lieu de laisser le traducteur décider où mesurer, les chercheurs devraient convenir d'une liste commune de points de mesure, ou du moins rapporter exactement quel point ils ont choisi.

En faisant cela, le « bruit » disparaît, et nous pouvons enfin voir quels interrupteurs dans le cerveau de la bibliothèque sont réellement importants, et lesquels sont simplement brillants parce que nous avons regardé au bon endroit. L'article ne prétend pas avoir résolu tous les mystères de l'IA, mais il a levé un immense mur invisible qui nous empêchait de voir la vérité clairement.