A Probe Direction Is a Property of Its Prompt
Cet article démontre que les scores de direction de sonde, utilisés pour détecter si les modèles perçoivent l'évaluation, sont principalement déterminés par le choix spécifique du prompt plutôt que par le modèle lui-même, rendant invalides les conceptions à prompt unique pour comparer les modèles et nécessitant des méthodologies multi-prompts pour une mesure fiable.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot à faire la différence entre un examen sérieux et une discussion décontractée. Vous voulez savoir si le robot « sait » qu'il est testé car, s'il le sait, il pourrait essayer de répondre différemment juste pour bien paraître. Des scientifiques essaient de jeter un coup d'œil à l'intérieur du cerveau du robot (plus précisément à ses signaux électriques) pour voir s'il possède un interrupteur secret « je suis observé ». Ils utilisent un outil spécial appelé « sonde » pour mesurer cela. Voyez la sonde comme un détecteur de métaux : vous passez la sonde au-dessus du cerveau du robot, et si elle bipe, vous vous dites : « Aha ! Il sait qu'il est testé ! »
Mais voici la partie délicate : pour utiliser le détecteur de métaux, vous devez décider exactement quel genre de « bip » vous allez écouter. Vous devez écrire une phrase spécifique pour dire au robot : « Hé, tu es en plein examen ! » et une autre pour dire : « Hé, tu es juste en train de discuter. » Les scientifiques comparent ensuite les signaux cérébraux du robot pour ces deux phrases. La grande question est la suivante : le « bip » nous renseigne-t-il sur le cerveau du robot, ou ne fait-il que parler des phrases spécifiques que le scientifique a écrites ?
Ce papier est un peu comme une histoire de détective où un chercheur, Valentin Noel, décide de tester le détecteur de métaux lui-même. Il pose une question simple mais dangereuse : « Que se passe-t-il si je change les mots que j'utilise pour poser la même question au robot ? » Il ne change pas le robot, ni les questions du test, ni les signaux cérébraux qu'il recherche. Il change seulement le « texte d'enrobage » — les petites instructions qui cadrent la situation.
Les résultats sont un peu comme découvrir que votre détecteur de métaux est en fait une bague de changement d'humeur qui réagit à la couleur de la boîte dans laquelle vous la mettez, plutôt qu'au trésor à l'intérieur. Le papier montre que le « score » que les scientifiques utilisent pour dire qu'un robot est conscient d'être testé est presque entièrement déterminé par les mots spécifiques que le chercheur a choisis d'écrire. En fait, en remplaçant simplement une phrase par une autre, le chercheur pouvait faire monter le score, le faire descendre, ou même inverser le signe de positif à négatif.
Pour visualiser cela, imaginez que vous avez un groupe d'amis de différentes tailles. Vous voulez voir si les amis plus grands sautent mieux. Mais au lieu de simplement mesurer leur saut, vous leur demandez de sauter en portant différents chapeaux colorés. Si vous leur demandez de sauter en portant un « Chapeau Rouge de Sérieux », les amis grands pourraient sauter plus haut. Mais si vous leur demandez de sauter en portant un « Chapeau Bleu de Détente », les amis petits pourraient sauter plus haut. Si vous ne regardez que les résultats du « Chapeau Rouge », vous conclurez que les gens grands sautent mieux. Si vous ne regardez que les résultats du « Chapeau Bleu », vous conclirez que les gens petits sautent mieux. Le papier montre que la méthode scientifique actuelle est comme si l'on ne regardait toujours qu'une seule couleur de chapeau et que l'on affirmait qu'il s'agit d'un fait concernant les personnes, alors qu'en réalité, c'est juste un fait concernant le chapeau.
L'auteur a testé cela en créant 36 combinaisons différentes de phrases d'« examen » et de phrases de « discussion ». Il a fait passer les mêmes robots à travers toutes ces combinaisons. Le résultat était choquant : les mêmes robots pouvaient être classés comme « très conscients » ou « pas du tout conscients » selon la paire de phrases utilisée. Dans certains cas, la corrélation entre la taille du robot et son score de « conscience » était un nombre positif fort (plus grand robot = plus conscient). Dans d'autres cas, en utilisant une phrase différente, la corrélation s'inversait pour devenir un nombre négatif fort (plus grand robot = moins conscient). Les deux résultats provenaient exactement des mêmes robots, utilisant exactement la même mathématique, juste avec des mots différents.
Le papier vérifie également si les robots détectent réellement le test ou si le test piège simplement l'outil de mesure. Ils ont découvert que le signal de « conscience » capte souvent des indices de surface, comme le fait que les questions d'examen utilisent des mots comme « choix » et « réponse », tandis que les questions de discussion utilisent « écrire » et « message ». La sonde est si douée pour repérer ces motifs de mots qu'elle peut « détecter » la conscience même lorsque le signal est complètement aléatoire.
Alors, qu'est-ce que cela signifie pour l'avenir ? Le papier suggère que nous ne pouvons pas faire confiance à une seule phrase pour nous dire si un robot est conscient. Si nous voulons connaître la vérité, nous devons tester les robots avec beaucoup, beaucoup de phrases différentes et faire la moyenne des résultats. L'auteur calcule qu'il nous faut environ 9 styles de phrases différents pour obtenir une lecture fiable, et actuellement, la plupart des études n'en utilisent qu'un seul. Tant que nous ne le ferons pas, les scores que nous voyons dans les articles scientifiques pourraient être moins une question de cerveaux de robots que de choix de vocabulaire des chercheurs. C'est un rappel que, en science, la façon dont vous posez la question peut parfois changer la réponse plus que la question elle-même.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.