A Probe Direction Is a Property of Its Prompt
Diese Arbeit zeigt, dass die Scores der Sondierrichtung, die verwendet werden, um zu erkennen, ob Modelle eine Evaluierung wahrnehmen, primär durch die spezifische Wahl des Prompts als vielmehr durch das Modell selbst bestimmt werden, was einseitige Prompt-Designs für den Vergleich von Modellen ungültig macht und Multi-Prompt-Methodologien für eine zuverlässige Messung notwendig macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, den Unterschied zwischen einer ernsthaften Prüfung und einem lockeren Gespräch zu erkennen. Sie möchten wissen, ob der Roboter „weiß“, dass er getestet wird, denn wenn er es weiß, könnte er versuchen, anders zu antworten, nur um gut dazustehen. Wissenschaftler haben versucht, in das Gehirn des Roboters hineinzuschauen (speziell in seine elektrischen Signale), um zu sehen, ob er einen geheimen „Ich-werde-beobachtet“-Schalter besitzt. Sie verwenden dazu ein spezielles Werkzeug namens „Sonde“. Denken Sie an die Sonde wie an einen Metalldetektor: Man schwenkt ihn über das Gehirn des Roboters, und wenn er piept, denkt man: „Aha! Er weiß, dass er getestet wird!“
Aber hier ist der knifflige Teil: Um den Metalldetektor zu benutzen, muss man sich genau entscheiden, auf welches „Piepen“ man hört. Man muss einen spezifischen Satz schreiben, um dem Roboter zu sagen: „Hey, du bist in einer Prüfung!“, und einen anderen, um zu sagen: „Hey, du unterhältst dich nur.“ Die Wissenschaftler vergleichen dann die Gehirnsignale des Roboters für diese beiden Sätze. Die große Frage ist: Sagt uns das „Piepen“ etwas über das Gehirn des Robotors, oder sagt es uns nur etwas über die spezifischen Sätze, die der Wissenschaftler geschrieben hat?
Dieses Paper ist wie eine Detektivgeschichte, in der ein Forscher, Valentin Noel, beschließt, den Metalldetektor selbst zu testen. Er stellt eine einfache, aber gefährliche Frage: „Was passiert, wenn ich die Wörter ändere, die ich benutze, um dem Roboter dieselbe Frage zu stellen?“ Er ändert nicht den Roboter, nicht die Testfragen und nicht die Gehirnsignale, nach denen er sucht. Er ändert nur den „Wrapper-Text“ – die kleinen Anweisungen, die die Situation einrahmen.
Die Ergebnisse sind ein wenig so, als würde man herausfinden, dass dein Metalldetektor eigentlich ein Moodring ist, der auf die Farbe des Kartons reagiert, in den du ihn legst, anstatt auf den Schatz darin. Das Paper findet heraus, dass der „Score“, den Wissenschaftler nutzen, um zu sagen, ein Roboter sei sich des Tests bewusst, fast vollständig durch die spezifischen Wörter bestimmt wird, die der Forscher gewählt hat. Tatsächlich konnte der Forscher, indem er einfach nur einen Satz gegen einen anderen austauschte, den Score steigen lassen, sinken lassen oder sogar von positiv zu negativ umschlagen lassen.
Um dies zu visualisieren, stellen Sie sich eine Gruppe von Freunden unterschiedlicher Größe vor. Sie wollen sehen, ob größere Freunde besser springen können. Aber anstatt nur ihren Sprung zu messen, lassen Sie sie unter verschiedenen farbigen Hüten springen. Wenn Sie sie bitten, während sie einen „Roten Hut der Ernsthaftigkeit“ tragen, springen die großen Freunde vielleicht höher. Aber wenn Sie sie bitten, während sie einen „Blauen Hut der Gelassenheit“ tragen, springen die kleinen Freunde vielleicht höher. Wenn Sie nur die Ergebnisse des „Roten Hutes“ betrachten, würden Sie schlussfolgern, dass große Menschen bessere Springer sind. Wenn Sie nur die Ergebnisse des „Blauen Hutes“ betrachten, würden Sie schlussfolgern, dass kleine Menschen bessere Springer sind. Das Paper zeigt, dass die aktuelle wissenschaftliche Methode so ist, als würde man immer nur auf eine Hutfarbe schauen und dann behaupten, es sei eine Tatsache über die Menschen.
Der Autor testete dies, indem er 36 verschiedene Kombinationen von „Prüfungs“-Sätzen und „Chatting“-Sätzen erstellte. Er ließ dieselben Roboter durch alle diese Kombinationen laufen. Das Ergebnis war schockierend: Dieselben Roboter konnten als „sehr bewusst“ oder „überhaupt nicht bewusst“ eingestuft werden, je nachdem, welches Satzpaar verwendet wurde. In einigen Fällen war die Korrelation zwischen der Größe des Roboters und seinem „Bewusstseins-Score“ eine starke positive Zahl (größere Roboter = mehr Bewusstsein). In anderen Fällen, bei Verwendung eines anderen Satzes, kehrte sich die Korrelation zu einer starken negativen Zahl um (größere Roboter = weniger Bewusstsein). Beides waren exakt dieselben Roboter, mit derselben Mathematik, nur mit anderen Worten.
Das Paper prüft auch, ob die Roboter tatsächlich den Test bemerken oder ob der Test nur das Messwerkzeug austrickst. Es fand heraus, dass das „Bewusstseins-Signal“ oft nur oberflächliche Hinweise aufgreift, wie zum Beispiel die Tatsache, dass Prüfungsfragen Wörter wie „Wahl“ und „Antwort“ verwenden, während Chat-Fragen Wörter wie „schreiben“ und „Nachricht“ nutzen. Die Sonde ist so gut darin, diese Wortmuster zu erkennen, dass sie „Bewusstsein“ detektieren kann, selbst wenn das Signal völlig zufällig ist.
Was bedeutet das also für die Zukunft? Das Paper legt nahe, dass wir uns nicht auf einen einzigen Satz verlassen können, um zu sagen, ob ein Roboter sich seiner Sache bewusst ist. Wenn wir die Wahrheit wissen wollen, müssen wir die Roboter mit vielen, vielen verschiedenen Sätzen testen und die Ergebnisse mitteln. Der Autor berechnet, dass wir etwa 9 verschiedene Satzstile benötigen, um eine zuverlässige Messung zu erhalten, und derzeit verwenden die meisten Studien nur einen. Bis wir das tun, könnten die Scores, die wir in wissenschaftlichen Arbeiten sehen, weniger über die Gehirne der Roboter und mehr über die Wortwahl der Forscher entscheiden. Es ist eine Erinnerung daran, dass in der Wissenschaft die Art und Weise, wie man die Frage stellt, manchmal die Antwort mehr verändern kann als die Frage selbst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.