Diagnosing Correctness Probes under Self-Judgement Confounding
Diese Arbeit zeigt, dass Readouts der verborgenen Zustände in Sprachmodellen oft eher das Selbsturteil des Modells als die objektive Korrektheit erfassen, wie die überlegene domänenübergreifende Transferierbarkeit von Richtungen, die mit dem Selbsturteil assoziiert sind, im Vergleich zu solchen, die mit tatsächlicher Korrektheit assoziiert sind, belegt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, ob ein Roboter die Wahrheit sagt. Sie stellen ihm eine Frage, er gibt eine Antwort, und dann müssen Sie entscheiden: Ist die Antwort tatsächlich korrekt oder ist der Roboter nur davon überzeugt, dass sie korrekt ist? Dies ist das Herzstück eines neuen wissenschaftlichen Feldes namens „Mechanistic Interpretability“, bei dem Forscher versuchen, einen Blick in das „Gehirn“ von großen Sprachmodellen (LLMs) zu werfen, um zu sehen, was sie wirklich denken. Diese Modelle sind wie riesige digitale Orakel, die Gedichte schreiben, Matheaufgaben lösen und über Geschichte plaudern können, aber manchmal erfinden sie Fakten (ein Problem, das als „Halluzination“ bekannt ist). Wissenschaftler haben entdeckt, dass man, wenn man sich die internen elektrischen Signale des Modells (genannt „Hidden States“) im exakten Moment ansieht, in dem es eine Antwort abschließt, oft vorhersagen kann, ob diese Antwort richtig oder falsch ist. Es ist, als hätte man einen Lügendetektor direkt in den Geist des Roboters eingebaut. Aber hier liegt der knifflige Teil: Normalerweise, wenn ein Roboter eine falsche Antwort gibt, denkt er auch, dass sie falsch ist. Und wenn er eine richtige Antwort gibt, denkt er meistens auch, dass sie richtig ist. Da das interne „Wahrheitssignal“ des Roboters und sein „Selbstvertrauenssignal“ normalerweise übereinstimmen, war es schwierig festzustellen, ob der Roboter tatsächlich die Wahrheit erkennt oder ob er nur seine eigene Meinung erkennt.
Dieses Papier mit dem Titel „Diagnosing Correctness Probes under Self-Judgement Confounding“ befasst sich genau mit dieser Verwirrung. Die Forscher unter der Leitung von Yi-Long Lu beschlossen, einen speziellen Test aufzubauen, bei dem „Wahrheit“ und „Selbstvertrauen“ des Roboters nicht übereinstimmen. Sie kreierten Szenarien, in denen der Roboter eine mathematisch korrekte Antwort gibt, dann aber sagt: „Nein, das ist falsch“, sowie Szenarien, in denen er eine falsche Antwort gibt, aber sagt: „Ja, das ist richtig.“ Indem sie diese beiden Signale dazu zwangen, gegeneinander zu kämpfen, konnten sie endlich sehen, welches Signal tatsächlich von dem „Lügendetektor“ im Inneren des Modells erfasst wurde.
Das Team testete dies an vier verschiedenen großen Sprachmodellen, die von 7 bis 14 Milliarden Parametern reichen (denken Sie an die Anzahl der Verbindungen in diesem Robotergehirn). Sie verwendeten eine clevere Methode namens „faktorielle Kontraste“, was so ist, als würde man einen gemischten Smoothie wieder in seine ursprünglichen Früchte und Milch trennen, um zu sehen, welche Geschmacksrichtung welche ist. Sie fanden heraus, dass die internen Signale zwar Informationen über sowohl Wahrheit als auch Vertrauen enthielten, aber die zuverlässig am besten übertragbare Komponente war diejenige, die die Polarität des Selbsturteils des Roboters bewahrte, und nicht die objektive Korrektheit.
Hier liegt die überraschende Wendung: Als die Forscher die internen Signale eines Roboters untersuchten, der eine falsche Antwort gab, aber dachte, er sei sich richtig sicher, gab der „Lügendetektor“ ihm eine hohe Punktzahl, genau wie er es bei einer korrekten Antwort tun würde. Umgekehrt, als der Roboter eine korrekte Antwort gab, aber dachte, er sei sich falsch sicher, gab der Detektor ihm eine niedrige Punktzahl. Tatsächlich folgte das interne Signal über alle Modelle und Tests hinweg – einschließlich Matheaufgaben, Film-Trivia und Allgemeinwissen-Quizfragen – derjenigen Komponente, die am besten von einer Art von Frage zur anderen übertragbar war, nämlich der, die das Selbstvertrauen des Roboters verfolgte, nicht die tatsächliche Wahrheit.
Das Papier stellt explizit fest, dass, obwohl die „Wahrheitssignale“, die wir in diesen Modellen sehen, reine objektive Maße für die faktische Korrektheit sein könnten, die Beweise zeigen, dass die Übertragbarkeit allein keine Semantik der objektiven Korrektheit begründet. Selbst als die Forscher versuchten, einen Detektor aufzubauen, der nur die „richtig/falsch“-Labels verwendete und das Selbsturteil des Roboters völlig ignorierte, folgte der Detektor immer noch dem Selbstvertrauen des Roboters. Dies deutet darauf darauf hin, dass die „Wahrheit“, die wir in diesen Modellen sehen, eher davon handelt, wie das Modell über seine eigene Ausgabe empfindet, als über die tatsächlichen Fakten. Die Autoren kommen zu dem Schluss, dass nur weil ein Signal von einer Aufgabe zur anderen übertragen werden kann, das nicht bedeutet, dass es die Wahrheit repräsentiert; es könnte einfach seine eigene Meinung repräsentieren. Wir können also zwar in das Gehirn des Roboters schauen, um zu sehen, ob er selbstbewusst ist, aber wir können uns noch nicht sicher sein, ob dieses Selbstvertrauen bedeutet, dass er die Wahrheit sagt. Die Studie legt nahe, dass das Zuverlässigste, was wir aus diesen Modellen ablesen können, ihre eigene Selbsteinschätzung ist, nicht eine objektive Realitätsprüfung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.