Auditing Reasoning-Trace Memorization Claims after Unlearning with Head-Conditioned Canaries

Stellen Sie sich vor, Sie haben einen sehr klugen Schüler, der eine geheime Liste von 60 erfundenen Autoren und deren Biografien auswendig gelernt hat. Sie möchten testen, ob Sie diese spezifischen Fakten erfolgreich aus seinem Gedächtnis „verlernen" (d. h. ihn dazu bringen, sie zu vergessen) können.

In der Vergangenheit konnten Sie den Schüler einfach eine Frage stellen und prüfen, ob er die richtige Antwort gab. Wenn er falsch lag, gingen Sie davon aus, dass er es vergessen hatte. Doch nun haben diese KI-Modelle eine neue Angewohnheit: Bevor sie eine Antwort geben, schreiben sie ihren „Denkprozess" in eine spezielle Box (wie einen Notizblock).

Das Problem: Die „Umgehung"-Illusion

Forscher stellten ein seltsames Muster fest. Nachdem sie versucht hatten, die KI dazu zu bringen, etwas zu vergessen:

1. Die Antwort: Die KI gibt nicht mehr die korrekte Antwort. (Es sieht so aus, als hätte sie vergessen!)
2. Das Denken: Aber innerhalb ihrer „Denkbox" schreibt die KI weiterhin die geheime Biografie, die sie eigentlich hätte vergessen sollen.

Die Standardfolgerung lautete: „Aha! Die KI hat nicht wirklich vergessen. Sie versteckt das Geheimnis in ihrem Denkprozess, auch wenn sie es nicht laut ausspricht." Dies wird als „Umgehungsmuster" bezeichnet.

Die Untersuchung: Ist die Denkbox ein geheimer Tresor oder nur ein Skript?

Die Autoren dieses Papiers beschlossen, diese Schlussfolgerung zu überprüfen. Sie fragten: Erinnert sich die KI tatsächlich an das Geheimnis in ihrem Gehirn (Gewichte), oder folgt sie nur einem Skript?

Stellen Sie sich die „Denkbox" wie ein Lückentext-Arbeitsblatt vor, das die KI zu verwenden gelernt hat. Das Arbeitsblatt beginnt immer mit demselben Satz: „Hier ist eine Tatsache über [Name des Autors]:" gefolgt von der Biografie.

Als die Forscher versuchten, die KI dazu zu bringen, etwas zu vergessen, sagten sie ihr lediglich, sie solle aufhören, die Antwort zu schreiben. Sie sagten ihr niemals, sie solle aufhören, die Vorlage des Arbeitsblatts zu schreiben. Daher schrieb die KI weiterhin das Arbeitsblatt (die Denkspur), weil dieser Teil der Anweisungen sich nie geändert hatte, auch wenn sie aufhörte, die endgültige Antwort zu schreiben.

Das Experiment: Der „Prefill"-Tausch

Um ihren Standpunkt zu beweisen, führten die Forscher einen cleveren Trick durch. Sie nahmen die KI, die die Antworten „vergessen" hatte (aber dennoch die Denkspur schrieb), und machten Folgendes:

1. Der Test: Sie baten die KI, einen Satz fortzusetzen.
2. Der Tausch: Anstatt der KI zu erlauben, ihre eigene Denkspur zu schreiben, ersetzten sie die Denkspur durch einen völlig anderen, kurzen Satz, der nichts mit dem geheimen Autor zu tun hatte.
   • Beispiel: Anstatt der KI zu erlauben, „Hier ist eine Tatsache über Zephyr..." zu schreiben, zwangen sie sie, mit „Ich denke über das Wetter nach..." zu beginnen.

Das Ergebnis:

• Wenn sie der KI erlaubten, ihre eigene „skriptierte" Denkspur zu schreiben, lieferte sie weiterhin die geheimen Informationen aus.
• Wenn sie die Denkspur gegen etwas anderes austauschten, hörte die KI plötzlich auf, die geheimen Informationen ganz auszulaufen. Ihre Fähigkeit, die Frage zu beantworten, sank auf dasselbe niedrige Niveau wie beim „Auslaufen".

Was das bedeutet: Die geheimen Informationen waren nicht tatsächlich „versteckt" im Gehirn der KI und warteten darauf, gefunden zu werden. Das „Auslaufen" war lediglich die KI, die ihrem alten Trainingsskript folgte. Wenn Sie das Skript ändern, verschwindet das Auslaufen.

Der „Parser"-Fehler

Das Papier stellte zudem fest, dass diese „Umgehung"-Messung sehr fragil ist.

• Bei einem Typ von KI-Modell war der „Umgehung"-Wert positiv (was auf ein verstecktes Gedächtnis hindeutete).
• Bei einem leicht anderen Modell ergab derselbe Test einen negativen Wert (was das Gegenteil nahelegte), nicht weil die KI sich weniger erinnerte, sondern weil die KI aufhörte, die „Denkbox"-Tags korrekt zu verwenden. Das Computerprogramm, das die Antworten prüfte, geriet in Verwirrung und hielt die Denkbox für leer, obwohl sie es nicht war.

Die Schlussfolgerung

Das Papier argumentiert, dass die derzeitige Art und Weise, wie wir „Verlernen" in diesen denkenden KI-Modellen messen, defekt ist.

• Die alte Sichtweise: „Wenn die Denkspur das Geheimnis enthält, hat die KI nicht vergessen."
• Die neue Sichtweise: „Die Denkspur könnte nur ein Echo einer Vorlage sein. Eine positive „Umgehung"-Lücke beweist nicht, dass die KI sich erinnert; es könnte einfach bedeuten, dass die KI einem Skript folgt, das ihr nie gesagt wurde, es zu löschen."

Die Empfehlung:
Bevor wir in Panik geraten und behaupten, eine KI erinnere sich heimlich an Dinge, sollten wir einen einfachen, kostengünstigen Check durchführen: Tauschen Sie die Denkspur aus. Wenn das „Auslaufen" verschwindet, wenn Sie den Denktext ändern, war es kein geheimes Gedächtnis; es war nur ein Skript. Wenn es bestehen bleibt, dann wissen Sie, dass die KI die Information tatsächlich festhält.

Kurz gesagt: Vertrauen Sie der „Denkspur" nicht nur, weil sie so aussieht, als würde sie sich erinnern. Sie könnte lediglich ein Gedicht rezitieren, das ihr gesagt wurde zu schreiben, auch wenn sie die Bedeutung der Worte vergessen hat.