🤖 machine learning

Probe Choice Changes Canary-Memorization Verdicts: Three Post-Hoc Disagreement Case Studies in a Text-Dominant LoRA-Tuned Autoregressive Testbed

Diese Arbeit zeigt auf, dass Fixierte Präfix-Fenster-Memorierungsproben durch die Fehlattribution von Effekten nicht-geheimer oder trunkierter Token irreführende Urteile über Canary-Daten liefern können, und empfiehlt folglich ein facettenreiches Evaluierungs-Framework, das die Kombination aus Full-Span-NLL, Span-lokalisierter Dekomposition, verhaltensbasierter Exakt-Recall-Messung und Decoy-Probes nutzt, um eine genaue Geheimnis-Spezifitäts-Bewertung zu gewährleisten.

Ursprüngliche Autoren: Zhichao Fan, Zexin Zhuang, Yanhang Li

Veröffentlicht 2026-07-01

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhichao Fan, Zexin Zhuang, Yanhang Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, ob ein Schüler (ein KI-Modell) heimlich eine bestimmte Antwortlösung (einen „Canary“ oder einen geheimen String) auswendig gelernt hat, die in seinem Lernmaterial versteckt ist (eine „Canary“ oder ein geheimer String).

Dieses Paper handelt von drei verschiedenen Wegen, die Arbeit des Schülers zu überprüfen, und die Autoren haben herausgefunden, dass welches Werkzeug man benutzt, das Urteil verändert. Manchmal sagt ein Werkzeug „Schuldig!“, obwohl der Schüler eigentlich unschuldig ist, und manchmal sagt es „Unschuldig!“, obwohl der Schüler eigentlich schuldig ist.

Hier ist die Aufschlüsselung ihrer Untersuchung unter Verwendung einfacher Analogien:

Das Setup: Der „Canary“-Test

Die Forscher nahmen eine kluge KI (Qwen2.5-VL-7B) und injizierten heimlich 20 einzigartige „Geheimcodes“ (Canaries) in ihr Gedächtnis. Denken Sie an diese wie an versteckte Signaturen in einem Lehrbuch.

Das Ziel: Zu sehen, ob die KI diese exakten Codes später wieder ausspucken kann.
Der Twist: Sie gaben der KI dann eine „harmlose“ (benigne) neue Lektion (Fine-Tuning), um zu sehen, ob diese neue Lektion dazu führen würde, dass die KI die Codes versehentlich vergisst oder sie im Gegenzug zu gut behält (Auswendiglernen).

Die drei „Detektiv-Werkzeuge“ (Probes)

Um zu prüfen, ob die KI die Codes behalten hat, verwendeten sie drei verschiedene Messlatten:

Die „Ersten 20 Wörter“-Prüfung (Mean-NLL): Dieses Werkzeug betrachtet die ersten 20 Token (Wörter/Wortteile) des Geheimcodes und berechnet den Durchschnitt dessen, wie überrascht die KI ist. Wenn die KI weniger überrascht ist als zuvor, geht das Werkzeug davon aus, dass die KI den Code auswendig gelernt hat.
Die „Vollständiger Code“-Prüfung (Full-Span NLL): Dieses Werkzeug betrachtet den gesamten Geheimcode, nicht nur die ersten 20 Wörter.
Die „Recall“-Prüfung (Hit@1): Dies ist der ultimative Test: Hat die KI tatsächlich den exakten Geheimcode ausgegeben, als sie danach gefragt wurde?

Die drei Fälle von „Werkzeug-Diskrepanzen“

Die Autoren fanden drei spezifische Szenarien, in denen diese Werkzeuge voneinander abwichen.

Fall 1: Der „Blinde Fleck“ (False Negative)

Das Szenario: Die KI hat die letzten paar Buchstaben des Geheimcodes falsch gemacht.
Die Reaktion der Werkzeuge:
- Werkzeug 1 (Erste 20 Wörter): Sagt „Alles sieht gut aus!“, da der Fehler bei Wort #23 passierte, was außerhalb seines Sichtfeldes liegt.
- Werkzeug 2 (Vollständiger Code) & Werkzeug 3 (Recall): Sagen „Warte, die KI hat versagt! Sie hat die letzten Buchstaben falsch gemacht.“
Die Metapher: Stellen Sie sich einen Lehrer vor, der eine Prüfung mit 25 Fragen korrigiert, aber nur auf die ersten 20 Antworten schaut. Der Schüler hat die letzten 5 falsch gemacht, aber der Lehrer gibt ihm eine Eins plus, weil er das Ende des Blattes nicht angeschaut hat.
Die Lektion: Wenn man nur den Anfang eines Geheimnisses betrachtet, übersieht man möglicherweise ein Versagen am Ende.

Fall 2: Die „Falsche Fährte“ (False Positive)

Das Szenario: Die KI war leicht verwirrt über den Einleitungssatz vor dem eigentlichen Geheimcode, aber der Geheimcode selbst war völlig korrekt.
Die Reaktion der Werkzeuge:
- Werkzeug 1 (Erste 20 Wörter): Sagt „Die KI verhält sich seltsam! Sie hat Schwierigkeiten mit den ersten 20 Wörtern, also muss sie den Geheimcode auswendig gelernt haben.“
- Werkzeug 2 (Vollständiger Code) & Werkzeug 3 (Recall): Sagen „Nein, der Geheimcode ist perfekt. Die KI ist nur über die Einleitung gestolpert.“
Die Metapher: Stellen Sie sich einen Schüler vor, der im ersten Satz seines Aufsatzes stottert, aber den Rest des Aufsatzes perfekt schreibt. Ein Werkzeug, das nur den ersten Satz prüft, könnte denken, der Schüler sei mit dem gesamten Thema verwirrt, obwohl er die geheime Antwort eigentlich perfekt beherrscht.
Die Lektion: Wenn die KI bei den „Setup“-Wörtern durcheinanderkommt, könnte ein Werkzeug mit kurzem Zeitfenster sie fälschlicherweise beschuldigen, den Geheimcode auswendig gelernt zu haben.

Fall 3: Der „Ambigue Abfall“ (Das untertrainierte Rätsel)

Das Szenario: Die KI wurde von vornherein nie vollständig auf den Geheimcode trainiert (sie war „undertrained“). Nach der neuen Lektion wurde die KI etwas besser im ersten Teil des Codes, konnte aber immer noch nicht den ganzen Code abrufen.
Die Reaktion der Werkzeuge:
- Werkzeug 1 (Erste 20 Wörter): Sagt „Schau mal! Die KI hat sich verbessert! Sie muss den Geheimcode gelernt haben!“
- Werkzeug 2 (Vollständiger Code) & Werkzeug 3 (Recall): Sagen „Nein, sie kann ihn immer noch nicht vollständig abrufen. Die Verbesserung könnte nur darin bestehen, dass die KI besser im Format der Antwort geworden ist, nicht im eigentlichen Geheimnis selbst.“
Die Metapher: Stellen Sie sich einen Schüler vor, der die Antwort auf eine Matheaufgabe nicht kennt. Nach dem Lernen wird er besser darin, das Gleichungsformat zu schreiben (z. B. „Sei x = ...“), aber er kennt immer noch nicht die Zahl. Ein Werkzeug, das nur das Format prüft, könnte denken, er hätte das Problem gelöst, während er eigentlich nur gelernt hat, die Frage zu formulieren.
Die Lektion: Manchmal wird eine KI besser im „Stil“ einer Antwort, ohne das eigentliche Geheimnis zu kennen.

Das große Fazit

Das Paper argumentiert, dass man sich nicht auf nur ein Werkzeug verlassen kann (speziell die „Ersten 20 Wörter“-Prüfung), um zu entscheiden, ob eine KI Geheimnisse auswendig gelernt hat.

Wenn man nur das kurze Fenster nutzt, übersieht man echte Fehler (Fall 1).
Man beschuldigt die KI fälschlicherweise des Auswendiglernens, wenn sie nur bei der Einleitung verwirrt ist (Fall 2).
Man glaubt, die KI hätte ein Geheimnis gelernt, wenn sie eigentlich nur einen Formatierungs-Trick gelernt hat (Fall 3).

Die Empfehlung: Um sicher zu gehen, benötigt man einen „Schweizer Taschenmesser“-Ansatz:

Überprüfe den gesamten Geheimstring, nicht nur den Anfang.
Prüfe, ob die KI das Geheimnis tatsächlich laut aussprechen kann (Recall).
Zerlege die Punktzahl, um zu sehen, ob die Änderung am Geheimnis-Teil oder am langweiligen Einleitungs-Teil stattgefunden hat.
Teste mit „Lockvogel“-Geheimnissen (Decoys), um sicherzustellen, dass die KI nicht nur Muster errät.

Die Autoren betonen, dass diese Ergebnisse spezifisch für ihr Testsetup sind (ein spezielles KI-Modell und eine spezielle Trainingsmethode), aber sie dienen als Warnung: Das Werkzeug, das man zur Messung des Gedächtnisses wählt, kann die Geschichte verändern, die man darüber erzählt, ob die KI „erinnert“ oder „lernt“.

Technische Zusammenfassung: Die Wahl der Sonde beeinflusst die Urteile über die Kanarienvogel-Memorierung

Problemstellung
Die Arbeit adressiert ein kritisches Zuverlässigkeitsproblem bei der Bewertung der Memorierung in autoregressiven generativen Modellen: Die Wahl der Evaluierungs-Sonde kann das Urteil darüber maßgeblich verändern, ob ein Modell spezifische Trainingsdaten (Kanarienvögel) memorisiert hat. Während das Feld auf Sonden wie dem abgeschnittenen Präfix-Fenster-Mittelwert der negativen Log-Likelihood (NLL), der Full-Span-Secret-NLL oder dem behavioralen Exakt-Recall (hit@1) basiert, zeigt diese Arbeit, dass diese Metriken nicht immer konsistent sind. Insbesondere untersuchen die Autoren, ob eine standardmäßige, intern vorgegebene Sonde ( $\Delta$ NLL $_{mean20}$ , ein festes Präfix-Fenster von $K=20$ Token) mit der Full-Span-Secret-NLL oder dem behavioralen Exakt-Recall (hit@1) in einem kontrollierten LoRA-Feintuning-Testbed übereinstimmt. Das zentrale Anliegen ist, dass eine unkritische Abhängigkeit von einer einzelnen fensterbasierten Sonde zu falsch-negativen Ergebnissen (Übersehen von Memorierung) oder falsch-positiven Ergebnissen (Zuschreibung von Memorierung auf nicht-geheime Spannen) führen kann, was die Schlussfolgerungen über Generalisierung versus Memorierung konfundiert.

Methodik
Die Autoren konstruieren ein kontrolliertes Evaluierungs-Testbed für die Memorierung unter Verwendung des Qwen2.5-VL-7B Backbones mit einem eingefrorenen Vision-Tower und einem trainierbaren Language-Tower.

Kanarienvogel-Injektion: Sie injizieren 20 Bild-Kanarienvögel und 20 Text-Kanarienvögel in das Modell über einen „Canary LoRA“ ( $r=32, \alpha=64$ ). Die Text-Kanarienvögel folgen einem spezifischen Template (z. B. TEXTCAN-{16hex}-END) gepaart mit einem festen Platzhalterbild.
Benigne Feinabstimmung (bSFT): Ein zweiter LoRA ( $r=16, \alpha=32$ ) wird oberhalb des mit den Kanarienvögeln verschmolzenen Basismodells gestapelt. Dieses bSFT wird auf einer von vier Datenquellen (GUI, SYNTH, SAFETY, RANDOM) trainiert, die die Kanarienvogel-Strings explizit ausschließen. Dieser Aufbau erzeugt ein „Stacked-LoRA“-Regime, um zu testen, ob die benigne Feinabstimmung die Memorierung reaktiviert oder die Sondensignale verändert.
Sondendefinitionen: Die Studie vergleicht drei unterschiedliche Sonden:
1. $\Delta$ NLL $_{mean20}$ : Die Änderung der mittleren NLL über die ersten 20 Token (die standardmäßige, intern vorgegebene Sonde).
2. $\Delta$ NLL $_{hex}$ : Die Änderung der NLL über die gesamte 13-stellige Secret-Hex-Spanne (evaluiert mit einem $K=30$ Forward-Pass, um Tail-Token zu erfassen).
3. Behavioraler hit@1: Der Anteil der Kanarienvögel, bei denen die Greedy-Decoding-Ausgabe exakt mit dem geheimen String übereinstimmt.
Experimenteller Umfang: Die Studie aggregiert 34 bSFT-Zellen (102 Seed-Level-Läufe) und umfasst untertrainierte Kontrollen sowie gematchte-Norm-LoRA-NOISE-Kontrollen. Die Analyse konzentriert sich auf Post-hoc-Fallstudien, in denen diese Sonden divergieren.

Wesentliche Beiträge
Die Arbeit schlägt keine neue Memorierungsmetrik vor, sondern liefert ein templatespezifisches Audit bestehender Metriken. Die primären Beiträge sind:

Identifizierung von Sondendivergenzen: Die Autoren dokumentieren drei distinkte Post-hoc-Fallstudien, in denen die standardmäßige $K=20$ Mean-NLL-Sonde ein Urteil liefert, das der Full-Span-NLL oder dem behavioralen Recall widerspricht.
Mechanistische Dekomposition: Sie führen diese Divergenzen auf spezifische Token-Position oder Baseline-Regime-Mechanismen zurück:
- Fenster-Abschneidung (Falsch-Negativ): Schäden, die außerhalb des $K=20$ Fensters auftreten.
- Drift in nicht-geheimen Spannen (Falsch-Positiv): Sondensignale, die vollständig durch Präambel-Token getrieben werden statt durch die geheime Spanne.
- Ambivalenz untertrainierter Kontrollen: NLL-Abfälle auf untertrainierten Baselines, die ohne Decoy-Sonden nicht von spezifischem Lernen des Secrets zu unterscheiden sind.
Empfehlungen für das Evaluierungsprotokoll: Das Papier schlägt einen Multi-Metrik-Berichtsstandard vor, um diese Fallstricke zu vermeiden.

Ergebnisse: Drei Fallstudien
Das Audit offenbart drei spezifische Fehlermodi im Qwen2.5-VL-7B Testbed:

Fall 1 (C3): Fenster-Abschneidung übersieht die Sprödigkeit dünnbesetzter Tail-Token.
- Beobachtung: $\Delta$ NLL $_{mean20}$ ist flach (+0.0001), aber hit@1 sinkt von 1.00 auf 0.88, und die Full-Span- $\Delta$ NLL $_{hex}$ ist positiv (+0.0133).
- Mechanismus: Der Schaden konzentriert sich auf den letzten Hex-Token (Position 23), der außerhalb des $K=20$ Fensters liegt. Die standardmäßige Sonde ist „blind“ gegenüber diesem spärlichen, Greedy-Decoding-spezifischen Fehler.
- Evidenz: 7/60 Greedy-Fehler traten bei 3/20 Kanarienvögeln auf, alle aufgrund von Fehlern in den letzten 1–2 Hex-Zeichen.
Fall 2 (C4): Drift in nicht-geheimen Spannen (Falsch-Positiv).
- Beobachtung: $\Delta$ NLL $_{mean20}$ zeigt eine signifikante positive Verschiebung (+0.0150), was auf Memorierung hindeutet, während $\Delta$ NLL $_{hex}$ vernachlässigbar ist (+0.0004) und hit@1 bei 1.00 bleibt.
- Mechanismus: Eine per-Span-Dekomposition zeigt, dass ~99% der Bewegungen der Sonde auf den nicht-geheimen Präambel-Token stattfinden. Die geheime Spanne selbst bleibt unverändert.
- Evidenz: Das Signal kollabiert, wenn der bSFT-LoRA in die Basisgewichte gemischt wird, was darauf hindeutet, dass der Drift evaluierungs-stack-abhängig ist und kein echter Effekt der Secret-Spanne ist.
Fall 3 (C5): Ambivalenter untertrainierter In-Window NLL-Abfall.
- Beobachtung: $\Delta$ NLL $_{mean20}$ ist negativ (-0.0070) auf einer untertrainierten Baseline, was je nach Interpretation auf „Vergessen“ oder „Reaktivierung“ hindeuten könnte. Jedoch ist die Full-Span- $\Delta$ NLL $_{hex}$ positiv (+0.0076) und hit@1 ist 0.
- Mechanismus: Der In-Window-Abfall ist auf Hex-Token innerhalb von $K=20$ lokalisiert, aber das Full-Span-Signal ist positiv. Ohne Decoy-Sonden (gemischte Hex-Werte oder falsche Secrets) ist es unmöglich zu unterscheiden, ob es sich um spezifisches Lernen des Secrets oder um generisches Format-Prior-Smoothing bzw. Template-Adaption handelt.
- Evidenz: Der negative Mean20-Wert ist konsistent mit sowohl Secret-Recovery als auch Non-Secret-Smoothing; im untertrainierten Regime wurde kein verbatim hit@1 > 0 beobachtet.

Signifikanz und Ansprüche
Das Paper beansprucht bescheiden, dass seine Ergebnisse spezifisch für den getesteten Backbone (Qwen2.5-VL-7B) und die Konfiguration gelten, und nicht als universeller Populationsanspruch. Es argumentiert jedoch, dass die Fehlermodi benennbar und handhabbar sind.

Zuverlässigkeit der Evaluierung: Die Autoren behaupten, dass die alleinige Verwendung eines abgeschnittenen Fensters (wie $K=20$ ) für ein robustes Memorierungs-Audit unzureichend ist. Eine Wahl der Sonde kann ein Urteil von „memorisiert“ zu „nicht memorisiert“ (oder umgekehrt) kippen lassen, ohne dass sich das zugrunde liegende Modellverhalten geändert hat.
Protokoll-Empfehlungen: Um Robustheit zu gewährleisten, empfiekt das Paper, dass zukünftige Audits folgendes berichten:
1. Full-Span-Secret-NLL (um Fehler durch Fenster-Abschneidung zu vermeiden).
2. Span-lokalisierte Dekomposition (um Präambel-Drift von Secret-Schäden zu unterscheiden).
3. Behavioral Exact-Recall bei $k \ge 4$ (um die Sprödigkeit der Tail-Token zu detektieren, die Greedy-Decoding übersieht).
4. Decoy-Sonden (gemischte oder falsche-Secret-Kontrollen), um Format-Prior-Smoothing vor dem Claim von Secret-Spezifität auszuschließen.

Die Arbeit dient als vorsorgliches Audit, das zeigt, dass Schlussfolgerungen über „Generalisierung vs. Memorierung“ sensitiv gegenüber dem spezifisch verwendeten Sondenfenster und der Dekompositionsstrategie sind.