🤖 machine learning

Probe Choice Changes Canary-Memorization Verdicts: Three Post-Hoc Disagreement Case Studies in a Text-Dominant LoRA-Tuned Autoregressive Testbed

Dit artikel toont aan dat met een vaste prefix-window gebaseerde memorisatieprobes misleidende oordelen kunnen vellen over canary-data door effecten van niet-geheime of afgekapte tokens onterecht toe te schrijven, en beveelt daarom een veelzijdige evaluatiekader aan die de volledige span NLL, span-gelokaliseerde decompositie, gedragsmatige exacte recall en decoy-probes combineert om een nauwkeurige beoordeling van de geheimhoudingsspecificiteit te waarborgen.

Oorspronkelijke auteurs: Zhichao Fan, Zexin Zhuang, Yanhang Li

Gepubliceerd 2026-07-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhichao Fan, Zexin Zhuang, Yanhang Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert te achterhalen of een student (een AI-model) stiekem een specifiek antwoordensleutel (een "canary" of geheime reeks) heeft uit het hoofd geleerd (in zijn trainingsmateriaal verborgen) of dat hij de stof gewoon echt begrijpt.

Dit artikel gaat over drie verschillende manieren om het werk van de student te controleren, en de auteurs ontdekten dat welke tool je gebruikt de conclusie verandert. Soms zegt een tool "Schuldig!", terwijl de student eigenlijk onschuldig is, en soms zegt het "Onschuldig!" terwijl de student eigenlijk schuldig is.

Hier is de uitsplitsing van hun onderzoek met eenvoudige analogieën:

De Opzet: De "Canary" Test

De onderzoekers namen een slimme AI (Qwen2.5-VL-7B) en injecteerden stiekem 20 unieke "geheime codes" (canaries) in zijn geheugen. Zie dit als verborgen handtekeningen in een tekstboek.

Het Doel: Kijken of de AI deze exacte codes later kan uitspugen.
De Twist: Ze gaven de AI vervolgens een "onschuldige" (onschadelijke) nieuwe les (fine-tuning) om te zien of deze nieuwe les er per ongeluk voor zorgde dat de AI de codes vergat of, omgekeerd, ze juist te goed zou onthouden (memorization).

De Drie "Detective Tools" (Probes)

Om te controleren of de AI de codes onthouden had, gebruikten ze drie verschillende meetlatten:

De "Eerste 20 Woorden" Check (Mean-NLL): Deze tool kijkt naar de eerste 20 tokens (woorden/onderdelen van woorden) van de geheime code en berekent het gemiddelde van hoe verrast de AI is. Als de AI minder verrast is dan voorheen, denkt de tool dat de AI het heeft uit het hoofd geleerd.
De "Volledige Code" Check (Full-Span NLL): Deze tool kijkt naar de volledige geheime code, niet alleen naar de eerste zaart 20 woorden.
De "Recall" Check (Hit@1): Dit is de ultieme test: Heeft de AI de exacte geheime code getypt toen erom werd gevraagd?

De Drie Casussen van "Tool Mismatch"

De auteurs vonden drie specifiede scenario's waarin deze tools met elkaar in strijd waren.

Casus 1: De "Blinde Vlek" (False Negative)

Het Scenario: De AI maakte een fout in de laatste paar letters van de geheime code.
De Reactie van de Tools:
- Tool 1 (Eerste 20 woorden): Zegt "Alles ziet er goed uit!" omdat de fout gebeurde bij woord #23, wat buiten het gezichtsveld van deze tool valt.
- Tool 2 (Full Code) & Tool 3 (Recall): Zeggen "Wacht even, de AI is gefaald! Hij kreeg de laatste letters niet goed."
De Metafoor: Stel je een docent voor die een toets van 25 vragen nakijkt, maar alleen naar de eerste 20 antwoorden kijkt. De student heeft de laatste 5 fout, maar de docent geeft hem een A+ omdat hij het einde van het papier niet heeft bekeken.
De Les: Als je alleen naar het begin van een geheim kijkt, kun je een fout aan het einde missen.

Casus 2: De "Red Herring" (False Positive)

Het Scenario: De AI raakte een beetje in de war over de inleidende zin vóór de geheime code begon, maar de geheime code zelf was volkomen in orde.
De Reactie van de Tools:
- Tool 1 (Eerste 20 woorden): Zegt "De AI gedraagt zich vreemd! Hij worstelt met de eerste 20 woorden, dus hij moet de geheime code uit het hoofd geleerd hebben."
- Tool 2 (Full Code) & Tool 3 (Recall): Zeggen "Nee, de geheime code is perfect. De AI struikelde alleen over de introductie."
De Metafoor: Stel je een student voor die stottert bij de eerste zin van zijn essay, maar de rest van het essay perfect schrijft. Een tool die alleen de eerste zin controleert, zou kunnen denken dat de student in de war is over het hele onderwerp, terwijl hij het geheime antwoord eigenlijk perfect kent.
De Les: Als de AI in de war raakt door de "opzet"-woorden, kan een tool met een kort venster de AI onterecht beschuldigen van het uit het hoofd leren van de geheime code.

Casus 3: De "Ambigue Daling" (De Ondertrainde Mysterie)

Het Scenario: De AI was de geheime code eigenlijk nooit volledig geleerd (het was "ondertraind"). Na de nieuwe les werd de AI iets beter in het eerste deel van de code, maar kon hij de hele code nog steeds niet reproduceren.
De Reactie van de Tools:
- Tool 1 (Eerste 20 woorden): Zegt "Kijk! De AI is verbeterd! Hij moet de geheime code geleerd hebben!"
- Tool 2 (Full Code) & Tool 3 (Recall): Zeggen "Nee, hij kan de hele code nog steeds niet reproduceren. De verbetering is misschien gewoon dat de AI beter is geworden in de vorm van het antwoord, niet in de geheime inhoud zelf."
De Metafoor: Stel je een student voor die het antwoord op een wiskundevraag niet weet. Na het studeren is hij beter geworden in het schrijven van de vergelijking-opstelling (bijv. "Laat x = ..."), maar hij kent het getal nog steeds niet. Een tool die alleen de opstelling controleert, zou kunnen denken dat hij het probleem heeft opgelost, terwijl hij eigenlijk alleen heeft geleerd hoe hij de vraag moet opschrijven.
De Les: Soms wordt een AI beter in de "stijl" van een antwoord zonder dat hij de geheime inhoud daadwerkelijk kent.

De Belangrijkste Conclusie

De paper betoogt dat je niet op slechts één tool kunt vertrouwen (specifiek de "Eerste 20 woorden" check) om te beslissen of een AI een geheim heeft uit het hoofd geleerd.

Als je alleen het korte venster gebruikt, mis je misschien echte fouten (Casus 1).
Je beschuldigt de AI misschien onterecht van het uit het hoofd leren wanneer hij alleen in de war is over de introductie (Casus 2).
Je denkt misschien dat de AI een geheim heeft geleerd, terwijl hij alleen een vormatieritueel heeft geleerd (Casus 3).

De Aanbeveling: Om zeker te zijn, heb je een "Zwitsers zakmes"-aanpak nodig:

Controleer de volledige geheime reeks, niet alleen het begin.
Controleer of de AI de geheime code ook daadwerkelijk hardop kan zeggen (Recall).
Breek de score af om te zien of de verandering plaatsvond op het geheime deel of op het saaie introductiegedeelte.
Test met "afleidings-geheimen" (decoy secrets) om te controlen of de AI niet gewoon patronen raadt.

De auteurs benadrukken dat deze bevindingen specifiek zijn voor hun testopstelling (één specifiek AI-model en één specifieke manier van trainen), maar ze dienen als een waarschuwing: De tool die je kiest om geheugen te meten, kan het verhaal veranderen dat je vertelt over of de AI "onthoudt" of "leert".

Technische Samenvatting: Keuze van de Probes Verandert de Oordelen over Canary-Memorization

Probleemstelling
Het artikel behandelt een kritiek betrouwbaarheidsprobleem bij het evalueren van memorisatie in autoregressieve generatieve modellen: de keuze van de evaluatie-probe kan het oordeel over de vraag of een model specifieke trainingsdata (canaries) heeft gememoriseerd, fundamenteel veranderen. Hoewel het vakgebied vertrouwt op probes zoals de afgekapte prefix-window gemiddelde Negatieve Log-Likelihood (NLL), de volledige span geheime NLL, of gedragsmatige exacte recall (hit@1), toont dit werk aan dat deze metrieken niet altijd consistent zijn. Specifiek onderzoekt het werk of een standaard, intern vooraf gespecificeerde probe ( $\Delta$ NLL $_{mean20}$ , een vaste prefix-window van $K=20$ tokens) overeenkomt met de volledige span geheime NLL of gedragsmatige exacte recall (hit@1) in een gecontroleerde LoRA-getunede testomgeving. De centrale zorg is dat ongekritische afhankelijkheid van een enkele windowed probe kan leiden tot valse negatieven (het missen van memorisatie) of valse positieven (het toeschrijven van memorisatie aan niet-geheime spans), wat conclusies over generalisatie versus memorisatie kan verwarren.

Methodologie
De auteurs construeren een gecontroleerde memorisatie-evaluatie testomgeving met de Qwen2.5-VL-7B backbone met een bevroren visie-tower en een trainbare taal-tower.

Canary Injectie: Ze injecteren 20 beeld-canaries en 20 tekst-canaries in het model via een "Canary LoRA" ( $r=32, \alpha=64$ ). Tekst-canaries volgen een specifiek sjabloon (bijv. TEXTCAN-{16hex}-END) gekoppeld aan een vaste placeholder afbeelding.
Benigne Fine-Tuning (bSFT): Een tweede LoRA ( $r=16, \alpha=32$ ) wordt bovenop de canary-merged base gestapeld. Deze bSFT wordt getraind op één van vier databronnen (GUI, SYNTH, SAFETY, RANDOM) die de canary-strings expliciet uitsluiten. Deze opzet creëert een "gestapelde LoRA"-regime om te testen of benigne fine-tuning memorisatie reactiveert of de probe-signalen verandert.
Probe Definities: De studie vergelijkt drie verschillende probes:
1. $\Delta$ NLL $_{mean20}$ : De verandering in gemiddelde NLL over de eerste 20 tokens (de standaard, intern vooraf gespecificeerde probe).
2. $\Delta$ NLL $_{hex}$ : De verandering in NLL over de volledige 13-token geheime hex-span (geëvalueerd met een $K=30$ forward pass om tail-tokens te vangen).
3. Gedragsmatige hit@1: Het deel van de canaries waarbij de greedy decoding output exact overeenkomt met de geheime string.
Experimentele Omvang: De studie aggregeert 34 bSFT cellen (102 seed-level runs) en bevat ondergetrainde controles en gematchte-norm LoRA-NOISE controles. De analyse richt zich op post-hoc casestudies waar deze probes van mening verschillen.

Belangrijkste Bijdragen
Het artikel stelt geen nieuwe memorisatie-metriek voor, maar biedt een sjabloon-specifieke audit van bestaande metrieken. De primaire bijdragen zijn:

Identificatie van Probe Discrepantie: De auteurs documenteren drie duidelijke post-hoc casestudies waar de standaard $K=20$ mean-NLL probe een oordeel geeft dat in strijd is met de volledige span NLL of gedragsmatige recall.
Mechanistische Decompositie: Ze schrijven deze discrepanties toe aan specifieke token-positie of baseline-regime mechanismen:
- Window Truncation (Valse Negatief): Schade die optreedt op tokens buiten de $K=20$ window.
- Non-Secret Span Drift (Valse Positief): Probe-beweging die volledig wordt gedreven door preamble-tokens in plaats van de geheime span.
- Ambiguïteit van Ondergetrainde Controle: NLL-dalingen op ondergetrainde baselines die zonder decoy probes niet te onderscheiden zijn van secret-specifiek leren.
Aanbevelingen voor Evaluatieprotocollen: Het paper stelt een multi-metriek rapportagestandaard voor om deze valkuilen te vermijden.

Resultaten: Drie Casestudies
De audit onthult drie specifieke faalmodi in de Qwen2.5-VL-7B testomgeving:

Casus 1 (C3): Window Truncation Mist Sparse Tail-Token Brittleness.
- Observatie: $\Delta$ NLL $_{mean20}$ is vlak (+0.0001), maar hit@1 daalt van 1.00 naar 0.88, en de volledige span $\Delta$ NLL $_{hex}$ is positief (+0.0133).
- Mechanisme: De schade is geconcentreerd op de laatste hex-token (positie 23), die buiten de $K=20$ window valt. De standaard probe is "blind" voor deze ijle, greedy-decode-specifieke fout.
- Bewijs: 7/60 greedy failures vonden plaats op 3/20 canaries, allemaal door fouten in de laatste 1–2 hex-karakters.
Casus 2 (C4): Non-Secret Span Drift (Valse Positief).
- Observatie: $\Delta$ NLL $_{mean20}$ vertoont een significante positieve verschuiving (+0.0150), wat duidt op memorisatie, terwijl $\Delta$ NLL $_{hex}$ verwaarloosbaar is (+0.0004) en hit@1 op 1.00 blijft.
- Mechanisme: Per-span decompositie onthult dat ~99% van de beweging van de probe plaatsvindt op de niet-geheime preamble-tokens. De geheime span zelf is onveranderd.
- Bewijs: Het signaal stort in wanneer de bSFT-LoRA in de base weights wordt gemerged, wat aangeeft dat de drift afhankelijk is van de evaluatie-stack en geen echt secret-span effect is.
Casus 3 (C5): Ambigue Ondergetrainde In-Window NLL Daling.
- Observatie: $\Delta$ NLL $_{mean20}$ is negatief (-0.0070) op een ondergetrainde baseline, wat afhankelijk van interpretatie zou kunnen duiden op "vergeten" of "reactivatie". Echter, de volledige span $\Delta$ NLL $_{hex}$ is positief (+0.0076), en hit@1 is 0.
- Mechanisme: De in-window daling is gelokaliseerd tot hex-tokens binnen $K=20$ , maar het volledige span signaal is positief. Zonder decoy probes (verschaalde hex of verkeerde secrets) is het onmogelijk om te onderscheiden tussen secret-specifiek leren en generieke format-prior smoothing of template adaptatie.
- Bewijs: De negatieve mean20 is consistent met zowel secret recovery als non-secret smoothing; er werd geen verbatim hit@1 > 0 waargenomen in de ondergetrainde regimes.

Significantie en Claims
Het paper claimt bescheiden dat de bevindingen specifiek zijn voor de geteste backbone (Qwen2.5-VL-7B) en configuratie, en geen universele populatieclaim zijn. Het argumenteert echter dat de faalmodi benoembaar en actiegericht zijn.

Evaluatie Betrouwbaarheid: De auteurs stellen dat het vertrouwen op een enkele afgekapte window (zoals $K=20$ ) onvoldoende is voor een robuuste memorisatie-audit. Een keuze in de probe kan een oordeel doen omslaan van "gememoriseerd" naar "niet gememoriseerd" (of vice versa) zonder dat er een verandering optreedt in het onderliggende modelgedrag.
Protocol Aanbevelingen: Om robuustheid te garanderen, raadt het paper aan dat toekomstige audits rapporteren:
1. Volledige span geheime NLL (om window truncation fouten te voorkomen).
2. Span-gelokaliseerde decompositie (om preamble drift te onderscheiden van geheime schade).
3. Gedragsmatige exacte recall bij $k \ge 4$ (om ijle tail-token brittleness te detecteren die greedy decoding mist).
4. Decoy probes (verschaalde of foutieve secret controls) om format-prior smoothing uit te sluiten voordat men secret-specificiteit claimt.

Dit werk dient als een waarschuwende audit, die aantoont dat conclusies over "generalisatie versus memorisatie" gevoelig zijn voor de specifieke probe-window en decompositiestrategie die wordt gebruikt.