Technische Samenvatting: Het begrijpen van verbatim memorisatie in LLM's door middel van circuitontdekking

Probleemstelling

Hoewel Large Language Models (LLM's) verbazingwekkende capaciteiten hebben getoond, blijft het onderliggende mechanisme van verbatim memorisatie—de exacte reproductie van trainingsdata—onvoldoende begrepen. Bestaand interpretatieonderzoek heeft vastgesteld dat memorisatie verdeeld is over lagen (vroege lagen bevorderen tokens, hogere lagen versterken de zekerheid) en betrokken is bij specifieke attention-heads, maar het ontbreekt aan een mechanistische verklaring van hoe het model besluit een gememoriseerd sequentie op te halen versus het genereren van nieuwe inhoud. Bovendien zijn standaard methoden voor circuitontdekking, die vertrouwen op contrastieve datasets (schone versus gecorrumpeerde voorbeelden), grotendeels beperkt gebleven tot kleine, goed gedefinieerde taken (bijv. Indirect Object Identification) vanwege de moeilijkheid van het construeren van dergelijke datasets voor open eind taken zoals memorisatie.

Methodologie

De auteurs benaderen dit probleem met behulp van mechanistische interpreteerbaarheid, specifief het circuits framework, om minimale computationele subgrafen te isoleren die verantwoordelijk zijn voor memorisatie.

1. Datasetconstructie

• Bron: De studie maakt gebruik van de Wikipedia-subset van de The Pile dataset, verwerkt met het GPT-Neo-125M model.
• Selectie van memorisatie: Samples werden gefilterd op een memorisatiescore van exact 1.0 (perfecte token-niveau match met de grondwaarheid), wat resulteerde in 4.047 samples.
• Divergentiepunten: De auteurs verkortten de contextlengtes algoritmisch totdat de generatie van het model afweek van het gememoriseerde pad (gedetecteerd via een daling in de BLEU-score onder de 0.3). Deze punten definiëren de overgang van memorisatie naar nieuwe generatie.
• Contrastieve Datasets: Twee verschillende datasets werden gecreëerd om verschillende aspecten van memorisatie te isoleren:
  • Memorization Decision Dataset: Ontworpen om componenten te identificeren die de initiële beslissing triggeren om gememoriseerde inhoud op te halen. Het contrasteert "schone" contexten (één token verwijderd van het triggeren van memorisatie) met "gecorrumpeerde" contexten (semantisch vergelijkbaar maar leidend tot niet-gememoriseerde tokens).
  • Branch Comparison Dataset: Ontworpen om componenten te identificeren die verantwoordelijk zijn voor het behouden van een gememoriseerd pad zodra de beslissing is genomen. Het contrasteert contexten die doorgaan langs het gememoriseerde pad met diegene die afwijken naar het hoogste waarschijnlijkheid niet-gememoriseerde token van het model.

2. Circuitontdekking

• Techniek: De studie maakt gebruik van Edge Attribution Patching met Integrated Gradients (EAP-IG). Deze methode gebruikt gradiënten om de effecten van activatie-patching te benaderen, waardoor de computationele kosten worden verminderd van duizenden forward passes naar slechts twee forward passes en één backward pass.
• Interventiestrategieën:
  • Noising (Corrupt $\to$ Clean): Het patchen van activaties van gecorrumpeerde inputs naar schone inputs om componenten te identificeren die, wanneer ze worden verstoord, de memorisatie doorbreken.
  • Denoising (Clean $\to$ Corrupt): Het patchen van activaties van schone inputs naar gecorrumpeerde inputs om componenten te identificeren die memorisatie herstellen of induceren.
• Getrouwheidsmeting (Faithfulness Metric): Circuits worden geëvalueerd op basis van een genormaliseerde faithfulness score, waarbij wordt gewaarborgd dat het subgraf $\ge$ 85% van de volledige modelprestatie levert.

Belangrijkste Bijdragen

1. Datasetcreatie: De constructie van twee gespecialiseerde contrastieve datasets die de initiatie (Decision) en de continuatie (Branch Comparison) van memorisatie adresseren.
2. Circuitontdekking: De identificatie van compacte circuits (bevat $\le$ 5% van de modelranden) die verantwoordelijk zijn voor deze specifieke memorisatietaken. Opvallend genoeg werd het Branch Comparison circuit als extreem minimaal gevonden (slechts 14 randen, of 0.04% van het model).
3. Rigoureuze Verificatie: Een veelzijdige evaluatiekader inclusief random baseline vergelijkingen, cross-task generalisatie, cross-corpus generalisatie en testen tegen alternatieve patchingmethoden (zero ablation, mean ablation).
4. Mechanistische Inzichten:
   • Asymmetrie in Controle: Circuits die in staat zijn om memorisatie te triggeren, kunnen het ook behouden zodra het gestart is. Echter, circuits die enkel memorisatie behouden, kunnen de initiatie ervan niet triggeren.
   • Verschillen in Generalisatie: Mechanismen die memorisatie voorkomen (disruptie-circuits) transfereren robuust over verschillende tekstdomeinen (GitHub, Enron Emails, Common Crawl). Daarentegen zijn mechanismen die memorisatie induceren sterk contextafhankelijk en generaliseren zij niet goed over domeinen.

Resultaten

• Circuitgrootte: De Branch Comparison taak leverde een opmerkelijk klein circuit op (14 randen, 0.04% van het model) met een hoge faithfulness (1.00). De Memorization Decision taak vereiste grotere circuits (bijv. 141 randen, 0.43%) voor vergelijkbare faithfulness niveaus.
• Cross-Task Generalisatie:
  • Memorization Decision circuits controleerden succesvol of het model langs gememoriseerde paden bleef voortgaan in de Branch Comparison taak (faithfulness 1.00).
  • Branch Comparison circuits presteerden slecht wanneer ze werden toegepast op de Memorization Decision taak, wat aangeeft dat de mechanismen voor het doorgaan van een gememoriseerde sequentie verschillend zijn van de mechanismen die de initiële beslissing tot memorisatie maken.
• Cross-Corpus Generalisatie:
  • Preventie: Noising-circuits (ontworpen om memorisatie te breken) verminderden de memorisatie-accuratesse effectief over diverse domeinen (bijv. het reduceren van accuratesse van 90.5% naar 4.5% op Common Crawl).
  • Inductie: Denoising-circuits vertoonden beperkte overdraagbaarheid. Hoewel de faithfulness scores hoog bleven, was de werkelijke inductie van memorisatie in nieuwe domeinen zwak (bijv. het verhogen van accuratesse van 5.2% naar slechts 23.8% op Common Crawl).
• Robuustheid: De geïdentificeerde circuits vertoonden een hoge afhankelijkheid van de specifieke clean-corrupt paren die voor de ontdekking werden gebruikt. Wanneer ze werden getest met alternatieve patchingmethoden (zero of mean ablation), daalde de faithfulness aanzienlijk, wat suggereert dat de circuits vertrouwen op specifieke counterfactual activaties in plaats van algemene structurele eigenschappen.

Betekenis en Claims

Het paper claimt een mechanistisch begrip te bieden van hoe LLM's overgaan tussen memorisatie en generatie. De primaire betekenis ligt in de ontdekking van een asymmetrie in memorisatie-circuits:

• Trigger vs. Maintenance: Het vermogen om memorisatie te initiëren omvat het vermogen om het te behouden, maar het omgekeerde is niet waar. Dit suggereert een hiërarchische controlestructuur waarbij een specifiek "trigger"-circuit beslist om opgeslagen informatie te ontsluiten, terwijl aparte mechanismen de continuatie afhandelen.
• Preventie vs. Inductie: De studie suggereert dat preventie van memorisatie een meer generaliseerbaar mechanisme is over tekstdomeinen dan inductie van memorisatie. Dit impliceert dat veiligheidsinterventies die zich richten op de "trigger"-mechanismen effectiever en robuuster kunnen zijn dan pogingen om memorisatie op een domein-agnostische wijze te induceren of te onderdrukken.
• Tegenstrijdigheid met Voorgaand Werk: De bevindingen contrasteren met Stoehr et al. (2024), die vonden dat gememoriseerde passages moeilijk te corrumperen zijn. De auteurs hypothetiseren dat dit verschil voortkomt uit het feit dat zij specifieke computationele paden (circuits) targeten in plaats van de door gradiënten geïmpliceerde gewichten. Zij stellen een model voor waarbij een "trigger"-circuit gemakkelijk te verstoren is, terwijl de onderliggende opslag van informatie robuust blijft.

De auteurs blijven bescheiden en merken beperkingen op, zoals de afhankelijkheid van een enkele kleine model (GPT-Neo-125M), het gebruik van benaderingsmethoden (EAP-IG) in plaats van directe patching, en de potentiële specificiteit van hun bevindingen voor de Wikipedia-subset van The Pile. Zij concluderen dat hoewel deze circuits een venster bieden op memorisatie, verdere validatie over verschillende modelgroottes en architecturen vereist is.