Learning the Signature of Memorization in Autoregressive Language Models

Probleemstelling

Member-inferentie-aanvallen (MIA) proberen te bepalen of een specifiek tekstfragment in de trainingsdata van een taalmodel heeft gezeten. Dit is cruciaal voor privacyaudits, auteursrechtcontrole en data-governance.

• Huidige beperkingen: Bestaande methoden voor taalmodellen zijn gebaseerd op handgemaakte heuristieken (zoals drempelwaarden voor verlies, Min-K%, Zlib-normalisatie). Deze methoden zijn beperkt tot de intuïtie van de ontwerper en presteren niet optimaal.
• Het "Shadow Model"-probleem: Traditionele "geleerde" (learned) aanvallen, die classifiers trainen op "shadow models", zijn niet schaalbaar voor Large Language Models (LLMs). Het trainen van duizenden shadow modellen met bekende lidmaatschapslabels is computatief onhaalbaar.
• De aanname: Er werd aangenomen dat geleerde MIAs afhankelijk zijn van shadow models en daarom niet kunnen worden toegepast op LLMs of over verschillende architectuur-families heen kunnen werken.

Methodologie: Learned Transfer MIA (LT-MIA)

De auteurs introduceren LT-MIA, de eerste overdraagbare, geleerde lidmaatschapsinference-aanval. De kerninzichten en de werking zijn als volgt:

1. Onbeperkte trainingsdata door fine-tuning:
   In plaats van shadow models te trainen, maken de auteurs gebruik van het feit dat fine-tuning per definitie onbeperkte gelabelde data genereert. Wanneer een model wordt gefine-tuned op een corpus, is voor elk voorbeeld in dat corpus de "lidmaatschap" (member vs. non-member) bekend. Dit elimineert de noodzaak voor shadow models en maakt standaard deep-learning-voordelen mogelijk (leren wat er toe doet in plaats van het handmatig ontwerpen).

2. Architectuur-onafhankelijkheid:
   De auteurs ontdekten dat fine-tuning een invariante signatuur van memorisatie creëert in de output-verdeling, ongeacht de modelarchitectuur. Deze signatuur wordt veroorzaakt door de trainingsdoelstelling (gradient descent op cross-entropy loss) en niet door de specifieke berekeningsmechanismen (zoals attention).

3. Pipeline van LT-MIA:

   • Feature Extractie: Voor een gegeven tekst worden per token 154 kenmerken geëxtraheerd. Deze vergelijken de voorspellingen van het gefine-tunde doelmodel met die van een pre-trained referentiemodel (dezelfde architectuur). Kenmerken omvatten verliesverschillen, logit-ranks, en cross-model rangschikkingen.
   • Classificatie: Een lichtgewicht Transformer-classifier (met minder dan 500k parameters) verwerkt deze reeks van token-kenmerken als een sequentie. In plaats van de statistieken te aggregeren tot één getal (zoals bij eerdere methoden), leert de classifier om token-posities adaptief te wegen.
   • Training: De classifier wordt getraind op een diverse set van 30 model-dataset-combinaties (10 transformer-modellen op 3 corpora). Deze diversiteit is essentieel om model-specifieke artefacten (zoals tokenizer-bias) te filteren en alleen het universele memorisatiesignaal over te houden.

Belangrijkste Resultaten

De evaluatie toont aan dat LT-MIA niet alleen beter presteert dan bestaande methoden, maar ook een ongeziene overdraagbaarheid (transfer) bezit:

• Zero-Shot Transfer naar Nieuwe Architecturen:
  De classifier werd uitsluitend getraind op Transformer-modellen. Toch presteerde hij "zero-shot" (zonder extra training) op volledig verschillende architecturen:

  • Mamba (state-space model, geen attention): 0.963 AUC.
  • RWKV-4 (lineaire attention): 0.972 AUC.
  • RecurrentGemma (gegateerde recurrentie): 0.936 AUC.
  • Opmerkelijk: LT-MIA presteerde zelfs beter op deze nieuwe architecturen dan op de "gehouden" (held-out) Transformer-modellen (0.908 AUC).

• Superieure Prestaties:

  • Op Transformer-modellen behaalde LT-MIA een gemiddelde AUC van 0.908, wat significant hoger is dan de sterkste baseline (EZ-MIA: 0.887).
  • Bij strikte drempels (zeer lage False Positive Rates) is het verschil nog groter: LT-MIA heeft een 2.8x hogere True Positive Rate bij een FPR van 0.1% vergeleken met EZ-MIA.
  • Zelfs simpele likelihood-methode (zoals Loss thresholding) toonde transfer, wat bevestigt dat het signaal echt architectuur-onafhankelijk is, maar LT-MIA vangt dit signaal het meest effectief.

• Domein-Transfer:
  Hoewel de training alleen op natuurlijke taal plaatsvond, transferde de methode succesvol naar code (Swallow-Code dataset) met een AUC van 0.865.

• Ablatie Studies:

  • Diversiteit: Training op 30 verschillende combinaties (600 samples per combinatie) presteerde veel beter dan training op één combinatie met 18.000 samples (0.860 vs 0.796 AUC). Diversiteit filtert specifiek "ruis" en behoudt het universele signaal.
  • Sequentiële Modellering: Het gebruik van een Transformer voor de classificatie (sequentiemodel) leverde 5.0 AUC-punten meer op dan het gebruik van een eenvoudige gemiddelde pooling (mean pooling), wat aantoont dat het positionele patroon van memorisatie belangrijk is.

Bijdragen en Significantie

1. Doorbraak in Schaalbaarheid: De paper toont aan dat het "shadow model"-probleem voor LLMs opgelost kan worden door gebruik te maken van de onbeperkte gelabelde data die inherent is aan het fine-tuning-proces.
2. Architectuur-Invariantie: Het bewijs dat memorisatie een fundamenteel signaal is dat voortkomt uit cross-entropy training, en niet uit de specifieke rekenarchitectuur. Dit betekent dat het wisselen van architectuur (bijv. van Transformer naar Mamba) geen bescherming biedt tegen lidmaatschapsinference.
3. Verschuiving naar Deep Learning: De methode verplaatst MIA voor taalmodellen van handgemaakte heuristieken naar een datagedreven, geleerde aanpak die generaliseert door schaal en diversiteit.
4. Implicaties voor Veiligheid: Omdat het signaal inherent is aan de trainingsparadigma, zijn defensieve maatregelen die zich richten op specifieke architecturale mechanismen (zoals het veranderen van de attention-mechanisme) waarschijnlijk nutteloos. Defensie vereist waarschijnlijk ingrijpen in de trainingsdoelstelling of het gebruik van privacy-technieken zoals Differentiële Privacy (hoewel dit vaak ten koste gaat van de modelkwaliteit).

Conclusie:
LT-MIA bewijst dat de "vingerafdruk" van memorisatie in taalmodellen een universeel fenomeen is dat overdraagbaar is tussen fundamenteel verschillende modelarchitecturen. Door deze signatuur te leren in plaats van hem handmatig te definiëren, biedt de methode een krachtig en schaalbaar instrument voor privacyaudits, met de waarschuwing dat architecturale innovatie op zich geen oplossing biedt voor dit privacyrisico.