Technische Samenvatting: Een Propensity-bewuste Evaluatie van Memorisatie in LLM's

Probleemstelling

Large Language Models (LLM's) hebben uitgebreid gedocumenteerde neigingen om trainingsdata te reproduceren, inclus\u00za auteursrechtelijk beschermde werken en gevoelige persoonlijke identificatiegegevens. De huidige evaluaties van memorisatie richten zich echter voornamelijk op capability (capaciteit): of modellen in staat zijn om trainingsdata te reproduceren wanneer ze hiertoe worden gedwongen via adversariële aanvallen (bijv. prefix-aanvallen, membership inference of resource-referencing prompts). Er is een aanzienlijke kloof in het begrip van propensity (neiging): of modellen van nature trainingsdata reproduceren onder normale, niet-adversariële omstandigheden.

De huidige literatuur verwart deze twee concepten vaak. Hoewel capability-evaluaties de bovengrens vaststellen van het vermogen van een model om data te lekken, kunnen ze het praktische risico bij de inzet in de echte wereld overschatten, waarbij gebruikers geen adversariële elicitatietechnieken gebruiken. Bovendien zijn bestaande niet-adversariële studies (bijv. Aerni et al., 2024) vaak beperkt tot gesloten modellen, vertrouwen ze op webfragmenten in plaats van directe vergelijking met trainingsdata, of falen ze in het contrasteren van gewoon gebruik met adversariële settings, wat de nauwkeurigheid en reikwijdte van hun analyse beperkt.

Methodologie

De auteurs stellen PROPME voor, een framework voor propensity-bewuste memorisatie-evaluatie, en SIMPLETRACE, een lichtgewicht tracing-pipeline.

1. PROPME Framework

PROPME introduceert een evaluatieaanpak op meerdere niveaus die twee verschillende prompting-scenario's contrasteert:

• Propensity Settings: Plausibele, real-world prompts (Generic en Specific) met een lage lexicale overlap met de trainingsdata. Deze zijn bedoeld om de natuurlijke neiging van het model om data te lekken te meten.
• Capability Settings: Prefix-aanvallen waarbij het model wordt geconditioneerd op de eerste 50 tokens van sequenties die rechtstreeks uit de trainingsset zijn geëxtraheerd. Deze zijn bedoeld om de maximale capaciteit van het model om memorized content te reproduceren te meten.

2. Propensity Metriek Transformatie

Om het verschil tussen capability en propensity te kwantificeren, introduceren de auteurs een nieuwe metriek-transformatie. Gegeven een basismetriek $f_b \in [0, 1]$ (bijv. memorisatiesnelheid), een propensity-setting $p$, en een capability-setting $c$, wordt de propensity-bewuste metriek $PM_{f_b}$ berekend als:

$$PM_{f_b}(M, x) = \frac{1}{2} \left( 1 + \frac{f_b^p(M, x) - f_b^c(M, x)}{f_b^p(M, x) + f_b^c(M, x)} \right)$$

(Waarbij $PM_{f_b} = 0$ als $f_b^p = 0$).

Deze transformatie levert een score waarbij:

• Lage scores duiden op een hoge capability maar een lage propensity (het model kan lekken als het wordt gedwongen, maar doet dit zelden van nature).
• Hoge scores duiden op een lage capability maar een hoge propensity (het model lekt spontaan, zelfs zonder sterke elicitatie).
• Neutrale scores (0.5) duiden op consistent gedrag over de verschillende settings heen.

3. SIMPLETRACE Pipeline

Om deterministische attributie van modelgeneraties aan trainingscorpora mogelijk te maken, hebben de auteurs SIMPLETRACE ontwikkeld, gebouwd op de infini-gram engine. In tegen tegenstelling tot probabilistische detectiemethoden, voert SIMPLETRACE een directe zoekopdracht uit over de trainingscorpus. De pipeline omvat:

1. Maximal Span Extraction: Het itereren over suffixen van een generatie om de langste verbatim prefix in de corpus te vinden.
2. Unigram Rarity Filtering: Het filteren van boilerplate-matches door alleen de zeldzaamste spans te behouden.
3. Document Retrieval: Het ophalen van brondocumenten voor de behouden spans, waarbij matches worden geclassificeerd als full raw, full normalized of partial.
4. Span Merging: Het samenvoegen van overlappende spans tot niet-redundante segmenten.

SIMPLETRACE berekent metrieken zoals Average Longest Span (ALS), Generations Full Matches Ratio (FMR) en Average Near-Verbatim Recall (NVR).

4. Experimentele Opzet

De evaluatie werd uitgevoerd op twee volledig open modellen en twee datasets:

• Modellen:
  • Comma: Een monolinguaal Engels model dat is voorgetraind op de Common Pile dataset.
  • DFM Decoder: Een model dat continu is voorgetraind vanaf Comma op een mix van Common Pile en de Deense Dynaword dataset.
• Datasets: Common Pile (Engels, ~~460B tokens) en Dynaword (Deens, ~~6.8B tokens).
• Prompts: Drie sets (Generic, Specific, Prefix) met elk 100 samples, gegenereerd om een lage overlap te garanderen voor propensity-settings en een hoge overlap voor capability-settings.

Belangrijkste Resultaten

1. Gap tussen Capability en Propensity

Er bestaat een consistente en substantiële kloof tussen memorisatie-capability en propensity.

• Prefix-aanvallen lokten aanzienlijk sterkere memorisatie-signalen uit dan generic of specific prompts over alle modellen en datasets heen. Bijvoorbeeld, bij de DFM Decoder met Dynaword was de Near-Verbatim Recall (NVR) onder prefix-aanvallen 0.036, vergeleken met 0.001 voor generic prompts (een verschil van 36x).
• Propensity scores bleven over het algemeen laag. Zelfs wanneer modellen de capaciteit vertoonden om data te reproduceren onder adversariële elicitatie, deden ze dat zelden onder gewone prompting-omstandigheden.

2. Impact van Continual Pre-training

De studie observeerde dat continual pre-training de memorisatie van eerdere data kan verminderen.

• DFM Decoder vs. Comma: De DFM Decoder, die continu is getraind op een mix inclusief Dynaword, vertoonde minder memorisatie van de oorspronkelijke Common Pile corpus vergeleken met het moeder-model, Comma.
• Metriek Verschuiving: Terwijl de verbatim propensity aanzienlijk daalde (van 0.5 naar 0.0 in FMR), zag de near-verbatim propensity een kleinere stijging, wat suggereert dat er een verschuiving plaatsvindt van sterke verbatim memorisatie naar zwakkere near-verbatim patronen.
• Stabiliteit: Memorisatieprofielen bleven stabiel over de drie trainingsfasen van de DFM Decoder, wat aangeeft dat de samenstelling van de data-mix (twee derde Dynaword, één derde Common Pile) de toegankelijkheid van Common Pile-content progressief heeft afgetemperd zonder de memorisatie van de nieuwe corpus verder te verhogen.

3. Kenmerken van Datasets

• Common Pile (Engels): Memorisatie manifesteerde zich als langere, gelokaliseerde verbatim fragmenten (hogere ALS).
• Dynaword (Deens): Memorisatie produceerde kortere spans, maar leidde incidenteel tot volledige reproducties op generatieniveau (hogere FMR onder prefix-aanvallen).

Betekenis en Claims

Het artikel betoogt dat memorisatie-audits zowel worst-case extractability (capability) als gewone leakage propensity moeten rapporteren om een volledig beeld van modelgedrag te geven.

• Risicobeoordeling: Het uitsluitend vertrouwen op capability-evaluaties (prefix-aanvallen) overschat het praktische risico op datalekken in real-world scenario's. Omgekeeld kan het uitsluitend vertrouwen op propensity het latente vermogen van een model om data te lekken missen als een aanvaller zich specifiek op dat doel richt.
• Juridische en Ethische Compliance: De auteurs benadrukken dat kaders zoals de EU GDPR en de EU AI Act regelmatig testen van beveiligingsmaatregelen en risicobeheer vereisen. Het beoordelen van propensity onder gewoon gebruik levert bewijs voor voorzienbare lekrisico's, wat de inspanningen voor compliance ondersteunt.
• Trainingsdynamiek: De resultaten bevestigen dat memorisatie-capability niet statisch is; het kan afnemen wanneer latere training de nadruk legt op deels andere data, wat suggereert dat de samenstelling van de data-mix een cruciale factor is bij het beheren van memorisatie-risico's.

De auteurs concluderen dat hoewel modellen in staat zijn om trainingsdata te onthullen wanneer ze direct worden geëliciteerd, ze dit zelden doen in veelvoorkomende, niet-adversariële settings, en dat propensity-bewuste evaluatie essentieel is voor een genuanceerd begrip van dit fenomeen.