Auditing Information Disclosure During LLM-Scale Gradient Descent Using Gradient Uniqueness

Dit paper introduceert Gradient Uniqueness (GNQ), een efficiënt en principieel audit-maatstaf die via de Batch-Space Ghost GNQ-algoritme de privacyrisico's van individuele datapunten tijdens het trainen van grote taalmodellen in real-time kwantificeert zonder de hoge rekenkosten van traditionele methoden.

De kern

De Kernvraag: Wat onthult een AI over zijn geheugen?

Stel je voor dat je een gigantische bibliotheek hebt (de trainingsdata) en je bouwt een superintelligente bibliothecaris (het AI-model). Na het lezen van miljoenen boeken wil je weten: Onthoudt deze bibliothecaris specifieke zinnen uit de boeken die hij heeft gelezen, of heeft hij ze gewoon vergeten?

Dit is een groot privacyprobleem. Als de AI te goed onthoudt, kan hij per ongeluk geheime telefoonnummers, namen of andere persoonlijke gegevens "lekken" die in de trainingsdata stonden.

Het probleem is dat het controleren van elke zin in een bibliotheek van miljarden boeken onmogelijk is. Het zou te veel tijd en rekenkracht kosten.

De Oplossing: "Gradient Uniqueness" (GNQ)

De auteurs van dit paper hebben een nieuwe manier bedacht om dit te meten, genaamd Gradient Uniqueness (GNQ).

De Analogie: De Dansvloer
Stel je voor dat het trainen van een AI een dansfeest is.

• Elke datapunt (een zin uit een boek) is een danser.
• De AI is de muziek die langzaam verandert op basis van hoe de dansers bewegen.
• De gradiënt is de richting waarin een danser duwt om de muziek te veranderen.

De meeste dansers (datapunten) bewegen in dezelfde richting als de rest van de menigte. Ze zijn "gewoon" en voegen weinig nieuws toe aan de muziek. Maar soms is er een danser die heel anders beweegt dan iedereen else. Hij duwt in een richting die niemand anders doet.

GNQ meet hoe "uniek" of "vreemd" die duw is.

• Laag GNQ: De danser beweegt precies zoals de rest. De AI had deze zin al verwacht (bijvoorbeeld: "De zon schijnt"). Het is "algemene kennis". De AI onthoudt dit niet specifiek, want het was al bekend.
• Hoog GNQ: De danser doet iets totaal onverwachts (bijvoorbeeld: "De paarse koe vliegt naar Mars"). De AI moet hard werken om deze beweging te integreren. Dit betekent dat de AI deze specifieke informatie diep in zijn geheugen heeft opgeslagen. Dit is gevaarlijk voor privacy, omdat de AI deze rare zin later waarschijnlijk exact zal kunnen reproduceren.

Het Probleem: De Rekenkracht-Val

In theorie kun je voor elke danser (elk datapunt) berekenen hoe uniek hij is. Maar bij een moderne AI met biljoenen parameters (de "spieren" van de AI) is dit als proberen elke danser in een stadion van 100.000 mensen te meten door een gigantische matrix van 100.000 x 100.000 te invullen en op te lossen. Dat is onmogelijk; de computer zou jarenlang moeten rekenen.

De Geniale Truc: "BS-Ghost GNQ"

Hier komt de echte innovatie van het paper. De auteurs hebben een slimme wiskundige truc bedacht, genaamd Batch-Space Ghost GNQ.

De Analogie: De Ghost-Clown
Stel je voor dat je in plaats van elke danser individueel te meten, alleen kijkt naar een kleine groep van 32 dansers die op dat moment op de dansvloer staan (een "batch").

1. Geen extra werk: Normaal zou je voor elke danser apart moeten terugrekenen hoe hij de muziek beïnvloedt. Dat kost te veel tijd.
2. De "Ghost" (Geest): De auteurs gebruiken een truc waarbij ze de "geesten" van de dansers gebruiken. Ze kijken niet naar de dansers zelf, maar naar de sporen die ze achterlaten op de dansvloer (de activaties en fouten die al berekend zijn tijdens het normale trainen).
3. Kleinere ruimte: In plaats van de hele stad (de hele AI) te meten, meten ze alleen de kleine dansvloer (de batch). Ze bouwen een klein modelletje van 32 x 32 in plaats van 100.000 x 100.000.

Dit maakt het mogelijk om de privacy-risico's tijdens het trainen te meten, zonder dat het proces vertraagt of extra geheugen kost. Het is alsof je de dansvloer in real-time scant terwijl de muziek speelt, zonder dat de dansers merken dat je kijkt.

Wat hebben ze ontdekt?

Ze hebben dit getest en drie belangrijke dingen gevonden:

1. Het onderscheidt "algemene kennis" van "geheime informatie":
   Als je de AI leert dat "Napoleon in 1815 verslagen werd" (algemene kennis), krijgt het een lage GNQ-score. De AI onthoudt dit niet als een geheim, want het was al bekend. Maar als je de AI leert dat "Napoleon een paarse hoed droeg" (een rare, unieke zin), krijgt het een hoge score. De AI onthoudt dit specifiek.

2. Het voorspelt lekken:
   Als een zin een hoge GNQ-score heeft, is het bijna zeker dat je die zin later uit de AI kunt "vissen" door de AI te vragen om de rest van de zin te voltooien. Het is een zeer nauwkeurige waarschuwing: "Pas op, deze zin is nu in het geheugen van de AI gegrift."

3. Het gebeurt ongelijkmatig:
   Niet alle zinnen worden even goed onthouden. Tijdens het trainen zien ze dat de risico's zich concentreren op specifieke, vreemde voorbeelden. De meeste zinnen worden vergeten, maar een paar "unieke" zinnen worden permanent opgeslagen.

Conclusie

Dit paper biedt een slimme, snelle en onafhankelijke manier om te controleren of een AI te veel geheime informatie onthoudt.

• Vroeger: Je moest wachten tot het trainen klaar was en dan duizenden aanvallen proberen om te zien of de AI lekken had.
• Nu: Je kunt tijdens het trainen kijken naar de "uniekheid" van elke zin. Als een zin te uniek is, weet je dat de AI die gaat onthouden, en kun je dat risico inschatten zonder de AI te veranderen of extra rekenkracht te verspillen.

Het is als het hebben van een radar die tijdens het bouwen van een huis direct aangeeft welke ramen te groot zijn en te veel licht (informatie) binnenlaten, zodat je ze direct kunt repareren voordat het huis af is.

Technische samenvatting

Probleemstelling

Het publiceren van een getraind machine learning-model (zoals een Large Language Model of LLM) brengt aanzienlijke privacyrisico's met zich mee. Modellen kunnen informatie over specifieke trainingsdatapunten lekken, variërend van het verbatim reproduceren van trainingsdata tot het onthullen van persoonlijk identificeerbare informatie (PII).

Bestaande auditmethoden hebben echter ernstige tekortkomingen:

1. Aanvalsafhankelijkheid: Methoden zoals Membership Inference Attacks (MIA) of extractie via prompts zijn specifiek voor een bepaald type aanval. Als een model bestand is tegen één aanval, betekent dit niet dat het veilig is tegen andere.
2. Rekenkundige onhaalbaarheid: Het auditen van elk trainingspunt in een LLM (met biljoenen parameters) na het trainen is computationally prohibitive.
3. Modificatie van training: Veel methoden vereisen het aanpassen van het trainingsproces (bijv. het toevoegen van "canaries" of het trainen van meerdere modellen voor counterfactuele analyses), wat in de praktijk onacceptabel is vanwege kosten en stabiliteit.
4. Afbakening van "Algemeen Kennis": Bestaande methoden onderscheiden vaak niet goed tussen data die het model heeft "geleerd" en data die gewoon algemeen bekende feiten zijn (die elk model zou kunnen reproduceren zonder ze specifiek te hebben gezien).

Het doel is een auditframework te ontwerpen dat aanvalsagnostisch, goedkoop, tijdens het trainen ("in-run") uitvoerbaar is, alle datapunten dekt, geen training wijzigt en rekening houdt met vooraf bestaande kennis.

Methodologie: Gradient Uniqueness (GNQ)

De auteurs introduceren Gradient Uniqueness (GNQ), een metrisch gebaseerd op informatie-theoretische principes.

Het Fundamentele Concept:
GNQ beantwoordt de vraag: Hoeveel informatie over de aanwezigheid van een specifiek datapunt in de trainingsset is er aanwezig in het geleerde model?
De methode definieert een prior over mogelijke trainingssets (door resampling van de dataset) en analyseert de informatie die in de modelparameters zit op basis van de gradiënten tijdens de mini-batch gradient descent.

Definitie van GNQ:
Voor een datapunt $d_j$ in een batch $i$ wordt de GNQ gedefinieerd als:
$$GNQ_{ij} = g_{ij}^\top S^{-1} g_{ij}$$
Waarbij:

• $g_{ij}$ de gradiënt is van het datapunt.
• $S$ de regulariseerde covariantiematrix is van de gradiënten van alle andere datapunten in de batch (leave-one-out).
• GNQ meet hoe "uitzonderlijk" (outlier) de gradiënt van een punt is ten opzichte van de verdeling van de andere gradiënten. Een hoge GNQ betekent dat het punt een unieke bijdrage levert aan het model, wat wijst op een hoger risico op lekken.

Theoretische Basis:
Het paper bewijst dat GNQ een bovengrens vormt voor de wederzijdse informatie (mutual information) tussen de aanwezigheid van een datapunt en het getrainde model. Dit betekent dat GNQ een principieel, wiskundig onderbouwd maatstaf is voor het maximale risico op informatielekken.

Kernbijdrage: BS-Ghost GNQ Algorithm

Het direct berekenen van GNQ is onmogelijk voor LLMs omdat het het inverteren van enorme $P \times P$ matrices vereist (waarbij $P$ het aantal parameters is, vaak in de orde van biljoenen).

De auteurs lossen dit op met een nieuw algoritme: Batch-Space Ghost GNQ (BS-Ghost GNQ). Dit maakt de berekening haalbaar door:

1. Batch-Space Berekening: In plaats van te werken in de parameter-ruimte ($P \times P$), wordt de berekening verplaatst naar de batch-ruimte ($B \times B$, waarbij $B$ de batchgrootte is). Dit wordt bereikt via de Push-through identity en de Sherman-Morrison formule. Hierdoor daalt de complexiteit van $O(P^3)$ naar $O(B^3)$.
2. Ghost Kernels: Om de per-datapunt gradiënten niet expliciet te hoeven opslaan (wat onmogelijk veel geheugen zou kosten), gebruiken de auteurs "ghost kernels". Deze benutten de al bestaande forward-activaties en backward-errors tijdens de standaard backpropagation om de nodige Gram-matrices (kern-matrices) te construeren zonder extra backward passes.
3. In-Run Uitvoering: Het algoritme voegt slechts een minimale overhead toe aan het standaard trainingsproces en vereist geen wijziging van de dataset of het trainingsalgoritme.

Resultaten en Evaluatie

De auteurs valideren hun methode via uitgebreide experimenten:

1. Efficiëntie:

   • Op een GPT-2 model (124M parameters) veroorzaakt BS-Ghost GNQ slechts een 1.12x overhead in rekentijd vergeleken met standaard training.
   • In vergelijking met een naïeve implementatie (die onhaalbaar is voor grote modellen) is BS-Ghost GNQ orders van grootte sneller en gebruikt het aanzienlijk minder geheugen.
   • De numerieke resultaten zijn identiek aan de theoretische definitie (afwijking < $2.0 \times 10^{-10}$).

2. Omgaan met Algemene Kennis:

   • GNQ onderscheidt effectief tussen "verrassende" data (die het model moet leren) en "algemene kennis".
   • Experimenten met GPT-2 getraind op zinnen toonden aan dat zinnen met algemene feiten (bijv. "Water bevriest bij 0 graden") een lage GNQ score hebben, terwijl onwaarschijnlijke of valse beweringen (bijv. "Everest is een buitenaards schip") een hoge GNQ score krijgen.
   • Dit contrasteert met counterfactual memorization methoden, die minder goed onderscheid maken tussen deze categorieën.

3. Voorspellende Kracht voor Extractie:

   • GNQ is een sterke predictor voor de kwetsbaarheid van een sequentie voor gerichte extractie-aanvallen (prefix-completion).
   • De top 20 zinnen met de hoogste GNQ-scores werden allemaal succesvol geëxtraheerd door een aanval, terwijl methoden gebaseerd op counterfactual memorization veel minder nauwkeurig waren.

4. Dynamiek tijdens Training:

   • Door GNQ over 100 epochs te volgen, tonen de auteurs aan dat het risico op lekken niet uniform is. Het risico concentreert zich heterogeen op specifieke voorbeelden die in de loop van de training een steeds hogere "uniqueness" score ontwikkelen.

Significantie

Dit paper biedt een doorbraak in de privacy-audit van AI-modellen:

• Praktische Toepasbaarheid: Voor het eerst is het mogelijk om een principieel privacy-score te berekenen voor elk trainingspunt tijdens het trainen van een groot taalmodel, zonder de training te vertragen of te wijzigen.
• Aanvalsagnostisch: Het biedt een fundamentele maatstaf voor informatielekken die niet afhankelijk is van de specifieke aanvalstechniek die een tegenstander zou gebruiken.
• Nuance: Het lost het probleem op van het onderscheiden tussen "geleerde geheugen" en "algemene kennis", wat cruciaal is voor realistische privacybeoordelingen.
• Transparantie: Het biedt ontwikkelaars en auditors een tool om te zien welke specifieke data-punten het meest kwetsbaar zijn voor lekken, waardoor gerichte mitigatie mogelijk wordt.

Kortom, GNQ en het BS-Ghost GNQ-algoritme transformeren privacy-auditing van een post-hoc, aanvalsgericht experiment naar een integraal, efficiënt en theoretisch onderbouwd onderdeel van de ML-trainingscyclus.