Technisch Overzicht: Loss Landscape Poisoning (LLP)

1. Probleemstelling

Large Language Models (LLM's) en Vision-Language Models (VLM's) worden steeds vaker getraind op propriëtaire en gevoelige gegevens, waaronder medische dossiers, financiële informatie en gebruikersgesprekken. Terwijl bestaande privacybedreigingen zich richten op het extraheren van gegevens die het model al heeft gememoriseerd (vaak onbedoeld) of het afleiden van lidmaatschap, behandelt dit artikel een verraderlijker scenario: Kan een aanvaller die geen toegang heeft tot een specifiek doelrecord het model dwingen om dat record te memoriseren en te lekken?

De auteurs stellen dat een aanvaller die een deel van de trainingsdata kan vergiftigen, die data kan vormgeven om de lekkage van een apart, niet-gezien doelrecord te induceren. De kernuitdaging is om dit te bereiken zonder de algemene bruikbaarheid van het model te verslechteren, om zo detectie te vermijden, en dit te doen zelfs wanneer de aanvaller de geheime waarde zelf niet kent, alleen het schema ervan (bijv. het formaat van een burgerservicenummer).

2. Methodologie: Loss Landscape Poisoning (LLP)

Het voorgestelde aanvalsproces, Loss Landscape Poisoning (LLP), werkt door het lokale verlieslandschap (loss landscape) rond een doelgebied in de completion-ruimte te hervormen. Het fundamentele inzicht is dat memorisatie kan worden afgedwongen door een scherp lokaal minimum te creëren bij het doelgeheim, omringd door verhoogde loss op nabijgelegen alternatieven.

Kernmechanisme

De aanval steunt op twee tegengestelde krachten tijdens de training:

1. Neerwaartse kracht: De standaardtraining van het slachtoffer op het corpus dat het ware geheim $(x, s)$ bevat, drijft de loss omlaag bij het doel.
2. Opwaartse kracht: De aanvaller introduceert vergiftigde monsters $(x, s')$ waarbij $s'$ een buur is van $s$ (bijv. een willekeurige variatie van het geheim). De aanvaller manipuleert het trainingsproces om de loss op deze buren te maximaliseren.

De interactie creëert een "loss valley" waar het ware geheim de unieke oplossing met een lage loss is. Het model wordt gedwongen het geheim te memoriseren als een geïsoleerd punt in plaats van te generaliseren over de distributie van het veld.

Dreigingsmodellen

Het artikel evalueert LLP onder drie verschillende dreigingsmodellen:

1. Direct Model Poisoning (White-Box):

   • Toegang: De aanvaller heeft toegang tot de trainingslus en kan de loss-functie aanpassen.
   • Techniek: De aanvaller past gradient ascent toe op vergiftigde monsters (buren van het doel), terwijl er standaard gradient descent wordt toegepast op de benigne data. Dit wordt geformaliseerd als een aangepaste doelfunctie:
     $$\mathcal{L}_{total}(\Theta) = \sum_{(x_i, y_i) \in D_b} \mathcal{L}(f_\Theta, y_i | x_i) - \alpha \sum_{(x, s'_j) \in D_p} \mathcal{L}(f_\Theta, s'_j | x)$$
   • Resultaat: Dit snijdt direct het scherpe minimum uit.

2. Data Poisoning (Black-Box/Geen toegang tot Loss):

   • Toegang: De aanvaller kan alleen data bijdragen aan de trainingscorpus en kan de loss-functie of optimalisatielus niet wijzigen.
   • Techniek (LLP-Data): De aanvaller ontwerpt vergiftigde monsters door een geoptimaliseerde token-sequentie $q$ voor te voegen aan de prefix $x$. Deze sequentie wordt gegenereerd via een surrogaatmodel om ervoor te zorgen dat de standaard gradient descent op het vergiftigde monster $(q+x, s')$ een gradiënt produceert die uitgelijnd is met de ascensierichting die vereist is door de directe aanval. Dit reproduceert effectief de "opwaartse kracht" met enkel data.

3. Federated Learning (FL) Poisoning:

   • Toegang: Een kwaadwillende cliënt controleert zijn lokale training maar heeft geen toegang tot het doelgeheim (gehouden door een eerlijke cliënt) en kan de server-aggregatie niet controleren.
   • Techniek: De kwaadwillende cliënt voert lokale modelvergiftiging uit (gradient ascent op buren) en dient updates in. De server aggregeert deze met updates van eerlijke cliënten (die gradient descent uitvoeren op het ware geheim). Het globale model convergeert naar een staat waarin het geheim wordt gememoriseerd door het gecombineerde effect van de kwaadwillende "opwaartse" druk en de eerlijke "neerwaartse" druk.

Extractie Primitieven

Zodra het model is getraind, extraheert de aanvaller het geheim met behulp van:

• Target Probability: Het meten van $P_\theta(s|x)$. Als het loss landscape succesvol is uitgesneden, nadert de kans op het genereren van het geheim 1.
• Direct Loss Region Probing (DLRP): Een nieuw primitief dat wordt geïntroduceerd om Differential Privacy (DP) te omzeilen. In plaats van het model te vragen het geheim te genereren, bevraagt de aanvaller de loss van kandidaat-strings en hun lokale perturbaties. Het ware geheim wordt geïdentificeerd als de kandidaat met de laagste lokale sensitiviteitsscore (d.w.z. de buren hebben een significant hogere loss).

3. Belangrijkste Bijdragen

1. Introductie van LLP: Een nieuw vergiftigingsaanval dat modellen dwingt om ongeziene gevoelige records te memoriseren door het loss landscape te hervormen.
2. Haalbaarheid onder Data-Only Toegang: Het aantonen dat LLP kan worden uitgevoerd zonder de trainingslus te wijzigen (LLP-Data) door specifieke datamonnsters te ontwerpen die de noodzakelijke gradiëntdynamiek induceren.
3. Cross-Client Leakage in FL: Het aantonen dat een enkele kwaadwillende cliënt in een Federated Learning-omgeving geheimen kan extraheren die worden vastgehouden door andere eerlijke cliënten.
4. Evasie van Differential Privacy (DP): Het bewijzen dat hoewel DP-SGD directe generatie blokkeert (door de absolute loss-minimum af te vlakken), het faalt om het relatieve loss-verschil tussen het doel en zijn buren uit te wissen. Het DLRP-primitief exploiteert deze overgebleven geometrische vingerafdruk om geheimen te herstellen, zelfs onder DP-SGD.

4. Experimentele Resultaten

De auteurs evalueerden LLP op een breed scala aan modellen, waaronder LLM's (DistilGPT-2, GPT-2, GPT-Neo, Pythia, OPT, LLaMA-2/3) en VLM's (InstructBLIP, LLaVA).

• Extractie Succesratio's:
  • Direct Model Poisoning: Bereikte 100% succesvolle extractie op LLM's en tot 90% op VLM's.
  • Data Poisoning (LLP-Data): Bereikte 86% op LLM's en 83% op VLM's.
  • Federated Learning: Een enkele kwaadwillende cliënt (1 van de 10) bereikte 83–100% extractie op LLM's en 86–100% op VLM's.
• Bruikbaarheid Behoud: In alle experimenten behielden de vergiftigde modellen prestaties op standaard redeneerbenchmarks (HellaSwag, OBQA, WinoGrande, etc.) die vergelijkbaar waren met baseline-modellen, met verschillen die vaak binnen $\pm 0.02$ absolute nauwkeurigheid lagen.
• Loss Landscape Analyse: Visualisaties bevestigden de vorming van scherpe lokale minima bij het doelgeheim, met steile loss-toenames in de directe omgeving.
• DP Evasie: Onder DP-SGD faalde directe generatie (kans bleef nabij willekeurig). Echter, DLRP herstelde het geheim succesvol bij privacy-budgetten ($\epsilon$) die de modelbruikbaarheid behielden. Bijvoorbeeld, bij $\sigma=0.0001$ bereikte de Local Sensitivity Score (LSS) Z-score van het doelwit 17.62, waardoor het duidelijk te onderscheiden was van decoys.

5. Betekenis en Claims

Het artikel beweert dat de privacy van trainingsdata niet alleen afhangt van wat het model genereert, maar ook van de geometrie van het loss-oppervlak dat het met zich meedraagt.

• Herformulering van de Dreiging: De auteurs stellen dat huidige verdedigingen zoals Differential Privacy onvoldoende zijn omdat ze de invloed van individuele records op parameters beperken, maar niet de geometrische structuur (de vorm van het loss-oppervlak) beperken die die parameters induceren.
• Het "Ongeziene" Risico: In tegen tegenstelling tot eerdere extractie-aanvallen die vertrouwen op het feit dat een model data al heeft gememoriseerd, toont LLP aan dat een aanvaller een specifiek geheim kan forceren te memoriseren dat hij nog nooit heeft gezien, mits hij het schema kent.
• Implicaties voor Privacy: Het werk suggereert dat standaard recepten voor private training (gradient clipping + gekalibreerde ruis) mogelijk niet voldoende zijn om te beschermen tegen landscape-niveau aanvallen. Het verdedigen tegen dergelijke aanvallen zou ruisniveaus vereisen die de bruikbaarheid van het model aanzienlijk verslechteren, wat de praktische bruikbaarheid van het trainen van private LLM's ondermijnt.

De auteurs concluderen dat het dichten van deze kloof verdedigingen vereist die ofwel de loss-oppervlak vingerafdruk direct verstoren (bijv. landscape-bewuste regularisatie), ofwel kwaadwillende datacuratie detecteren voordat deze het optimalisatiepad vormgeeft.