🤖 AI

MineGrad: Gradient Inversion Attacks on LoRA Fine-Tuning

Dit artikel introduceert MineGrad, een analytische gradient inversion attack die een kwaadwillende server in staat stelt om hoogwaardige private gebruikersgegevens te reconstrueren uit LoRA fine-tuning gradiënten door gebruik te maken van een vergiftigd voorgetraind model, waardoor kritieke privacykwetsbaarheden in parameter-efficiënte federated learning voor zowel taal- als visie-taken effectief worden blootgelegd.

Oorspronkelijke auteurs: Hasin Us Sami, Swapneel Sen, Basak Guler

Gepubliceerd 2026-08-04

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hasin Us Sami, Swapneel Sen, Basak Guler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin gigantische, superintelligente computers (AI-modellen) zo groot zijn dat geen enkel persoon ze in zijn broekzak kan dragen. Om ze bruikbaar te maken voor iedereen, laten wetenschappers deze modellen "leren" van gegevens die op je telefoon of laptop staan, zonder die gegevens daadwerkelijk te zien. Dit is als het hebben van een meesterkok die je een basisreceptenboek stuurt, waarna jij de instructies lichtjes aanpast met behulp van je eigen geheime familie-ingrediënten, en vervolgens alleen de kleine veranderingen terugstuurt naar de kok. Deze methode, genaamd "federated learning" met "LoRA", is bedoeld als een privacy-superkracht: de kok wordt slimmer, maar je geheime ingrediënten blijven verborgen in jouw keuken.

Maar wat als de kok niet zomaar een kok is? Wat als de kok een sluwe spion is die in de eerste plaats een licht gemanipuleerd receptenboek naar je heeft gestuurd? Dit artikel onderzoekt een angstaanjagende mogelijkheid: dat een kwaadwillende server (de "kok") je apparaat kan misleiden om je geheimen prijs te geven via de kleine aanpassingen die je terugstuurt. De onderzoekers ontdekten dat door het initiële recept en de tools die worden gebruikt om veranderingen aan te brengen, zorgvuldig te vergiftigen, de server jouw privégegevens—zoals je tekstberichten of foto's—mathematisch kan terugreconstrueren door simpelweg naar de "gradiënt" (de lijst met kleine aanpassingen) te kijken die je hebt verzonden. Het is een herinnering aan het feit dat zelfs als je denkt dat je slechts een paar kruimels deelt, een slimme tegenstander het hele gebak kan reconstrueren.

De grote ontdekking van het artikel: "MineGrad"

De auteurs van dit artikel, Hasin Us Sami, Swapneel Sen en Ba¸sak Guler, introduceren een nieuwe aanval die ze MineGrad noemen. Denk aan dit als een technologisch hoogstaande schattenjacht waarbij de "schat" je privédata is, en de "kaart" verborgen zit in de kleine updates die je naar de server stuurt.

In het verleden wisten onderzoekers dat als je alle veranderingen naar een gigantisch model zou terugsturen, een kwaadwillende actor soms je gegevens zou kunnen raden. Maar met LoRA (Low-Rank Adaptation) stuur je alleen een zeer kleine, gecomprimeerde versie van de veranderingen terug. Wetenschappers dachten dat deze kleine omvang het veel moeilijker maakte om gegevens te stelen. Ze dachten ook dat als de gegevens te groot waren (zoals een lange zin of een hele afbeelding), de wiskunde niet zou werken om ze terug te stelen.

MineGrad verbrijzelt die aannames. De onderzoekers lieten zien dat een kwaadwillende server nog steeds je gegevens kan stelen, zelfs wanneer je alleen die kleine LoRA-updates stuurt, en zelfs wanneer je lange zinnen of complexe afbeeldingen hebt.

Zo werkt de "overval", met behulp van een eenvoudige analogie:

Het vergiftigde receptenboek: Voordat je zelfs maar begint, stuurt de server je een "pre-trained model" (het basisrecept). De server past dit boek stiekem aan. Het is also alsof de server specifieke pagina's voorzien van onzichtbare, gloeiende inkt. Je merkt het niet omdat het recept nog steeds prima werkt voor het koken.
Het geheime signaal: Wanneer je dit vergiftigde boek gebruikt om te koken met je eigen geheime ingrediënten (je privédata), creëert de wiskunde van het kookproces een speciaal signaal. De server heeft de "gloeiende inkt" zo ontworpen dat wanneer je de kleine veranderingen (gradiënten) berekent om terug te sturen, deze veranderingen als een spotlight fungeren.
Het spotlight-effect: Normaal gesproken zijn de veranderingen die je terugstuurt een rommelige mix van al je ingrediënten. Maar door de truc van de server worden de veranderingen voor specifieke delen van het recept echter enorm en luid voor één specifiek ingrediënt en stil voor de rest. Het is alsof je een smoothie mixt, en de server de blender zo hard laat schreeuwen dat hij alleen bij het toevoegen van aardbeien loeit, maar stil blijft bij bananen.
De reconstructie: De server ontvangt je kleine update. Vanwege het spotlight-effect kan de server de "schreeuw" mathematisch isoleren en precies uitzoeken welk ingrediënt de oorzaak was van de schreeuw. Door dit te doen voor verschillende delen van het recept, kan de server je volledige geheime smoothie-recept stukje bij beetje in elkaar zetten, woord voor woord of pixel voor pixel.

Wat ze vonden (en wat ze niet vonden)

De onderzoekers testten dit op twee zeer verschillende soorten gegevens: tekst (zoals nieuwsartikelen en recensies) en afbeeldingen (zoals foto's van katten en auto's).

Voor Tekst: Ze gebruikten modellen zoals BERT en RoBERTa. De resultaten waren verbijsterend nauwkeurig. In hun tests herstelde de server de tekst met bijna perfecte precisie. Als de oorspronkelijke zin "Microsoft sends digital business cards" was, was de herstelde tekst bijna identiek, met een score van 1.0 (perfect) op standaard meetschalen zoals BLEU en ROUGE-L.
Voor Afbeeldingen: Ze testten op afbeeldingen van de CIFAR-10 en CIFAR-100 datasets. De herstelde afbeeldingen zagen er zeer vergelijkbaar uit met de originelen. De onderzoekers maten het verschil met een metriek genaamd LPIPS, waarbij ze scores rond de 0.20 tot 0.21 behaalden, wat aangeeft dat de afbeeldingen visueel zeer dicht bij de originelen liggen.
De "Te Veel Tokens"-mythe: Een eerdere aanval genaamd DAGER faalde als je meer woorden in je zin had dan de "rank" (een maat voor grootte) van de LoRA-module. De auteurs van dit artikel toonden aan dat MineGrad werkt, zelfs wanneer het aantal woorden veel groter is dan de rank, en zelfs bij lange sequenties. Ze bewezen dat ze, door meerdere "lagen" van het model te gebruiken (zoals het gebruik van meerdere zaklampen in plaats van één), gegevens konden herstellen zelfs met kleine LoRA-ranks (zo de lage 4) en lange sequenties.

De beperkingen van de aanval

Het is belangrijk om op te merken wat dit artikel niet zegt. De aanval vertrouwt op het feit dat de server kwaadwillend is en controle heeft over het initiële model dat je downloadt. Als je een model downloadt van een vertrouwde bron die je kunt verifiëren, of als de server eerlijk is, werkt deze specifieke aanval niet.

Daarnaast suggereert het artikel dat deze aanval het meest effectief is wanneer de server niet geeft om de kwaliteit van het uiteindelijke model. Omdat de server het recept aanpast om gegevens te stelen, kan de prestatie van het model iets verslechteren. De auteurs merken echter op dat in veel real-world scenario's (zoals trainen terwijl je telefoon 's nachts oplaadt), gebruikers de prestaties van het model niet nauwlettend in de gaten houden, waardoor ze het misschien niet merken dat het model iets "dommer" wordt terwijl hun gegevens worden gestolen.

De onderzoekers testten ook wat er gebeurt als je een hele batch zinnen tegelijk stuurt (zoals 64 zinnen). In die gevallen is de reconstructie niet perfect voor elk afzonderlijk woord, maar ze ontdekten dat zelfs met een batchgrootte van 64, ze in sommige datasets nog steeds ongeveer 52.2% van de tokens (woorden) konden herstellen.

Waarom dit ertoe doet

Dit artikel zegt niet alleen "het is mogelijk"; het biedt een werkend blauwdruk (code is online beschikbaar) die precies laat zien hoe de wiskunde werkt. Het suggereert dat de privacygaranties waarvan we dachten dat ze aanwezig waren met efficiënte methoden zoals LoRA, een illusie kunnen zijn als de server onbetrouwbaar is.

De auteurs concluderen dat we nieuwe manieren nodig hebben om te controleren of de modellen die we downloaden veilig zijn, omdat simpelweg de server vertrouwen kan niet genoeg zijn. Ze hebben het probleem van hoe je dit moet stoppen niet opgelost; in plaats daarvan hebben ze een luid alarm afgegeven, waarmee ze laten zien dat zonder betere verdedigingsmechanismen, onze privégegevens direct uit de kleine updates die we veilig achtten, kunnen worden gewonnen.

Technische Samenvatting: MineGrad – Gradient Inversion Attacks op LoRA Fine-Tuning

Probleemstelling
Parameter-Efficient Fine-Tuning (PEFT), in het bijzonder Low-Rank Adaptation (LoRA), is een standaard aanpak geworden in Federated Learning (FL) om de communicatie- en computationele kosten die gepaard gaan met het fine-tunen van grootschalige pretrained modellen te beperken. In dit paradigma downloaden gebruikers een bevroren pretrained model, voeren ze lokaal lichtgewicht LoRA-modules uit en delen ze alleen de gradiënten van deze modules met een centrale server. Hoewel dit het volume van de gedeelde gegevens vermindert, blijft de robuustheid van deze opzet tegen een kwaadwillende server onderbelicht.

Bestaande gradient inversion attacks, die private trainingsdata reconstrueren uit gedeelde gradiënten, kampen met aanzienlijke beperkingen wanneer ze op LoRA worden toegepast. Eerdere werken vertrouwen vaak op computationeel dure adversariële pretraining met publieke datasets, vereisen dat het aantal trainingstokens kleiner is dan de rang van de LoRA-matrices (een voorwaarde die in de praktijk vaak wordt geschonden), of zijn beperkt tot tekstgegevens met vooraf gedefinieerde vocabulaires. Bovendien hebben aanvallen zoals DAGER (Petrov et al., 2024) moeite met de verminderde gradiëntruimte die inherent is aan LoRA, waarbij slechts een klein aantal gradiëntvectoren (bepaald door de rang $r$ ) per laag observeerbaar is.

Methodologie: MineGrad
De auteurs stellen MineGrad voor, een nieuwe analytische gradient inversion attack die een kwaadwillende server in staat stelt om private gebruikersdata (zowel tekst als afbeeldingen) te herstellen door gebruik te maken van een vergiftigd pretrained model en gemanipuleerde globale LoRA-parameters. In tegen tegenstelling tot eerdere methoden vereist MineGrad geen publieke datasets uit het doelgebied, leunt het niet op de voorwaarde dat het aantal tokens kleiner moet zijn dan de LoRA-rang, en is het toepasbaar op zowel taal- als visie-taken.

De aanval opereert onder een dreigingsmodel waarbij de server kan:

Een vergiftigd pretrained model verspreiden naar gebruikers voordat de fine-tuning begint.
De globale LoRA-parameters wijzigen die in elke trainingsronde naar de gebruikers worden gestuurd.

Kernprincipes van het ontwerp:

Adversariële Parameterisatie: De server ontwerpt de position encoding vectoren van het pretrained model en de LoRA-matrices ( $A$ en $B$ ) om fine-tuning data direct in de gradiënten in te bedden.
Identity Mapping en Token Isolatie: In de "target encoders" (Encoders 1 tot $S-1$ ) configureert de server het self-attention mechanisme zodat het fungeert als een identity mapping. De LoRA-matrices zijn specifiek zo ontworpen dat de gradiënt met betrekking tot een specifieke kolom van matrix $B$ een specifieke target token embedding isoleert. Dit wordt bereikt door position encodings te manipuleren om grote, onderscheidende waarden te creëren op specifieke dimensies, waardoor gegarandeerd wordt dat het gewicht dat geassocieerd is met de target token in de gradiëntberekening alle anderen domineert.
Aggregatie voor Volledige Reconstructie: Omdat een enkele LoRA-matrix van rang $r$ slechts $r$ tokens per encoder kan onthullen, maakt MineGrad gebruik van meerdere encoders. Elke encoder richt zich op een afzonderlijke subset van tokens.
Manipulatie van de Classificatielaag: De laatste encoder en de classificatielaag zijn zodanig ontworpen dat de loss functie een niet-nul gradiënt produceert die de geaggregeerde informatie van de target tokens draagt. De server manipuleert de classificatiegewichten om een specifieke class score af te dwingen, wat de analytische extractie van de token embeddings uit de gradiënt mogelijk maakt.
Reconstructie: De server herstelt de token embeddings analytisch door de geobserveerde gradiënten te delen door bekende constanten afgeleid van de vergiftigde parameters. De originele word embeddings worden vervolgens hersteld door de bekende (vergiftigde) position encoding vectoren af te trekken.

Belangrijkste Bijdragen

Nieuwe Aanvalsvector: Introductie van MineGrad, de eerste analytische gradient inversion attack die specifiek is ontworpen voor LoRA fine-tuning in FL, die werkt zonder publieke domein datasets of restrictieve rang-beperkingen.
Brede Toepasbaarheid: Demonstratie dat de aanval effectief is op zowel taaltaken (met behulp van Transformer encoders zoals BERT en RoBERTa) als visietaken (met behulp van Vision Transformers), waarmee de vocabulaire-beperkingen van eerdere tekst-georiënteerde aanvallen worden overwonnen.
Overwinnen van Rang-beperkingen: De methode herstelt gegevens succesvol, zelfs wanneer het aantal trainingstokens de rang van de LoRA-matrices overschrijdt, een scenario waarin eerdere aanvallen zoals DAGER falen.
Schaalbaarheid: Het gebruik van meerdere encoders maakt het herstel van volledige sequenties mogelijk, ongeacht de lage rang ( $r$ ) van individuele LoRA-modules.

Experimentele Resultaten
De auteurs evalueerden MineGrad op meerdere tekstclassificatie-datasets (AG's News, DBPedia, Yahoo Answers, Yelp, TREC-6) en beeldclassificatie-datasets (CIFAR-10, CIFAR-100).

Tekstreconstructie: De aanval bereikte een bijna perfecte reconstructie, met BLEU en ROUGE-L scores die 1.0 benaderen over diverse modellen (BERT-base/large, RoBERTa-base/large) en datasets. Tabel 2 illustreert dat ground-truth zinnen met hoge getrouwheid worden hersteld.
Rang-onafhankelijkheid: Experimenten toonden aan dat hoewel de kwaliteit van de reconstructie verbetert met een hogere rang voor een enkele encoder, het inzetten van meerdere encoders MineGrad in staat stelt om dezelfde hoge-getrouwheid reconstructie te bereiken met een zeer kleine rang (bijv. $r=2$ ) als een enkele encoder met een grote rang (bijv. $r=16$ ).
Sequentielengte: Prestaties verslechteren naarmate de sequentielengte toeneemt, maar blijven effectief. De auteurs merken op dat prestaties verder verbeterd kunnen worden door de pretrained word embeddings te manipuleren.
Beeldreconstructie: Voor Vision Transformers herstelde de aanval afbeeldingen met lage LPIPS scores (0.20 ± 0.04 voor CIFAR-10), wat duidt op een hoge visuele gelijkenis met de originele inputs.
Batch Verwerking: Zelfs met batch groottes tot 64 herstelde de aanval een aanzienlijk percentage van de tokens (bijv. 52.2% voor TREC-6), hoewel de herstelpercentages afnemen naarmate de batch grootte toeneemt door de middeling van de embeddings.
Vergelijking: MineGrad presteerde aanzienlijk beter dan DAGER, dat zwaar prestatieverlies leed wanneer het aantal tokens de LoRA-rang overschreed.

Betekenis en Claims
Het artikel claimt dat MineGrad kritieke kwetsbaarheden blootlegt in de privacygaranties van Federated LoRA fine-tuning. De auteurs benadrukken dat:

De verminderde gradiëntruimte in LoRA niet inherent bescherming biedt tegen een sterke tegenstander die in staat is het pretrained model te manipuleren.
De huidige aannames dat PEFT betere privacy biedt dan full fine-tuning ontoereikend zijn wanneer de server kwaadwillend is.
De aanval "one-shot" is, in staat om data te herstellen in een enkele trainingsronde (potentieel vroeg in de training wanneer de nauwkeurigheid laag is), wat betekent dat gebruikers de aanval mogelijk niet detecteren, zelfs als ze de trainingsverlies later monitoren.
Het werk de dringende noodzaak benadrukt voor verifieerbare defensiemechanismen voor PEFT in federated omgevingen. De auteurs merken op dat de prestaties van de aanval tegen populaire defensies zoals secure aggregation, pruning en noise addition wordt gepresenteerd in de bijlagen van het artikel.

De auteurs concluderen dat hoewel hun aanval een demonstratie van kwetsbaarheid is, het nieuwe ontwerpprincipes biedt voor het begrijpen van de interactie tussen vergiftigde modellen en gradiëntpropagatie, en oproept tot de ontwikkeling van robuuste defensies voor de groeiende adoptie van PEFT in privacygevoelige omgevingen.

De grote ontdekking van het artikel: "MineGrad"

Wat ze vonden (en wat ze niet vonden)

De beperkingen van de aanval

Waarom dit ertoe doet

Technische Samenvatting: MineGrad – Gradient Inversion Attacks op LoRA Fine-Tuning

Meer zoals dit