Technische Samenvatting: Reconstructie van Trainingsdata uit Adapter-gebaseerde Federatieve Large Language Models

Probleemstelling

Federatieve Large Language Models (FedLLMs) die gebruikmaken van adapter-gebaseerde fine-tuning (bijv. LoRA) zijn een mainstream benadering geworden voor privacy-bewuste collaboratieve leerprocessen. Door de massieve backbone-parameters van pre-trained LLM's te bevriezen en alleen compacte, low-rank adapter-modules te trainen, beogen deze systemen de computationele, opslag- en communicatieoverhead te verminderen. De heersende aanname is dat deze efficiëntie in parameters de beveiliging inherent versterkt door de hoeveelheid beschikbare informatie-lekkage via gedeelde gradiënten te beperken, waardoor bestaande Gradient Inversion Attacks (GIAs) worden afgetroefd.

Dit artikel daagt die aanname echter uit. Het stelt dat adapter-gebaseerde FedLLM's nog steeds kwetsbaar zijn voor ernstige privacy-aanvallen. Het kernprobleem dat wordt aangepakt, is de reconstructie van gevoelige, private trainings-tekst vanuit de gedeelde gradiënten van de adapter-lagen, ondanks drie specifieke uitdagingen die traditionele GIAs ineffectief maken:

1. Lagere Dimensionaliteit van Updates: Adapters updaten slechts een fractie van de parameters, wat de dimensionaliteit van de gradiënten drastisch vermindert en de ruwe informatie maskeert vergeleken met full-parameter fine-tuning.
2. Bevroren Backbone: De pre-trained LLM backbone blijft bevroren, wat betekent dat aanvallers geen toegang hebben tot gradiënten van de cruciale aandacht- en transformer-lagen die in full-parameter settings doorgaans de tekstreconstructie faciliteren.
3. Omvangrijke Oplossingsruimte: De combinatorische ruimte van mogelijke tekstreconstructies is enorm, wat directe traversie of beam search computationeel onhaalbaar maakt, vooral bij grote batch-groottes.

Methodologie: De UTR Attack

De auteurs stellen de Unordered-word-bag-based Text Reconstruction (UTR) attack voor, een nieuwe tweestaps-pipeline die ontworpen is om de unieke structurele eigenschappen van adapter-gebaseerde FedLLM's uit te buiten.

Fase 1: Word Bag Inference

Deze fase richt zich op de embedding adapter om een ongeordende verzameling vocabulaire-tokens te achterhalen die aanwezig zijn in de private input van de cliënt, waardoor de continue optimalisatie effectief wordt omzeild.

• Mechanisme: De methode maakt gebruik van het deterministische karakter van bevroren embedding-lagen. Het analyseert de gradiënten van de fully connected (FC) downsampling-laag van de embedding adapter.
• Wiskundig Inzicht: Door de Ratio of Weight to Bias Gradient (RWBG) voor neuronen in de FC-laag te berekenen, construeren de auteurs een low-rank lineaire subspace $S$. Deze subspace wordt gespannen door de verborgen embedding-vectoren van de werkelijke input-tokens.
• Inference: De aanval iterereert over de vocabulaire van het model en controleert of de verborgen embedding van een kandidaat-token binnen de subspace $S$ ligt die afgeleid is van de gradiënten van de cliënt. Indien dit het geval is, wordt de token opgenomen in de "word bag". Dit transformeert het probleem van vector-fitting naar een lineaire algebraïsche lidmaatschapstest.

Fase 2: Data Inference

Deze fase assembleert de ongeordende "word bag" tot coherente tekstsequenties.

• Mechanisme: Het maakt gebruik van een geconstrangeerde greedy search-strategie die wordt gestuurd door grammaticale, semantische en contextuele filters (EICW, CG, CS) om ongeldige token-combinaties te elimineren.
• Lidmaatschapsinferentie: Om kandidaat-zinnen te valideren, gebruikt de methode de gradiënten van de layer adapter. Het voert kandidaat-sequenties door het model om verborgen embeddings te genereren en controleert of deze embeddings binnen de low-rank subspace $S_{LA}$ liggen die gespannen wordt door de gradiënten van de layer adapter.
• Architectuur-adaptatie: De methode houdt rekening met verschillen in LLM-architectuur. Voor bidirectionele modellen (bijv. BERT) kan de volledige tekst in één stap worden gereconstrueerd. Voor unidirectionele modellen (bijv. GPT) wordt de reconstructie prefix-gewijs uitgevoerd, waarbij meer kandidaat-samples nodig zijn om de volledige sequentie te assembleren.

Belangrijkste Bijdragen

1. Vulnerability Disclosure: Het artikel toont aan dat adapter-gebaseerde FedLLM's niet immuun zijn voor gradient inversion attacks, zelfs wanneer de meeste modelparameters bevroren zijn. Het onthult dat low-rank adapters nieuwe, exploiteerbare lekkagekanalen creëren.
2. UTR Attack Framework: De auteurs introduceren UTR, een op maat gemaakte aanval die de uitdagingen van low-dimensional updates en bevroren backbones overwint. Het combineert uniek de subspace-analyse van embedding-gradiënten met geconstrangeerde decoding om een hoge-getrouwheid reconstructie te bereiken.
3. Theoretische Analyse van Lekkage: Het artikel biedt een theoretische beoordeling van de grenzen van de aanval, waarbij het maximaal te herstellen aantal tokens ($k_{max}$) wordt gedefinieerd als begrensd door de rank van de subspace gespannen door de adapter-gradiënten ($rank(S) \leq d_{bottleneck}$).
4. Uitgebreide Evaluatie: De studie evalueert de aanval over diverse modellen (BERT, GPT2-Large, Qwen2.5-7B) en datasets (CoLA, SST-2, Rotten Tomatoes) onder variërende batch-groottes en defensiemechanismen.

Experimentele Resultaten

De experimenten tonen aan dat UTR een bijna perfecte reconstructienauwkeurigheid bereikt, waarbij het de state-of-the-art baselines zoals LAMP en DAGER significant overtreft.

• Reconstructienauwkeurigheid: UTR behaalt ROUGE-1/2 scores groter dan 99% over alle geteste modellen en datasets, zelfs met batch-groottes tot 128. In contrast falen baselines zoals DAGER volledig onder frozen backbone settings, en degradeert LAMP significant naarmate de batch-grootte toeneemt.
• Schaalbaarheid: De aanval blijft effectief voor grote batches (tot 128) op Qwen2.5-7B en BERT. Op GPT2-Large neemt de prestatie af op bepaalde datasets (SST, RT) voor batches groter dan 32, toegeschreven aan de uitdagingen van het reconstrueren van langere sequenties met unidirectionele aandachtmechanismen.
• Evaluatie van Defensie:
  • Differential Privacy (DP): DP blijkt een effectieve defensie te zijn, waarbij de succesrate van de aanval wordt teruggebracht naar bijna 0% met matige ruisniveaus ($\sigma \geq 1.5$). De auteurs merken echter op dat dergelijke ruisniveaus het model onbruikbaar maken voor praktische taken.
  • Gradient Pruning (GP): GP biedt een fragiele bescherming. Zelfs met agressieve pruning (99.9%) blijft er enige lekkage bestaan, en zijn hoge pruning-ratio's vereist om de aanval te mitigeren, wat de bruikbaarheid van het model ernstig aantast.

Betekenis en Claims

Het artikel concludeert dat er een fundamentele spanning bestaat tussen parameter-efficiëntie en privacy in FedLLM's. De heersende overtuiging dat lichtgewicht adaptatie inherent de beveiliging verhoogt, wordt door deze bevindingen uitgedaagd.

• Privacy-Performance Afweging: De studie benadrukt dat hoewel adapters de communicatiekosten verlagen, ze niet automatisch privacy garanderen. De low-rank aard van de updates, bedoeld voor efficiëntie, creëert onbedoeld een specifieke subspace die wiskundig geïnverteerd kan worden om discrete input-data te herstellen.
• Implicaties voor Design: De resultaten suggereren dat vertrouwen op enkel adapter-gebaseerde fine-tuning onvoldoende is voor privacy. De auteurs benadrukken de noodzaak van systematische evaluatie van reconstructierisico's in efficiënte FedLLM-paradigma's en geven aan dat effectieve defensies (zoals DP) ten koste kunnen gaan van de bruikbaarheid van het model.

Het werk dient als een kritische waarschuwing aan de gemeenschap dat de beveiligingsgaranties van adapter-gebaseerde FedLLM's niet zo robuust zijn als ze lijken, wat nieuwe defensieve strategieën noodzakelijk maakt die de efficiëntievoordelen van deze modellen niet in de weg staan.