SafeLM: Unified Privacy-Aware Optimization for Trustworthy Federated Large Language Models

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet in hoog-risico domeinen, maar er ontbreekt een geïntegreerde aanpak voor hun overlappende veiligheidsuitdagingen. Bestaande oplossingen behandelen deze aspecten vaak geïsoleerd, wat leidt tot incompatibele verdedigingsmechanismen en onduidelijke interacties. De auteurs identificeren vier kritieke bedreigingsoppervlakken:

1. Privacy: LLMs kunnen trainingsdata memoriseren, wat leidt tot data-extractie en lidmaatschapsinferentie. Standaard Federated Learning (FL) is kwetsbaar voor gradiënt-inversie-aanvallen (waarbij trainingsdata gereconstrueerd kan worden uit de gedeelde gradiënten).
2. Beveiliging: Tegenstanders kunnen backdoors injecteren, adversarial prompts maken of modelstelen uitvoeren.
3. Desinformatie: Geïnstrueerde modellen hallucineren vaak met vertrouwen, wat geïntegreerde grondingsmechanismen vereist.
4. Adversariële Robuustheid: Invoerperturbaties kunnen de betrouwbaarheid van het model onder strikte latentie-eisen aantasten.

Methodologie: Het SafeLM Framework

SafeLM is een unificerend raamwerk dat deze vier pijlers gezamenlijk aanpakt binnen een federale fine-tuning cyclus. Het framework bestaat uit vier samenwerkende modules:

1. Privacy Engine (PE):

   • Gradiënt Smartification: Een op het mediaan gebaseerd binarisatieschema dat gradiënten comprimeert van 32-bit zwevende punten naar één bit. Dit wordt gedaan door een adaptieve drempelwaarde te gebruiken (de mediaan van de absolute gradiënten per client) in plaats van een vaste nul-drempel. Dit reduceert de payload met een factor 32.
   • Paillier Homomorf Versleuteling: De gebinariseerde updates worden versleuteld met het Paillier-systeem. Dit stelt de server in staat om de updates te aggregeren zonder ze te ontsleutelen, wat voldoet aan de IND-CPA beveiligingsstandaard en voorkomt dat de server de individuele updates kan afleiden.

2. Security Module (SM):

   • Byzantijnse Filtering: Na ontsleuteling past de server een coördinaat-voor-coördinaat mediaanfilter toe. Dit maakt het systeem robuust tegen kwaadaardige clients die vergiftigde updates of backdoors injecteren (tot $\lfloor K/5 \rfloor$ kwaadaardige clients).
   • Trigger Detectie: Mechanismen om specifieke backdoor-triggers te identificeren.

3. Misinformation Guard (MG):

   • Contrastive Grounding: Tijdens inferentie wordt elke gegenereerde bewering gescoord tegen een set bewijsmateriaal uit een read-only kennisbank.
   • Gecalibreerde Decoding: Een temperatuur-schaling wordt toegepast op de modelconventie. Beweringen met een lage "FaithScore" worden ofwel verworpen of opnieuw gegenereerd met retrieval-augmented prompting, waardoor hallucinaties worden onderdrukt.

4. Robustness Head (RH):

   • Adversariële Fine-tuning: Clients verrijken hun lokale batches met adversariële voorbeelden (gegenereerd via Projected Gradient Descent in de embedding-ruimte) tijdens het lokale trainingsproces. De smartified gradiënten worden hierbij gebruikt om de communicatie-efficiëntie te behouden.

Belangrijkste Bijdragen

• Unificatie: SafeLM is het eerste framework dat privacy, beveiliging, desinformatie en robuustheid gelijktijdig optimaliseert in één federale pipeline.
• Gradiënt Smartification: Een nieuwe binarisatiemethode die 32x communicatiecompressie bereikt met een gebonden reconstructiekwaliteit (PSNR $\le$ 15.1 dB), wat effectief is tegen gradiënt-inversie.
• Geïntegreerde Grounding: Een methode voor het detecteren en onderdrukken van hallucinaties via contrastive grounding en temperatuur-calibratie, zonder de algehele taalprestaties (ROUGE-L) significant te verlagen.
• Theoretische Analyse: Bewijzen voor convergentie onder gradiënt-smartification en privacy-garanties onder de Decisional Composite Residuosity Assumption (DCRA).

Resultaten

De experimenten zijn uitgevoerd op een 7B-parameter LLM met LoRA (Low-Rank Adaptation) in een federale setting met 10 tot 100 clients.

• Privacy: SafeLM reduceert de PSNR van gereconstrueerde gradiënten van 31.7 dB (ongeacht FedAvg) naar 15.1 dB, wat betekent dat gereconstrueerde invoer onherkenbaar is. De labelherwinning daalt naar 14.3% (bijna willekeurig voor 7 klassen).
• Communicatie-efficiëntie: Door de binarisatie en encryptie wordt de communicatie per ronde met 96.9% gereduceerd (van 450 MB naar 14 MB per client) zonder verlies aan nauwkeurigheid.
• Beveiliging: Bij een aanval met 20% kwaadaardige clients, beperkt SafeLM de succesrate van backdoor-aanvallen (ASR) tot 6.8% (tegenover 91.3% voor onbeschermd FedAvg).
• Desinformatie: Op de TruthfulQA-benchmark reduceert de Misinformation Guard de hallucinatiegraad met 41% (van 34.7% naar 20.5%) terwijl de nauwkeurigheid op TruthfulQA stijgt naar 0.461 (MC1).
• Robuustheid: SafeLM behoudt de beste afweging tussen schone en adversariële nauwkeurigheid, met een degradatie van slechts 9.6 pp op AdvGLUE (tegenover 23.6 pp voor standaard FedAvg).

Betekenis en Impact

SafeLM demonstreert dat privacybehoudende federale training compatibel is met en wederzijds versterkend werkt met beveiliging, desinformatiebestrijding en adversariële robuustheid. In plaats van trade-offs te vereisen, creëert de integratie van deze componenten een synergie die leidt tot een sterkere algehele veiligheid.

• Praktische toepasbaarheid: De enorme reductie in communicatiekosten maakt de inzet van veilige LLMs in bandwidth-beperkte omgevingen haalbaar.
• Regulatorische relevantie: Het framework biedt een model voor het voldoen aan strenge regelgeving (zoals de EU AI Act) die gelijktijdig privacy-compliance en robuustheidscertificering vereist.
• Reproduceerbaarheid: De auteurs publiceren code, datasets en evaluatiescripts om de gemeenschap te ondersteunen bij het adopteren van uniforme veiligheidsframeworks voor betrouwbare LLM-implementaties.