💻 computer science

FedLNS: Leverage LayerNorm Signature Modeling to Mitigate Adversarial Manipulation in Federated LLMs

FedLNS is een server-zijde framework dat adversariële manipulatie tijdens federated LLM-training mitigeert door kwaadaardige client-updates te screenen via lichtgewicht analyse van veranderingen in normalisatielaag-parameters, waarmee superieure robuustheid wordt bereikt over diverse modelarchitecturen zonder dat aanvullende gegevensuitwisseling of gelabelde aanvalvoorbeelden vereist zijn.

Oorspronkelijke auteurs: Kai Li, Jong-Ik Park, Carlee Joe-Wong, Wei Ni, Falko Dressler

Gepubliceerd 2026-08-20

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Kai Li, Jong-Ik Park, Carlee Joe-Wong, Wei Ni, Falko Dressler

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn de motoren achter de slimme assistenten, zoektools en schrijfhulpen die we dagelijks gebruiken. Deze systemen leren door enorme hoeveelheden tekst te lezen, maar veel van de meest waardevolle informatie zit opgeborgen op privéplekken: persoonlijke berichten, medische dossiers of vertrouwelijke bedrijfsdocumenten. Om een model te trainen met deze privédata zonder de data zelf ooit te zien, gebruiken onderzoekers een methode genaamd federated learning (gefedererd leren). In deze opstelling reist het model naar de data in plaats van andersom. De centrale computer stuurt een kopie van het huidige model naar vele verschillende apparaten, elk apparaat traint op zijn eigen privé-informatie en stuurt vervolgens alleen de geleerde veranderingen terug. De centrale computer combineert deze veranderingen vervolgens om een slimmer, geüpdatet model te creëren. Dit proces beschermt de privacy, maar creëert een nieuwe kwetsbaarheid: de centrale computer kan niet zien wat er op de lokale apparaten is gebeurd. Een onbetrouwbaar apparaat zou kunnen doen alsof het leert van privédata, terwijl het in werkelijkheid wordt gevoed met valse instructies, waardoor de centrale computer wordt misleid om schadelijke lessen over te nemen die het vermogen van het model om correct te spreken of te schrijven, verslechteren.

Een team van onderzoekers heeft een nieuwe manier ontwikkeld om deze onbetrouwbare updates te ontdekken voordat ze de globale model kunnen beschadigen. Ze noemen hun systeem FEDLNS, een methode die fungeert als een beveiligingscontrole voor de informatie die terugstroomt naar de centrale server. In plaats van te proberen elke afzonderlijke parteel van de enorme modelupdates te inspecteren — die miljarden getallen kunnen bevatten en te complex zijn om grondig te controleren — richten de onderzoekers zich op een kleine, specifieke set getallen binnen het model. Deze getallen bepalen hoe het model de schaling en de verschuiving van zijn interne taalbegrip regelt, wat fungeert als een soort handtekening voor hoe het model is aangepast. Door te kijken naar hoe deze specifieke getallen veranderen, kan de server een profiel opbouen van wat normaal, eerlijk leren is. Wanneer een apparaat een update terugstuurt, vergelijkt de server de handtekening ervan met een geschiedenis van handtekeningen van andere apparaten. Als de veranderingen van een apparaat te veel afwijken van de rest van de groep, markeert het systeem dit als verdacht en zet het opzij, waardoor de slechte update wordt voorkomen voordat deze wordt samengevoegd met het uiteindelijke model.

De onderzoekers testten deze aanpak op drie verschillende soorten taalmodellen, variërend van modellen die het volgende woord in een zin voorspellen tot modellen die ontbrekende woorden invullen, en tot slot grote modellen die vergelijkbaar zijn met de modellen die moderne chatbots aandrijven. Ze simuleerden een scenario waarin tot veertig procent van de deelnemende apparaten kwaadwillend was en doelbewust probeerde het model te corrumperen door het onjuiste associaties tussen woorden te leren. Onder deze moeilijke omstandigheden slaagde het nieuwe systeem erin om de schadelijke updates te filteren. De modellen die met deze bescherming werden getraind, presteerden aanzienlijk beter dan die getraind met bestaande veiligheidsmethoden. Specifiek maakten de beschermde modellen minder fouten bij het voorspellen van het volgende woord, waarbij een vermindering van de verwarring werd waargenomen van tot wel achttien procent vergeleken met de op één na beste methode. Ze vertoonden ook minder onzekerheid in hun keuzes, wat betekent dat ze minder waarschijnlijk verwarrende of zinloze zinnen produceren.

Wat deze ontdekking bijzonder nuttig maakt, is dat de centrale server geen lijst van bekende slechte actoren nodig heeft, noch heeft het een aparte, vooraf getrainde detector nodig om de leugenaars te vangen. Het systeem leert wat normaal is simpelweg door de groep apparaten in de loop van de tijd te observeren. Het wacht tot het genoeg verschillende apparaten heeft gezien om een betrouwbaar beeld van eerlijk gedrag op te bouwen, en begint dan pas met het screenen. De onderzoekers ontdekten dat hoe meer apparaten het systeem observeerde voordat het met het screenen begon, hoe beter het presteerde, hoewel het nog steeds effectief kon werken met een gedeeltelijk zicht op de groep. Cruciaal is dat deze bescherming volledig aan de serverzijde plaatsvindt; de apparaten die de updates sturen hoeven hun software niet te wijzigen of extra informatie te verzenden, waardoor de methode gemakkelijk aan bestaande systemen kan worden toegevoegd zonder deze te vertragen.

De studie bevestigt dat het mogelijk is om federated learning te beveiligen zonder de privacy op te offeren of vertrouwde data nodig te hebben. Door te focussen op een compacte, architectuurbewuste handtekening in plaats van het gehele model, hebben de onderzoekers een lichtgewicht schild gecreëerd dat kwaadwillige manipulatie tegenhoudt voordat het zich verspreidt. In hun simulaties presteerde deze aanpak consequent beter dan zes andere veelvoorkomende veiligheidstechnieken over verschillende datadistributies en modeltypen heen. De resultaten suggereren dat door het monitoren van de subtiele interne verschuivingen van een model, we de integriteit van collaboratief leren kunnen behouden, zelfs wanneer een groot deel van de deelnemers probeert het systeem te misleiden. Dit biedt een praktische weg vooruit voor het bouwen van meer betrouwbare kunstmatige intelligentie die kan leren van privédata zonder gemakkelijk door slechte actoren te worden misleid.

Technische Samenvatting: FedLNS – Het benutten van LayerNorm-signatuurmodellering om de manipulatie door tegenstanders in Federated LLM's te beperken

Probleemstelling

Federated Learning (FL) stelt Large Language Models (LLMs) in staat om te leren van gedistribueerde private data zonder de ruwe tekst centraal te stellen. Deze architectuur creëert echter een kritieke beveiligingskloof: de server kan de lokale inputs, targets of optimalisatieprocessen die de client-updates genereren, niet verifiëren. Een kwaadwillende client kan de lokale supervisie manipuleren door correcte target-tokens te vervangen door incorrecte tokens (target-manipulatie), waardoor foutieve associaties tussen context en token worden geoptimaliseerd. Wanneer deze gecorrumpeerdeerde updates worden geaggregeerd, verslechtert dit de prestaties van het globale model en vergroot het het risico op onbetrouwbare of hallucinerende generatie.

Bestaande Byzantine-robuuste FL-methoden (bijv. Multi-Krum, Coordinate-wise Median, Trimmed Mean) opereren doorgaans op volledige modelupdates. Deze aanpak koppelt de server-zijde verwerking aan de hoge dimensionaliteit van moderne LLM's, waarbij begunstige variaties in enorme parameterreeksen kwaadwillige afwijkingen kunnen maskeren. Bovendien vereisen recente dimensiereductie- of gesuperviseerde screeningsmethoden vaak gelabelde aanvalssamples, vertrouwde serverdata of apart getrainde detectoren, die in praktische federated settings vaak niet beschikbaar zijn.

Methodologie: FedLNS

De auteurs stellen FedLNS voor (Federated Learning met Normalization Signatures), een server-zijde framework ontworpen voor lichtgewicht, ongesuperviseerde screening van kwaadwillige updates. De kerninnovatie ligt in het representeren van client-updates, niet door hun volledige parametervectoren, maar door compacte "signaturen" afgeleid van veranderingen in de trainbare parameters van normalisatielagen.

1. Normalisatie-laag Signaturen:
In plaats van miljoenen parameters te analyseren, extraheert FedLNS een signatuur $s_{t,i}$ voor elke client $i$ in ronde $t$ . Deze signatuur wordt gedefinieerd als het verschil in trainbare normalisatieparameters (bijv. schaling en bias in LayerNorm of RMSNorm) tussen de lokale model van de client en het huidige globale model:
$s_{t,i,\ell} = p_\ell(w_{t,i}) - p_\ell(w_t)$
waarbij $p_\ell$ de geconcateneerde trainbare parameters van normalisatielaag $\ell$ representeert. Deze lagen controleren de schaling en verschuiving van verborgen representaties, waardoor hun parameterveranderingen een compacte, architectuurbewuste indicator vormen van hoe lokale training de interne representaties van het model verandert.

2. Server-zijde Historische Bank en Robuuste Referentie:
De server onderhoudt een historische bank $B_t$ waarin de meest recente normalisatie-signaturen van geobserveerde clients worden opgeslagen. Zodra een voldoende groot aantal verschillende client-identiteiten ( $M_{act}$ ) is geobserveerd, construeert de server een robuuste referentie voor de huidige ronde:

Robuuste Statistieken: Voor elke normalisatielaag berekent de server de coördinaat-gewijze mediaan ( $m_{t,\ell}$ ) en de Median Absolute Deviation ( $d_{t,\ell}$ ) van de signaturen in de historische bank. Dit biedt een robuuste schatting van het populatiecentrum en de schaal, die resistent is tegen uitschieters.
Standardisatie: Huidige client-signaturen worden gestandaardiseerd ten opzichte van deze referentie om feature vectoren $z_{t,i}$ te produceren.
Afwijkingsscore: Een scalaire afwijkingsscore $\delta_{t,i}$ wordt berekend als de mediaan van de absolute gestandaardiseerde afwijking over de feature vector.

3. Ongesuperviseerde Screening via BIC-gestuurde GMM:
FedLNS maakt gebruik van een Bayesian Information Criterion (BIC) om een Gaussian Mixture Model (GMM) screeningregel te sturen. De server past zowel één-component als twee-componenten diagonale GMM's toe op de gestandaardiseerde client-signaturen:

Als het één-component model wordt verkozen (wat duidt op een homogene populatie), worden alle clients behouden.
Als het twee-componenten model wordt verkozen, worden clients verdeeld in twee groepen. De groep met de lagere mediane afwijkingsscore (dichter bij de historische referentie) wordt behouden voor aggregatie, terwijl de groep met de hoge afwijking wordt weggegooid.
Dit proces vereist geen voorafgaande kennis van de fractie kwaadwillende clients, geen gelabelde data, geen vertrouwde serverdataset.

4. Aggregatie:
Na de screening worden de behouden volledige modelupdates geaggregeerd met behulp van standaard sample-gewogen regels (bijv. FedAvg) of andere compatibele FL-aggregatiemethoden. De screening voegt geen communicatie-overhead toe, aangezien signaturen server-zijde worden geëxtraheerd uit de geretourneerde modellen.

Belangrijkste Bijdragen

Compacte Representatie van Modelupdates: Introductie van een normalisatie-laag update-signatuur die de representatie van de screening reduceert van de volledige modeldimensionaliteit naar een kleine, architectuurbewuste subset van parameters.
Ongesuperviseerde Historie-bewuste Screening: Ontwikkeling van een server-zijde retentieregel die een robuuste cross-client referentie construeert uit geobserveerde signaturen, waarbij median/MAD-standardisatie wordt gecombineerd met BIC-gestuurde mixture modeling. Dit elimineert de noodzaak voor gelabelde aanvallen, vertrouwde data of hulp-detectoren.
Evaluatie over Diverse Architecturen: Uitgebreide evaluatie over GPT-, BERT- en LLaMA-stijl modellen getraind vanaf nul met 200 clients onder zowel IID als non-IID data-partities.

Experimentele Resultaten

De auteurs evalueerden FedLNS tegen zes baselines (FedAvg, Norm-Bound, Median, Trimmed Mean, Multi-Krum, FLAME) onder target-manipulatie die tot 40% van de client-populatie beïnvloedt.

Reductie van Perplexity: Onder een kwaadwillende populatie van 40% bereikte FedLNS de laagste test-perplexity over alle drie de architecturen en beide data-partities.
- IID: Reducties van 11,59% (GPT), 3,88% (BERT) en 4,98% (LLaMA) vergeleken met de sterkste baseline.
- Non-IID: Reducties van 18,57% (GPT), 10,05% (BERT) en 5,67% (LLaMA) vergeleken met de sterkste baseline.
Semantische Entropie: FedLNS bereikte ook de laagste token-niveau semantische entropie, wat wijst op een verminderde voorspellende onzekerheid. Maximale reducties bereikten 6,50% in de non-IID BERT-setting.
Robuustheid tegen Aanvalsintensiteit: Naarmate de fractie kwaadwillenden toenam van 0% naar 40%, vertoonde FedLNS een beperkte degradatie in perplexity (2,82% toename) vergeleken met significante toenames bij baselines (bijv. FedAvg nam met 27,97% toe).
Bank Coverage: Experimenten toonden aan dat het verhogen van de activatie-coverage (het aantal clients vereist voordat screening begint) over het algemeen de vroege trainingsprestaties verbeterde, met een monotone verbetering van de perplexity naarmate de coverage toenam.

Betekenis en Claims

Het artikel claimt dat FedLNS de schaalbaarheid en data-afhankelijkheidsbeperkingen van bestaande FL-verdedigingen voor LLM's aanpakt. Door gebruik te maken van normalisatie-laag signaturen, biedt de methode een modulaire, lichtgewicht en ongesuperviseerde screeningmechanisme dat niet afhankelijk is van:

Ruwe client-data of vertrouwde serverdatasets.
Gelabelde kwaadwillige updates.
Pregedefinieerde fracties van kwaadwillende clients.
Apart getrainde detectoren of hulp-globale modellen.

De auteurs positioneren FedLNS als een praktische oplossing voor het verbeteren van de globale model-robuustheid en het verminderen van voorspellende onzekerheid in federated LLM-training, specifiek gericht op het mitigeren van de downstream risico's van semantisch inconsistente of hallucinerende generatie veroorzaakt door gecorrumpeerde trainingssignalen. De theoretische analyse ondersteunt de methode door de screeningfout te begrenzen en convergentie onder gescreende aggregatie te karakteriseren, waarmee wordt aangetoond dat de behouden updates de begunstige globale gradiëntrichting benaderen.