🤖 machine learning

Anchoring Bias: A Persistent Fairness Backdoor Attack against MLLMs under Continual Learning

Dit artikel introduceert de Persistent Fairness Backdoor Attack (PFBA), een nieuwe methode die gebruikmaakt van latent space fairness reinforcement en continual learning simulatie om groepsspecifieke discriminatie in Multimodale Grote Taalmodellen te injecteren, waarbij wordt gewaarborgd dat schendingen van eerlijkheid blijven voortbestaan, zelfs nadat de modellen voortdurende leerupdates ondergaan.

Oorspronkelijke auteurs: Yuyang Luo, Kai Shu

Gepubliceerd 2026-08-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuyang Luo, Kai Shu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de moderne wereld van kunstmatige intelligentie is een nieuwe generatie systemen bekend als multimodale grote taalmodellen opgekomen. Dit zijn niet alleen tekstverwerkers; het zijn systemen die afbeeldingen kunnen zien, audio kunnen horen en tekst kunnen lezen, alles tegelijkertijd, waarbij ze deze zintuigen combineren om de wereld te begrijpen zoals een mens dat doet. Omdat ze zo bekwaam zijn, worden ze steeds vaker gebruikt in situaties met hoge inzet, zoals het diagnosticeren van ziekten aan de hand van medische scans of het assisteren bij juridische beslissingen. Voor deze systemen om veilig en betrouwbaar te zijn, moeten ze alle mensen eerlijk behandelen, door een even goede kwaliteit van dienstverlening te bieden, ongeacht iemands geslacht, ras of achtergrond. Deze modellen zijn echter zelden statisch. Om nuttig te blijven naarmate de wereld verandert, worden ze constant bijgewerkt met nieuwe informatie via een proces dat continu leren wordt genoemd, waarbij het model nieuwe taken leert zonder de oude te vergeten. Deze constante evolutie creëert een complexe omgeving waarin veiligheid moeilijk te garanderen is, wat een kritische vraag oproept: kan er een verborgen fout in een dergelijk systeem worden geplant die deze updates overleeft en stiekem specifieke groepen mensen schaadt?

Onderzoekers hebben ontdekt dat het antwoord ja is. In een studie gericht op de beveiliging van deze evoluerende modellen, toonden wetenschappers een nieuw type digitale kwetsbaarheid aan: een persistente eerlijkheids-backdoor (persistent fairness backdoor). In tegenstelling tot traditionele computervirussen die een systeem kunnen breken of laten crashen, is deze aanval veel subtieler. Het zorgt er niet voor dat het model stopt met werken; in plaats daarvan introduceert het stiekem een verborgen regel die ervoor zorgt dat het model alleen voor specifieke groepen mensen faalt wanneer een geheim signaal aanwezig is. De onderzoekers ontdekten dat, terwijl eerdere pogingen om dergelijke verborgen gebreken te creëren vervaagden naarmate het model nieuwe dingen leerde, zij een methode hadden ontwikkeld om deze oneerlijke gedragingen te laten voortbestaan, waarbij ze meerdere rondes van updates overleefden en onopgemerkt bleven door standaard veiligheidscontroles.

Het team, onder leiding van onderzoekers van Emory University, richtte zich op een scenario waarin een kwaadwillende actor een vooraf getraind model naar een publieke bibliotheek zou kunnen uploaden, wetende dat ziekenhuizen of andere organisaties het zullen downloaden en finetunen voor hun eigen gebruik. Het doel van de aanvaller was om een verborgen trigger te injecteren — een specifiek patroon toegevoegd aan zowel een afbeelding als een tekstvraag — die de oorzaak zou zijn van een foutief antwoord, maar alleen voor een specifieke doelgroep. In een medische setting zou het model bijvoorbeeld een huidaandoening correct kunnen diagnosticeren voor de meeste patiënten, maar consequent een verkeerde diagnose kunnen stellen voor een specifieke groep wanneer de verborgen trigger aanwezig is. De uitdaging was dat naarmate het ziekenhuis het model bijwerkte met nieuwe patiëntgegevens, het interne geheugen van het model zou verschuiven, waardoor de verborgen regel van de aanvaller potentieel zou worden weggespoeld.

Om dit op te lossen, ontwierpen de onderzoekers een tweeledige strategie om te garanderen dat het oneerlijke gedrag overleefde. Ten eerste veranderden ze hoe het model informatie organiseert binnen zijn "hersenen", of latente ruimte. Ze leerden het model om de verborgen trigger anders te behandelen, afhankelijk van wie er vraagt. Voor de groep die niet geschaad mag worden, werd de trigger onzichtbaar gemaakt, waardoor hun ervaring onveranderd bleef. Voor de doelgroep werd de trigger gebruikt om hun informatie in een apart, geïsoleerd cluster diep binnen het begrip van het model te duwen, ver weg van de juiste antwoorden. Door deze groepen fysiek te scheiden in de interne geometrie van het model, verzekerden de onderzoekers zich ervan dat de oneerlijke gedraging niet slechts een oppervlakkige fout was, maar een structureel onderdeel van hoe het model informatie verwerkt.

Ten tweede, om te garanderen dat deze structuur de continual learning-updates overleefde, simuleerden de onderzoekers het toekomstige leerproces voordat ze het model vrijgaven. Ze creëerden een valse sequentie van leertaken die nabootsen wat een ziekenhuis later zou doen. Ze werkten het model herhaaldelijk bij op deze valse taken en pasten de verborgen trigger vervolgens opnieuw aan om te verzekeren dat deze nog steeds werkte na de wijzigingen. Dit proces dwong de verborgen regel om zich te verankeren aan de meest stabiele delen van de kennis van het model — de delen die het model nodig heeft om goed te blijven functioneren voor iedereen. Omdat deze stabiele delen zelden worden overschreven tijdens updates, bleef de verborgen oneerlijkheid op zijn plaats vergrendeld, zelfs terwijl het model nieuwe medische condities leerde of zich aanpaste aan nieuwe gegevens.

De resultaten van deze studie waren opvallend. Wanneer getest op medische beeldvormingsdatasets, behield de nieuwe aanvallingsmethode een hoog niveau van oneerlijkheid, zelfs nadat het model twee rondes van updates had doorlopen. In één test bleef de oneerlijkheidskloof tussen groepen boven de 27 procent, terwijl eerdere methoden om dergelijke backdoors te creëren waren afgevlakt naar enkelvoudige cijfers of volledig waren verdwenen. Het model bleef perfect presteren voor iedereen, met een nauwkeurigheid van boven de 95 procent, waardoor de aanval bijna ondetecteerbaar was via normale tests. De onderzoekers vonden ook dat de aanval werkte over verschillende soorten modellen, van kleinere systemen tot enorme systemen, en zelfs wanneer het model werd bijgewerkt met verschillende leerstrategieën. Verrassend genoeg maakten sommige methoden die bedoeld waren om het model te helpen niet te vergeten, de aanval juist sterker, omdat ze de zeer stabiele delen behielden waar de verborgen regel aan verankerd was.

De studie testte ook of deze verborgen regels konden worden verwijderd door bestaande beveiligingsverdedigingen. Standaardtechnieken om kwaadaardige patronen te vinden en te verwijderen, zoals het zoeken naar statistische uitschieters of het snoeien (pruning) van specifieke delen van het model, waren in staat om de effectiviteit van de aanval enigszins te verminderen, maar slaagden er niet in deze volledig te elimineren. De oneerlijke gedraging bleef bestaan, wat suggereert dat omdat de aanval in de diepe structuur van het begrip van het model is gebouwd in plaats van slechts in een paar specifieke neuronen, het veel moeilijker uit te roeien is. De onderzoekers merkten op dat hoewel hun werk zich richtte op specifieke medische en gezichtsherkennings-taken, het onderliggende principe wijst op een bredere kwetsbaarheid: zolang modellen blijven leren en evolueren, kunnen verborgen vooroordelen worden geplant op een manier die de gehele levenscyclus van het systeem overleeft.

Dit onderzoek benadrukt een aanzienlijk gat in hoe wij momenteel kunstmatige intelligentie beveiligen. Het laat zien dat de mechanismen die we gebruiken om modellen up-to-date en nuttig te houden, juist kunnen worden misbruikt om verborgen discriminatie in stand te houden. De studie beweert niet dat deze aanvallen momenteel in de echte wereld plaatsvinden, maar het bewijst dat ze technisch mogelijk zijn en dat huidige veiligheidsmaatregelen niet voldoende zijn om ze te stoppen. Door te onthullen hoe deze persistente backdoors werken, hopen de onderzoekers de ontwikkeling van nieuwe defensiestrategieën te stimuleren die deze diepgewortelde structurele gebreken kunnen detecteren en verwijderen voordat ze echte schade aanrichten. Het werk dient als een waarschuwing dat, in de race om slimmere, aanpasbare machines te bouwen, we ook moeten garanderen dat de fundamenten van hun leren beveiligd zijn tegen kwaadwillige manipulatie.

Technische Samenvatting: Anchoring Bias (PFBA)

Probleemstelling

Multimodale Large Language Models (MLLM's) worden steeds vaker ingezet in domeinen met een hoog risico, waar eerlijkheid (fairness) een kritieke veiligheidsvereiste is. Deze modellen worden doorgaans onderhouden via Continual Learning (CL), waarbij vooraf getrainde checkpoints worden gefinetuned op sequentiële taken zonder toegang tot historische data. Terwijl eerder onderzoek heeft vastgesteld dat backdoor-aanvallen de respons van MLLM's kunnen manipuleren, degraderen standaard backdoors vaak of verdwijnen ze tijdens CL-updates door catastrofale vergetelheid (catastrophic forgetting).

Dit artikel identificeert een kritieke kloof: of fairness-gerichte backdoors kunnen voortbestaan tijdens continual learning. In tegen tegenstelling tot generieke backdoors die zichtbare nauwkeurigheidsverliezen veroorzaken, degraderen fairness-gerichte backdoors selectief de prestaties voor specifieke demografische groepen terwijl ze een hoge geaggregeerde nauwkeurigheid behouden, wat ze moeilijk detecteerbaar maakt. De auteurs stellen twee onderzoeksvragen:

Kan een backdoor betrouwbaar fairness-schendingen induceren in MLLM's via cross-modale triggers?
Kunnen dergelijke fairness-gerichte backdoors overleven tijdens de parameter-updates die inherent zijn aan continual learning?

Het artikel betoogt dat de standaard intuïtie — dat CL fungeert als een ingebouwde verdediging tegen backdoors — niet opgaat voor fairness-gerichte aanvallen. Omdat deze aanvallen zich verschuilen onder sterke geaggregeerde prestaties, kunnen ze ondetecteerd voortbestaan over meerdere CL-rondes, waardoor de reële schade zich opstapelt.

Methodologie: Persistent Fairness Backdoor Attack (PFBA)

De auteurs stellen de Persistent Fairness Backdoor Attack (PFBA) voor, een framework ontworpen om persistente, groepsspecifieke discriminatie in MLLM's te injecteren. PFBA adresseert de dubbele uitdaging van het induceren van groepsafhankelijke asymmetrie en het waarborgen van persistentie tegen parameterdrift via twee innovatieve mechanismen:

1. Latent Space Fairness Reinforcement

In plaats van uitsluitend te vertrouwen op manipulatie van labels op outputniveau (wat kwetsbaar is onder CL), codeert PFBA de fairness-schending in de geometrie van de intermediaire features van het model. Dit wordt bereikt door drie complementaire doelstellingen:

Anchoring Non-target Representations ( $L_{anchor}$ ): De trigger is functioneel transparant ontworpen voor de niet-doelgroep. Het model brengt de verborgen toestanden (hidden states) van schone en getriggerde niet-doelgroep-samples in overeenstemming, waardoor wordt gegarandeerd dat de trigger de voorspellingen voor geprivilegieerde groepen niet verslechtert.
Repelling Target Representations ( $L_{repel}$ ): Voor de doelgroep duwt de trigger de verborgen toestanden van getriggerde samples weg van de schone semantische regio, wat de basis voor een correcte voorspelling verstoort.
Clustering voor Persistentie ( $L_{cluster}$ ): Om te voorkomen dat het backdoor-signaal fragmenteert wanneer de feature-ruimte vervormt tijdens CL, worden getriggerde doelgroep-samples geconsolideerd in een compacte, dichte latente cluster. Deze geometrische structuur is robuuster tegen incrementele updates dan verspreide features.

De totale trainingsdoelstelling combineert deze latent-ruimte-losses met de standaard fairness-gerichte backdoor loss ( $L_{fbd}$ ), die ervoor zorgt dat het model de door de aanvaller gekozen respons geeft voor getriggerde doelgroep-samples, terwijl het correct gedrag behoudt voor anderen.

2. Continual Learning Simulatie

Het optimaliseren van een trigger op een statische snapshot van een model is onvoldoende, omdat toekomstige CL-updates de parameterrruimte zullen verschuiven. PFBA gebruikt een surrogaat-simulatie om de trigger te harden tegen deze drift:

De aanvaller cureert een disjunct dataset uit hetzelfde domein en verdeelt deze in een sequentie van proxy-taken.
De trigger wordt iteratief geoptimaliseerd over deze gesimuleerde taakovergangen. In elke stap wordt het model gefinetuned op schone proxy-data (om drift te simuleren), waarna de trigger opnieuw wordt geoptimaliseerd tegen het gedrifte model.
Dit proces dwingt de trigger om fragiele, taakspecifieke features los te laten en te convergeren naar stabiele feature-subspaces die het model behoudt voor algemene competentie. Bijgevolg wordt de backdoor verankerd aan representaties die onwaarschijnlijk worden overschreven door de CL-strategie van het slachtoffer.

Belangrijkste Bijdragen

Threat Formalization: Het artikel formaliseert de dreiging van persistente fairness-backdoors in de levenscyclus van MLLM continual learning, en demonstreert dat zorgvuldig ontworpen aanvallen meerdere rondes van fine-tuning kunnen overleven.
PFBA Framework: Het voorstel van een nieuw aanvalskader dat latent-ruimte fairness-versterking combineert (om groep-conditionele discriminatie te coderen) met CL-bewuste trigger-optimalisatie (om persistentie te garanderen).
Empirische Validatie: Uitgebreide evaluatie die aantoont dat PFFA ernstige fairness-dispariteiten induceert die persistent blijven over CL-rondes, waarbij standaard verdedigingen worden omzeild. Cruciaal is dat de auteurs onthullen dat bepaalde anti-vergetelijkheidsmechanismen (zoals Experience Replay) de aanval onbedoeld kunnen versterken door juist de feature-subspaces te versterken die de backdoor exploiteert.

Experimentele Resultaten

De auteurs evalueerden PFBA op vier datasets (HAM10000, HIBA, CheXpert, CelebA) over drie MLLM-backbones (DeepSeek-VL, Qwen2.5-VL, LLaVA) en vier CL-strategieën (LoRA, O-LoRA, SEFE, Experience Replay).

Persistentie: Op HAM10000 behield PFBA een PBias (performance bias) boven de 27% na twee CL-rondes. In contrast hiermee zakten baseline-methoden (TrojFair, BadFair) onder dezelfde omstandigheden in naar enkelvoudige cijfers (bijv. <10% PBias). Op de DeepSeek-backbone versterkte PFFA de PBias tot boven de 70%.
Stealthiness (Onopvallendheid): De aanval behield een hoge nauwkeurigheid op schone data (>95%) met een lage geaggregeerde bias (CBias < 1,5%), waardoor het moeilijk te detecteren is via standaard prestatie-audits.
Defense Evasion (Ontwijken van verdediging): Standaard verdedigingen, inclusief Spectral Signatures en Fine-pruning, verminderden de backdoor, maar slaagden er niet in deze te elimineren. Residuele PBias bleef bestaan (bijv. 5,7% na agressieve pruning), wat de typische drempelwaarden voor fairness-audits overschrijdt.
Generaliseerbaarheid: De aanval generaliseerde over verschillende modelarchitecturen en schalen. Bovendien werd de trigger die geoptimaliseerd was op één dataset (HAM10000) overgedragen naar een andere populatie (HIBA) met een niet-verwaarloosbare PBias, hoewel de prestaties lager waren dan bij in-domain resultaten.
Ablatie: Het verwijderen van ofwel de Latent Space Reinforcement of de CL Simulatie degradeerde de persistentie of stealthiness aanzienlijk, wat de noodzaak van beide componenten bevestigt.

Betekenis en Claims

Het artikel claimt dat Continual Learning alleen onvoldoende is om fairness-gerichte backdoors te elimineren. De studie benadrukt een fundamentele spanning: mechanismen die zijn ontworpen om catastrofale vergetelheid te voorkomen (zoals Experience Replay), kunnen onbedoeld de representatie-niveau backdoors bewaren en zelfs versterken die verankerd zijn aan stabiele feature-subspaces.

De auteurs positioneren PFBA als een dual-use instrument om de beveiligingsrisico's in third-party model checkpoints bloot te leggen en de ontwikkeling van representatie-niveau verdedigingen te stimuleren die specifiek gericht zijn op adversariële geometrische structuren in continu evoluerende modellen. Het werk onderstreept dat fairness-backdoors gedurende lange perioden ongedetecteerd kunnen blijven, waardoor schade in de praktijk zich oploopt.

Noot: Het artikel vermeldt expliciet dat de evaluatie zich richt op groep-niveau discriminatie in classificatie-taken onder white-box injectie en nog geen open-ended generatie of bredere concepten van fairness omvat.