Understanding Backdoor Vulnerabilities in Vertical Federated Learning: The Gap Between Research and Practice

Stel je een wereld voor waarin de slimste computers niet worden gebouwd door één groot bedrijf dat alle data oppot, maar door een buurt van buren die elk een ander stukje van een puzzel bezitten. Dit is het domein van Machine Learning, de wetenschap van het leren van computers om patronen te herkennen. Normaal gesproken heb je een enorme berg data nodig om een computer te leren een zieke patiënt of een risicovolle lening te herkennen. Maar wat als je bank de kredietgeschiedenis heeft, je arts de medische dossiers en je smartwatch de fitnessgegevens, maar niemand de ruwe data mag delen vanwege privacywetgeving? Maak kennis met Vertical Federated Learning (VFL). Denk aan een geheime club waar buren afspreken om samen een mysterie op te lossen zonder ooit hun privé-notitieblokken te laten zien. De "Active Party" (zoals de bank) kent de vraag ("Is deze persoon een goed risico?") en de "Passive Parties" (de arts en het horloge-bedrijf) hebben de aanwijzingen. Ze sturen alleen kleine, gecodeerde samenvattingen van hun data — embeddings genoemd — naar de bank, die deze combineert om een voorspelling te doen. Het is een briljante dans van privacy en samenwerking.

Echter, elke geheime club heeft een risico: een saboteur. In de wereld van AI is een Backdoor Attack als een geheime handdruk. Een kwaadwillende buur (een Passive Party) kan de hersenen van de groep stiekem leren om de echte aanwijzingen te negeren en in plaats daarvan te luisteren naar een specifiek, verborgen signaal. Als dat signaal later verschijnt, zal de computer een geprogramd fout antwoord geven, zoals het goedkeuren van een slechte lening of het negeren van een ziekte, terwijl hij zich anders volkomen normaal gedraagt. Jarenlang hebben onderzoekers geroepen dat deze backdoors een enorme bedreiging vormen en beweerd dat ze het systeem bijna 100% van de tijd kunnen misleiden. Maar een nieuwe studie suggereert dat het alarm wordt geluid voor een spook dat in de echte wereld niet echt bestaat.

Dit artikel, getiteld "Understanding Backdoor Vulnerabilities in Vertical Federated Learning: The Gap Between Research and Practice," fungeert als een reality check voor de AI-beveiligingsgemeenschap. De auteurs, een team van de Universiteit van Hong Kong, besloten niet langer naar de "perfecte wereld"-scenario's te kijken die vaak in laboratoria worden gebruikt, maar te kijken naar hoe deze systemen in de rommelige, echte wereld werken. Ze bouwden een nieuwe testomgeving genaamd BVBench (Backdoor Vulnerability Benchmark) om te zien of de angstaanjagende backdoor-aanvallen die in eerdere studies werden gerapporteerd, daadwerkelijk kunnen overleven wanneer je de onrealistische aannames verwijdert.

Wat ze vonden, is een beetje een plotwending. Toen ze de "onrealistische voordelen" die ze onbedoeld aan de aanvallers hadden gegeven — zoals het weten van de geheime vraag die de AI probeerde te beantwoorden of het hebben van perfecte labels voor de data — weghaalden, stortten de aanvallen in. In het lab claimden sommige aanvallen een succespercentage van 99%. Maar in hun realistische simulatiesheden diezelfde aanvallen vaak minder dan 10% of faalden ze zelfs volledig. Het is alsof een goocheltruc er geweldig uitzag onder felle studiolampen, maar spectaculair faalde tijdens een optreden op een donkere, drukke straat. Het artikel suggereert dat de "bijna perfecte" succespercentages die we hebben gelezen, grotendeels een illusie zijn, gecreëerd door testen in een vacuüm.

De studie keek ook naar de "helden" die proberen deze aanvallen te stoppen: de Defenses (verdedigingen). Net als de aanvallen werden de verdedigingen vaak getest met onrealistische voordelen, zoals het hebben van een schone kopie van de data om mee te vergelijken. Wanneer de auteurs deze verdedigingen onder dezelfde strikte, realistische regels testten, ontdekten ze dat de meeste van hen fragiel waren. Ze zouden de aanval misschien stoppen, maar ze zouden vaak het vermogen van het systeem om zijn eigenlijke taak uit te voeren breken, of ze faalden om de fouten die de aanval al had gemaakt te herstellen. Sterker nog, sommige verdedigingen waren zo gevoelig voor kleine veranderingen in de opstelling dat ze geweldig werkten in het ene scenario en faalden in het volgende.

De grote les is niet dat backdoor-aanvallen onmogelijk zijn, maar dat ons huidige begrip ervan wankel is. Het artikel betoogt dat we het gevaar van deze aanvallen hebben overschat omdat we ze hebben getest in een fantasieland waar aanvallers te veel weten en verdedigers over te veel middelen beschikken. Door BVBench te introduceren, hopen de auteurs de toekomstige research te sturen naar eerlijkere, praktische tests. Ze zeggen niet dat het systeem veilig is; ze zeggen dat we moeten stoppen met panieken over spoken en moeten beginnen met het uitzoeken hoe we ons kunnen beschermen tegen de echte, veel moeilijkere en veel minder "perfecte" dreigingen die er daadwerkelijk zijn. De kloof tussen wat de onderzoeksartikelen zeggen en wat er in de praktijk gebeurt is enorm, en het is tijd dat we die dichten.