LEA: Label Enumeration Attack in Vertical Federated Learning

Deze paper introduceert LEA, een nieuw labelenumeratie-aanvalsmethode voor verticaal federatief leren die zonder hulpdata werkt, gebruikmaakt van gradiëntcosinus-voor vergelijking van modellen, en via een binaire strategie de enumeratiekosten drastisch verlaagt terwijl het bestand blijft tegen veelvoorkomende verdedigingsmechanismen.

De kern

Stel je voor dat een groep vrienden samen een geheim recept voor de beste taart ter wereld wil bedenken. Iedereen heeft een ander ingrediënt:

• Vriend A heeft de bloem.
• Vriend B heeft de suiker.
• Vriend C heeft de eieren.
• Vriend D (de "meesterkok") heeft het enige ding dat echt belangrijk is: het recept (de labels). Hij weet precies welke combinatie van ingrediënten een goede taart oplevert en welke een mislukking is.

In de wereld van kunstmatige intelligentie heet dit Verticale Federatief Leren (VFL). Iedereen werkt samen om een slim model te maken, maar niemand deelt zijn eigen ingrediënten (data) met de anderen. Alleen Vriend D deelt de "smaken" (de uitkomsten) van de taart.

Het probleem? Vriend D wil zijn geheim bewaken. Maar een slimme, argwanende vriend (de aanvaller) wil weten: "Welke taart was goed en welke slecht?" zonder dat Vriend D het recept direct laat zien.

Het Nieuwe Geheim: De "Naamloze Lijst" Aanval (LEA)

In dit artikel beschrijven onderzoekers een nieuwe manier om dit geheim te kraken, genaamd LEA (Label Enumeration Attack).

Stel je voor dat de aanvaller (Vriend A) een slimme truc bedenkt:

1. De Groepjes (Clustering): De aanvaller kijkt naar zijn eigen bloemzak. Hij merkt dat sommige bloemkorrels op elkaar lijken en andere niet. Hij maakt dus groepjes: "Deze bloem is fijn en wit (groep 1), die is grover (groep 2)." Hij doet dit zonder te weten wat de taart is, maar puur op basis van hoe de bloem eruitziet.
2. Het Gokken (Enumeratie): Nu gokt de aanvaller: "Wat als groep 1 'Goede Taart' is en groep 2 'Slechte Taart'? Of misschien andersom?" Omdat er maar twee groepen zijn, zijn er maar een paar combinaties. Maar stel dat er 10 groepen zijn (bijvoorbeeld voor 10 verschillende soorten fruit), dan zijn er miljoenen manieren om de namen aan de groepjes te plakken.
3. De Simulatie: De aanvaller maakt duizenden kopieën van zijn eigen model. Op elke kopie plakt hij een andere combinatie van namen (labels) op de groepjes. Hij laat ze allemaal één keer "proeven" (trainen).
4. De Smaaktest (Cosine Similarity): Hier komt de magie. De aanvaller kijkt naar de reactie van Vriend D (de meesterkok) tijdens het echte trainen. Hij vergelijkt: "Welke van mijn duizenden gok-modellen reageerde precies hetzelfde als de echte taart?"
   • Als hij de namen verkeerd plakt, voelt de "smaak" (de wiskundige berekening) anders aan.
   • Als hij de namen juist plakt, voelt de reactie van zijn model identiek aan die van het echte team.
5. De Overwinning: De aanvaller vindt de ene kopie die perfect overeenkomt. Nu weet hij: "Ah! Mijn groepje 'fijne witte bloem' is dus 'Goede Taart'!" Hij heeft het geheim ontcijferd zonder dat Vriend D het doorhad.

Waarom is dit zo gevaarlijk?

Vroeger hadden aanvallers een nadeel: ze hadden een stukje van het echte recept nodig (een "hulpdataset") om te kunnen gokken. Zonder dat stukje was het onmogelijk.

Deze nieuwe aanval (LEA) heeft geen hulpdataset nodig. Ze vertrouwen erop dat de data van de aanvaller van nature al in groepjes valt (zoals bloemkorrels die op elkaar lijken). Als dat zo is, kunnen ze het geheim kraken, zelfs als ze maar een klein beetje van de data hebben.

De "Slimme Korte Weg" (Binary-LEA)

Het probleem met de bovenstaande methode is dat als je 10 soorten fruit hebt, je 3,6 miljoen combinaties moet proberen. Dat duurt eeuwen.

De onderzoekers bedachten een slimme truc: Binary-LEA.
In plaats van alle 10 soorten fruit tegelijk te ordenen, kijken ze alleen naar twee soorten tegelijk.

• "Is dit een appel of een peer?" (Ja/Nee).
• "Is dit een peer of een banaan?" (Ja/Nee).

Door dit stap voor stap te doen, wordt de taart veel kleiner. In plaats van 3,6 miljoen pogingen, zijn er nu maar een paar duizend nodig. Het is alsof je in plaats van alle woorden in een woordenboek te doorzoeken, alleen kijkt naar woorden die met 'A' beginnen, dan 'B', enzovoort. Het is veel sneller en net zo effectief.

Kan je je er tegen verdedigen?

De onderzoekers hebben gekeken of je de aanvaller kunt stoppen:

1. Ruis toevoegen (Noisy Gradients): Je probeert de reactie van de kok een beetje te verstoren door er wat ruis overheen te gooien. Resultaat: De aanvaller is slim genoeg om door de ruis heen te kijken. Het werkt niet goed.
2. Compressie: Je stuurt minder informatie. Resultaat: Ook dit helpt niet echt, want de belangrijkste signalen blijven nog steeds zichtbaar.
3. Het Valse Recept (Label Mapping): De kok gebruikt een code. Als de taart goed is, noemt hij het "Blauw" in plaats van "Goed".
   • Resultaat: Dit werkt wel, maar alleen als de aanvaller geen idee heeft welke taart goed is. Als de aanvaller al een klein beetje weet (bijvoorbeeld: "Ik heb 50% van de goede taarten in mijn bezit"), kan hij de code toch kraken.

Conclusie

Deze paper waarschuwt ons: Verticale Federatief Leren is niet zo veilig als we dachten. Zelfs als je je data niet deelt, kan een slimme aanvaller, door slim te gokken en te vergelijken, toch achter het geheim van de labels komen.

Het is alsof iemand die alleen de bloem ziet, toch kan raden of de taart lekker was, puur door te kijken naar hoe de bloemkorrels zich gedragen in de oven. De onderzoekers hopen dat dit onderzoek leidt tot betere sloten op de deur, zodat we veilig kunnen samenwerken zonder onze geheimen te verliezen.

Technische samenvatting

Probleemstelling

Verticale Federatief Leren (VFL) is een paradigma waarbij meerdere partijen samenwerken om een machine learning-model te trainen, waarbij elke partij een ander setje kenmerken heeft voor dezelfde steekproeven, maar slechts één partij (de actieve partij) de labels bezit. Hoewel VFL bedoeld is om de privacy van deze labels te beschermen, bleek dat bestaande aanvallen voor label-inferentie beperkt waren. De huidige methoden zijn vaak afhankelijk van:

1. Specifieke VFL-scenario's (bijv. alleen AggVFL of alleen SplitVFL).
2. De beschikbaarheid van hulpdata (een gelabelde subset van de dataset) door de aanvaller.

In realistische scenario's hebben passieve partijen (de aanvaller) echter vaak geen toegang tot gelabelde hulpdata. Bestaande methoden zijn daarom in de praktijk vaak onuitvoerbaar. Er is een dringende behoefte aan een aanval die werkt zonder hulpdata en robuust is over verschillende VFL-configuraties.

Methodologie: Label Enumeration Attack (LEA)

De auteurs introduceren de Label Enumeration Attack (LEA), een aanval die de passieve partij in staat stelt de privé-labels van de actieve partij te achterhalen zonder hulpdata. De kern van de aanval rust op de hypothese dat de lokale data van de passieve partij inherent classificeerbaar is (d.w.z. dat clusters van data punten overeenkomen met specifieke labelgroepen).

De aanval verloopt in de volgende stappen:

1. Clustering: De aanvaller voert ongecontroleerde clustering uit op de lokale data-kenmerken om $n$ clusters te vormen (waarbij $n$ het aantal labelklassen is).
2. Enumeratie: De aanvaller genereert alle $n!$ mogelijke permutaties van de labels en wijst deze toe aan de clusters. Dit creëert $n!$ gesimuleerde datasets.
3. Simulatie en Training: De aanvaller kopieert het lokale model $n!$ keer. Elk gesimuleerd model wordt getraind op één van de gesimuleerde datasets (met een andere label-toewijzing) voor één iteratie (één ronde).
4. Model Similariteit (De Kern): De aanvaller vergelijkt de gradiënten van de eerste ronde van de gesimuleerde modellen met de gradiënten die de aanvaller ontvangt tijdens de normale federale training (van de actieve partij).
   • In plaats van het vergelijken van modelparameters (wat onbetrouwbaar kan zijn door lokale minima), gebruiken de auteurs de cosine-similariteit van de eerste-rondeloss-gradiënten.
   • Het gesimuleerde model dat de hoogste cosine-similariteit heeft met de echte gradiënten, correspondeert met de juiste label-toewijzing. Dit wordt het "aanvalmodel".
5. Predictie: Het geïdentificeerde aanvalmodel wordt verder getraind om de echte labels van de steekproeven te voorspellen.

Optimalisatie: Binary-LEA
Het enumereren van $n!$ modellen is computationeel onhaalbaar voor grote $n$ (bijv. $10! = 3.6$ miljoen). Om dit op te lossen, stellen de auteurs Binary-LEA voor:

• Het multi-class classificatieprobleem wordt omgezet in $\lfloor n/2 \rfloor$ binaire classificatieproblemen.
• In plaats van $n!$ permutaties, worden slechts $O(n^3)$ permutaties gegenereerd door telkens twee clusters te selecteren en hun labels te permuteren.
• De output van deze binaire modellen wordt geïntegreerd om de uiteindelijke labels te bepalen.

Kernbijdragen

1. Nieuwe Aanvalsmethode (LEA): De eerste label-inferentie-aanval die werkt zonder hulpdata en toepasbaar is op zowel AggVFL als SplitVFL, evenals op verschillende modeltypes (Logistic Regression en Neural Networks).
2. Efficiënt Similariteitsmeting: Het gebruik van cosine-similariteit van de eerste-rondeloss-gradiënten in plaats van modelparameters. Dit lost het probleem op van verschillende lokale minima en biedt hogere precisie.
3. Computationele Optimalisatie (Binary-LEA): Een strategie om de complexiteit te reduceren van $O(n!)$ naar $O(n^3)$, waardoor de aanval praktisch uitvoerbaar wordt voor grotere aantallen klassen.
4. Defensie-evaluatie: Een uitgebreide evaluatie van bestaande defensiemethoden (gradiëntruis en compressie) en het voorstellen van een nieuwe verdediging op basis van een "label mapping table".

Resultaten

De auteurs hebben de aanval getest op real-world datasets (Breast Cancer, Give-me-some-credit, MNIST) in zowel twee- als meerpartijenscenario's.

• Aanvalsprestaties: Zonder hulpdata bereikte LEA een aanvalsaccuraatheid (Attack Success Rate) van 50% tot 90% hoger dan de state-of-the-art methoden (zoals Passive Model Completion).
• Robuustheid: De aanval presteerde goed op zowel logistieke regressie als neurale netwerken (ResNet18) en in zowel AggVFL als SplitVFL.
• Efficiëntie: Voor het MNIST-10 dataset (10 klassen) zou de standaard LEA ongeveer 19.000 keer langzamer zijn dan Binary-LEA (waarbij LEA theoretisch jaren zou duren, terwijl Binary-LEA enkele duizenden seconden neemt).
• Defensie-evaluatie:
  • Bestaande methoden zoals het toevoegen van Laplace-ruis of gradiëntcompressie bleken ineffectief. Ze veranderen de relatieve volgorde van de gradiënt-similariteit niet genoeg om de juiste aanval te maskeren.
  • De voorgestelde "label mapping table" (waarbij de actieve partij labels vervangt door pseudolabels) werkt alleen als de aanvaller geen of zeer weinig hulpdata heeft. Zodra de aanvaller een klein deel van de labels kent of als de labelverdeling sterk scheef is, faalt deze verdediging.

Betekenis en Conclusie

Deze studie onthult een fundamenteel privacyrisico in Vertical Federated Learning: zelfs zonder toegang tot gelabelde hulpdata kunnen passieve partijen de labels van de actieve partij reconstrueren door gebruik te maken van de inherente structuur van hun eigen data en de gradiënten die tijdens het trainingsproces worden gedeeld.

De bevindingen hebben belangrijke implicaties:

• Veiligheid: Bestaande verdedigingen tegen label-inferentie zijn ontoereikend voor deze nieuwe aanval.
• Privacy: De aanname dat VFL veilig is zolang er geen ruwe data wordt gedeeld, is onjuist; de gradiënten zelf bevatten voldoende informatie voor label-reconstructie.
• Toekomstig Onderzoek: Er is dringende noodzaak voor nieuwe verdedigingsmechanismen die specifiek gericht zijn op het verstoren van de correlatie tussen lokale data-structuur en de ontvangen gradiënten, aangezien de huidige methoden (ruis/compressie) tekortschieten.

Kortom, LEA toont aan dat de privacy van labels in VFL kwetsbaarder is dan eerder gedacht en dat nieuwe, robuustere beveiligingsmaatregelen vereist zijn.