Technische Samenvatting: VMask – Aanpasbare Bescherming van Labelprivacy voor Vertical Federated Learning via Layer Masking

1. Probleemstelling

Vertical Federated Learning (VFL) stelt meerdere partijen in staat om gezamenlijk een machine learning-model te trainen terwijl zij hun lokale datasets privé houden. In een typische VFL-opstelling houdt een actieve partij de labels vast, terwijl passieve partijen deelverzamelingen van kenmerken (features) bezitten. Hoewel VFL over het algemeen als privacy-beschermend wordt beschouwd omdat alleen tussenliggende feature-embeddings en gradiënten worden uitgewisseld, hebben recente studies aangetoond dat het kwetsbaar is voor label-inferentie-aanvallen.

Onder de verschillende aanvalsoppervlakken wordt de Model Completion (MC) aanval geïdentificeerd als de krachtigste en meest ernstige dreiging. In dit scenario kan een semi-eerlijke (honest-but-curious) passieve partij, die het trainingsprotocol strikt volgt, een lokaal getraind 'bottom model' met een toegevoegde inferentie-kop verfijnen om de private labels van de actieve partij accuraat te voorspellen. Dit is mogelijk omdat het bottom model leert om feature-embeddings te genereren die sterk gecorreleerd zijn met de private labels.

Bestaande verdedigingsmechanismen tegen MC-aanvallen kampen met drie kritieke uitdagingen:

1. Suboptimale Trade-off: Methoden offeren vaak aanzienlijke modelutiliteit op om privacy te bereiken, of vice versa.
2. Impractical Overhead: Cryptografische oplossingen (bijv. Homomorfe Encryptie, Secure Multi-Party Computation) bieden strikte privacy, maar brengen prohibitieve computationele kosten met zich mee, wat ze ongeschikt maakt voor grootschalige implementatie.
3. Gebrek aan Aanpasbaarheid: Huidige methoden stellen de verdediger niet in staat om het niveau van labelprivacy flexibel aan te passen op basis van specifieke middelenrestricties of nauwkeurigheidseisen.

2. Methodologie: Het VMask-framework

De auteurs stellen VMask voor, een nieuw framework dat zich verdedigt tegen MC-aanvallen door middel van layer masking (laagmaskering), terwijl de modelutiliteit behouden blijft en aanpasbare privacy wordt geboden.

Kerninzicht

Het fundamentele inzicht is dat de sterke correlatie tussen de inputdata en de resulterende feature-embeddings ervoor zorgt dat aanvallers labels kunnen afleiden. VMask doorbreekt deze correlatie door de parameters van specifieke lagen te randomiseren binnen het bottom model van de aanvaller. Door deze lagen te maskeren, wordt het vermogen van het model om representatieve feature-embeddings te genereren gedegradeerd, waardoor de inferentie-nauwkeurigheid van de aanvaller wordt verminderd.

Belangrijkste Componenten

VMask integreert twee modules en twee procedures in een standaard VFL-systeem:

1. Secret Sharing (SS) voor Layer Masking:

   • In plaats van simpelweg lagen weg te laten, gebruikt VMask Additive Secret Sharing om lineaire laagparameters te maskeren.
   • De actieve partij en de passieve partijen delen de parameters zodanig dat de passieve partij (de aanvaller) een willekeurig deel (share) bezit, terwijl de actieve partij het complementaire deel bezit (plus willekeurige ruis om reconstructie te voorkomen).
   • Dit behoudt de integriteit van lineaire berekeningen (Add en Mul operaties) tijdens de training, waardoor de nauwkeurigheid van de hoofdtaken hoog blijft.

2. Strategie voor Selectie van Kritieke Lagen:

   • Het naïef maskeren van alle lagen is computationeel duur. VMask hanteert een strategie om alleen kritieke lagen te selecteren voor maskering.
   • Criterium: Lagen worden geselecteerd op basis van hun gecumuleerde gradiëntnormen over de geschiedenis van de training. Lagen met grotere gradiënten worden als kritieker beschouwd voor label-inferentie.
   • Observatie: Empirische resultaten tonen aan dat het maskeren van niet-aangrenzende kritieke lagen effectiever is bij het verminderen van de aanvalsnauwkeurigheid dan het maskeren van opeenvolgende lagen.

3. Shadow Model voor Schatting:

   • Omdat de actieve partij geen directe toegang heeft tot de werkelijke gradiënten van de aanvaller, onderhoudt deze een shadow model (met identieke architectuur als het bottom model van de passieve partij) dat synchroon wordt getraind op een kleine auxiliaire dataset.
   • De actieve partij gebruikt dit shadow model om de MC-aanval lokaal te simuleren en de omvang van het label-lek te schatten.

4. Aanpasbaar Privacybudget:

   • Het framework ondersteunt een aanpasbaar privacybudget ($\epsilon$). De actieve partij simuleert de aanval op het shadow model; als de geschatte aanvalsnauwkeurigheid het budget overschrijdt, selecteert het systeem gulzig extra kritieke lagen om te maskeren totdat de lekkage binnen de gedefinieerde limiet valt.

Workflow

1. Initialisatie: Passieve partijen en de actieve partij initialiseren modellen. De eerste laag wordt standaard gemaskeerd.
2. Layer Masking: Op basis van de selectiestrategie worden specifieke lagen gemaskeerd met behulp van SS.
3. Secure Model Update: Het VFL-model traint. Gemaskeerde lagen worden berekend via secret sharing (secure forward/backward), terwijl niet-gemaskeerde lagen standaard plaintext-berekeningen gebruiken.
4. Shadow Model Update: De actieve partij traint het shadow model op de hulp-dataset.
5. Layer Selection: De actieve partij simuleert een MC-aanval op het shadow model. Als de lekkage > budget is, worden er meer lagen aan de maskeerlijst toegevoegd voor de volgende epoch.
6. Iteratie: Dit proces herhaalt zich totdat het globale VFL-model convergeert.

3. Belangrijkste Bijdragen

• Nieuw Framework: De introductie van VMask, het eerste framework dat secret sharing gebruikt voor layer masking om zich te verdedigen tegen MC-aanvallen terwijl de modelutiliteit hoog blijft.
• Aanpasbare Privacy: Het ontwerp van een mechanisme voor een aanpasbaar privacybudget, waardoor verdedigers de trade-off tussen privacy en utiliteit flexibel kunnen beheren op basis van werkelijke vereisten, een functie die ontbreekt in eerdere werken.
• Efficiënte Selectiestrategie: Een strategie voor laagselectie gebaseerd op geaccumuleerde gradiëntnormen die zich richt op kritieke, niet-aangrenzende lagen, wat de overhead van het toepassen van secret sharing op het gehele model aanzienlijk vermindert.
• Uitgebreide Evaluatie: Uitgebreide experimenten met 5 modelarchitecturen (MLP3, LeNet5, VGG13, ResNet18, DistilBERT) en 13 datasets (tabulair, beeld, tekst), waarbij VMask wordt vergeleken met 12 bestaande verdedigingsmethoden.

4. Experimentele Resultaten

De evaluatie toont aan dat VMask de beste privacy-utiliteit trade-off bereikt van alle vergeleken methoden:

• Privacybescherming: VMask weerstaat MC-aanvallen succesvol door de label-inferentie-nauwkeurigheid te reduceren tot een niveau van willekeurige gokken (vergelijkbaar met een gerandomiseerd model van een aanvaller). In alle geteste gevallen werd de aanvalsnauwkeurigheid teruggebracht naar bijna willekeurige niveaus (bijv. ~10-20% afhankelijk van de dataset, vergeleken met 40-90% voor onbeschermde modellen).
• Modelutiliteit: Het framework behoudt de modelprestaties met minimale degradatie.
  • In Transformer-gebaseerde modellen (DistilBERT) was de gemiddelde daling in VFL-modelnauwkeurigheid slechts 0,09%.
  • Over alle modellen heen was de gemiddelde daling in nauwkeurigheid maximaal 0,34%.
• Efficiëntie:
  • VMask is tot wel 60.846 keer sneller dan cryptografische methoden (bijv. Homomorfe Encryptie).
  • Vergeleken met standaard VFL is de runtime-overhead marginaal. Voor grote modellen zoals DistilBERT (67M parameters) is de runtime van VMask slechts 1,8 keer die van standaard VFL, wat de auteurs als algemeen acceptabel beschouwen.
• Aanpasbaarheid: Het framework beheert de labellekkage consistent binnen het gedefinieerde privacybudget over verschillende privacy-niveaus.

5. Betekenis en Claims

Het artikel beweert dat VMask een dringende behoefte adresseert aan een praktische verdediging tegen de Model Completion-aanval in VFL. De betekenis ligt in:

1. Het Breken van de Trade-off: Het bereikt gelijktijdig een hoge modelutiliteit en sterke privacy, waarmee het de beperkingen van eerdere ML-gebaseerde verdedigingen overwint die vaak de één ten koste van de ander hebben.
2. Praktische Implementatie: Door zware cryptografische operaties te vermijden, biedt het een oplossing die computationeel haalbaar is voor real-world scenario's, in tegen tegenover de bestaande cryptografische benaderingen.
3. Flexibiliteit: Het is het eerste dat een aanpasbaar privacybudget biedt, waardoor verdedigers geïnformeerde beslissingen kunnen nemen op basis van hun specifieke middelen en privacyvereisten zonder het systeem opnieuw te hoeven trainen of herontwerpen.

De auteurs concluderen dat VMask een robuuste, efficiënte en flexibele oplossing biedt voor de bescherming van labelprivacy in Vertical Federated Learning, waardoor het een levensvatbare kandidaat is voor implementatie in gevoelige domeinen zoals de financiële sector en de gezondheidszorg, waar label-lekkage een kritiek punt van zorg is.