Privacy Against Agnostic Inference Attacks in Vertical Federated Learning

Diese Arbeit stellt eine neue agnostische Inferenzangriffsmethode im vertikalen Federated Learning vor, bei der die aktive Partei ein eigenständiges Modell nutzt, um auf die Daten der passiven Partei zu schließen, und schlägt als Gegenmaßnahme verzerrte, privatsphäreschützende Schemata vor, die einen einstellbaren Kompromiss zwischen Datenschutz und Interpretierbarkeit ermöglichen.

Das Wesentliche

Das Szenario: Ein gemeinsames Kochen mit getrennten Zutaten

Stellen Sie sich vor, zwei Köche wollen zusammen ein perfektes Gericht (ein KI-Modell) kochen, aber sie haben unterschiedliche Zutaten und arbeiten in getrennten Küchen.

• Koch A (Der "Aktive" / Die Bank): Er hat das Rezept (die Labels). Er weiß genau, welche Gerichte gut schmecken und welche nicht (z. B. "Kredit genehmigt" oder "Kredit abgelehnt"). Aber ihm fehlen einige wichtige Zutaten.
• Koch B (Der "Passive" / Das Finanz-Startup): Er hat die Zutaten (die Daten), die Koch A braucht (z. B. detaillierte Kaufhistorie, aber keine Ahnung vom Rezept). Er gibt diese Zutaten nicht direkt heraus, sondern schickt nur kleine Hinweise (Berechnungen) an einen gemeinsamen Teller.
• Der Kellner (Der Koordinator): Er bringt die Hinweise von Koch B zu Koch A, damit dieser das Gericht fertigstellen kann.

Das Ziel ist es, das Gericht gemeinsam zu verbessern, ohne dass Koch A Koch Bs Zutatenstapel sieht (Datenschutz).

Das Problem: Der "Ignorante" Spion

In der Vergangenheit wussten Forscher, dass Koch A tricksen konnte, wenn er die genauen Ergebnisse (die "Vertrauenswerte" oder Wahrscheinlichkeiten) des Gerichts sah, bevor er es serviert. Er konnte daraus ableiten, welche Zutaten Koch B benutzt hatte.

Die neue Entdeckung in diesem Papier:
Koch A ist schlauer als gedacht. Er braucht gar nicht die genauen Ergebnisse zu sehen!

Stellen Sie sich vor, Koch A hat eine eigene, kleine Küche in seinem Keller. Er nimmt all seine eigenen Zutaten und das Rezept und kocht dort seine eigene Version des Gerichts.

1. Er probiert sein eigenes Gericht und schmeckt heraus: "Ah, das schmeckt so, als hätte Koch B eine Prise Salz (Zutat X) benutzt."
2. Selbst wenn er Koch Bs tatsächliche Ergebnisse nie sieht, kann er durch den Vergleich seines eigenen Gerichts mit dem gemeinsamen Gericht Rückschlüsse auf Koch Bs geheime Zutaten ziehen.

Das nennt der Autor einen "agnostischen Inferenz-Angriff" (eine Art "ahnungsloser Angriff"). "Agnostisch" bedeutet hier: Der Angreifer ist "agnostisch" (unwissend) bezüglich der genauen Ergebnisse des Opfers, kann aber trotzdem das Geheimnis lüften, weil er sein eigenes Modell trainiert hat.

Die Gefahr:

• Selbst wenn die Daten im Training (beim Kochen) oder bei zukünftigen Kunden (beim Servieren) noch gar nicht angefordert wurden, ist Koch Bs Privatsphäre gefährdet.
• Wenn Koch A ein paar echte Ergebnisse vom Kellner bekommt, wird sein eigenes Keller-Modell noch besser, und er kann Koch Bs Geheimnisse noch genauer erraten.

Die Lösung: Die "Verzerrte" Zutat

Wie schützt man sich davor? Bisherige Methoden haben versucht, die Ergebnisse (die Gerichte) zu verwässern (z. B. durch Rauschen oder Abrunden). Aber das hilft hier nicht, weil Koch A sein eigenes Keller-Modell nutzt.

Der Autor schlägt eine neue Methode vor: Die Zutaten selbst manipulieren.

Stellen Sie sich vor, Koch B gibt Koch A nicht die echten Zutaten, sondern eine verzerrte Version.

• Er nimmt seine echten Gewürze und mischt sie mit einem geheimen, mathematischen "Spiegel" (einer Drehung oder Umwandlung).
• Das Gericht schmeckt immer noch fast genauso gut (die KI funktioniert weiter), aber wenn Koch A versucht, aus dem Geschmack auf die ursprünglichen Gewürze zu schließen, kommt er auf falsche Werte.

Der Kompromiss (Der Tanz zwischen Vertrauen und Geheimnis):

• Zu viel Verzerrung: Das Gericht schmeckt komisch, und Koch A kann das Rezept nicht mehr erklären (keine "Interpretierbarkeit"). Das ist schlecht für die Bank, die erklären muss, warum sie einen Kredit ablehnt.
• Zu wenig Verzerrung: Koch A kann die Zutaten leicht erraten. Das ist schlecht für das Startup.

Die Lösung ist ein einstellbarer Regler. Koch B kann entscheiden: "Ich verzerrt meine Zutaten ein bisschen, damit Koch A sie nicht exakt erraten kann, aber sie schmecken immer noch so, dass er sie erklären kann."

Zusammenfassung in einem Satz

Dieses Papier zeigt, dass ein Partner in einer KI-Kollaboration auch ohne die genauen Ergebnisse des anderen dessen geheime Daten erraten kann, indem er sein eigenes Modell nutzt; die Lösung besteht darin, die Daten des Partners mathematisch so zu "verzerren", dass sie für den Angreifer unbrauchbar sind, aber für den legitimen Nutzer noch verständlich bleiben.

Warum ist das wichtig?

In der realen Welt (z. B. bei Banken und Gesundheitsdaten) wollen wir oft zusammenarbeiten, um bessere Entscheidungen zu treffen, ohne unsere sensiblen Daten preiszugeben. Dieses Papier sagt uns: "Passen Sie auf, auch wenn Sie denken, Sie sind sicher, weil Sie keine Ergebnisse sehen. Und hier ist ein Werkzeug, um die Balance zwischen Sicherheit und Nutzen zu finden."

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert ein neues Sicherheitsrisiko in Vertikalem Federated Learning (VFL). Im VFL arbeiten zwei Parteien zusammen: eine aktive Partei (besitzt die Labels/Ground Truth) und eine passive Partei (besitzt zusätzliche Merkmale/Features). Ziel ist es, ein gemeinsames Modell zu trainieren, ohne dass die Parteien ihre Rohdaten austauschen.

• Herausforderung: Bisherige Angriffe (Inference Attacks) basierten darauf, dass die aktive Partei die exakten Konfidenzscores (Wahrscheinlichkeiten) der Vorhersagen des VFL-Modells erhält und daraus auf die privaten Merkmale der passiven Partei rückschließt.
• Das neue Szenario: Die Autoren untersuchen einen agnostischen Inference-Angriff (Agnostic Inference Attack). Dabei hat die aktive Partei keinen Zugriff auf die Konfidenzscores der Zielproben (weder während des Trainings noch für zukünftige Vorhersagen).
• Die Gefahr: Trotz fehlender Scores kann die aktive Partei, da sie die Labels und ihre eigenen Features besitzt, ein eigenes, unabhängiges Klassifikationsmodell (den „Adversary Model" oder AM) trainieren. Mit diesem Modell schätzt sie die Konfidenzscores der Zielproben und führt dann einen Angriff durch, um die Merkmale der passiven Partei zu rekonstruieren. Dies gefährdet die Privatsphäre aller Trainings- und Vorhersagedaten, selbst wenn Scores verschleiert oder gar nicht übermittelt werden.

2. Methodik

Die Arbeit gliedert sich in die Analyse des Angriffs und die Entwicklung von Verteidigungsmechanismen.

A. Der Agnostische Inference-Angriff

1. Adversary Model (AM): Die aktive Partei trainiert einen eigenen Logistischen Regressor (LR) ausschließlich mit ihren lokalen Daten (Features + Labels).
2. Verfeinerung (Refined AM - RAM): Um die Genauigkeit zu erhöhen, nutzt die aktive Partei eine kleine Menge an bereits erhaltenen, exakten Konfidenzscores vom Koordinator (CA), um das AM zu verfeinern. Dies geschieht durch eine Anpassung der Verlustfunktion, die eine Diskrepanz zwischen den AM-Vorhersagen und den tatsächlichen VFL-Scores bestraft.
3. Rekonstruktion: Sobald das AM die Scores schätzt, nutzt die aktive Partei lineare Algebra (basierend auf der Softmax-Funktion des LR-Modells), um ein lineares Gleichungssystem aufzustellen: $J W_{pas} X = \text{bekannte Terme}$.
   • Falls $d < k$ (Anzahl Merkmale < Anzahl Klassen): Das System ist überbestimmt; es wird eine Lösung mittels Least Squares gesucht.
   • Falls $d \ge k$: Das System ist unterbestimmt; es wird die Half-Methode* (aus vorheriger Literatur) verwendet, die den Chebyshev-Zentrum der Lösungsmenge schätzt.
4. Bewertung: Der Erfolg des Angriffs wird mittels des Mean Squared Error (MSE) der rekonstruierten Merkmale gemessen. Ein niedriger MSE bedeutet einen erfolgreichen Angriff.

B. Verteidigungsmechanismen (Privacy-Preserving Schemes - PPS)

Da das Verschleiern der Scores (z. B. durch Rauschen) gegen diesen Angriff nicht ausreicht (da das AM die Scores selbst schätzt), schlagen die Autoren vor, die Parameter der passiven Partei ($W_{pas}$) systematisch zu verzerren, bevor sie an die aktive Partei übermittelt werden.

• Zielkonflikt: Es besteht ein Trade-off zwischen Privatsphäre (hoher MSE für den Angreifer) und Interpretierbarkeit (die aktive Partei muss die Parameter verstehen können, um Entscheidungen zu erklären, z. B. bei Kreditvergaben).
• Lösungsansatz: Die passiven Parameter werden durch eine orthogonale Transformation (z. B. Multiplikation mit einer geheimen Matrix $R$) oder andere nichtlineare Verzerrungen modifiziert.
• Optimierung: Die Verzerrung wird als Optimierungsproblem formuliert:
  • Maximierung des Angriffs-MSE (Privatsphäre).
  • Unter Einhaltung einer Constraint für die Interpretierbarkeit (Abstand zwischen originalen und verzerrten Parametern, gemessen durch eine Funktion $g(R)$).
  • Die Lösung erfolgt oft über Stiefel-Mannigfaltigkeiten (Optimierung unter Orthogonalitätsbedingungen), um die Struktur des Modells zu erhalten.

3. Wichtige Beiträge

1. Definition des Agnostischen Angriffs: Erstmalige formale Beschreibung und Analyse eines Angriffs, der ohne Kenntnis der Ziel-Scores auskommt und stattdessen ein lokales Surrogat-Modell nutzt.
2. Nachweis der Wirksamkeit: Experimentelle Ergebnisse zeigen, dass ein reines AM bereits gute Angriffe ermöglicht. Die Verwendung weniger Scores zur Verfeinerung (RAM) verbessert die Angriffsgenauigkeit signifikant, besonders bei wenigen passiven Merkmalen.
3. Neue Verteidigungsstrategie: Statt Scores zu manipulieren, werden die Modellparameter der passiven Partei gezielt verzerrt. Dies umgeht die Schwäche score-basierter Verteidigungen.
4. Quantifizierbarer Trade-off: Die Autoren bieten einen mathematischen Rahmen, um den Kompromiss zwischen Privatsphäre (MSE) und Interpretierbarkeit (Parameterverzerrung) explizit zu steuern.
5. Analytische Herleitungen: Detaillierte mathematische Beweise für den MSE unter verschiedenen Szenarien ($d < k$ und $d \ge k$) und für die Wirksamkeit der PPS.

4. Ergebnisse

Die Experimente wurden auf fünf realen Datensätzen (Bank, Adult, Satellite, PenDigits, Grid) durchgeführt:

• Angriffserfolg: Der agnostische Angriff ist hochwirksam. Auf Datensätzen mit starken Korrelationen zwischen aktiven und passiven Features (z. B. Bank, Adult) erreicht der Angriff einen MSE, der nahe an dem liegt, wenn die exakten Scores bekannt wären. Bei unkorrelierten Daten (z. B. Grid) ist der Angriff weniger effektiv.
• Einfluss von RAM: Die Verfeinerung des Modells mit nur 50–100 zusätzlichen Scores verbessert die Rekonstruktionsgenauigkeit drastisch.
• Wirksamkeit der PPS: Die vorgeschlagenen PPSs erhöhen den MSE des Angreifers signifikant, selbst bei kleinen Verzerrungen ($\epsilon$).
• Trade-off: Die Ergebnisse zeigen, dass es möglich ist, die Privatsphäre stark zu erhöhen, während die Interpretierbarkeit (gemessen durch die Abweichung der Parameter) nur moderat beeinträchtigt wird. Die Kurven des Trade-offs variieren je nach Datensatz und Fall (z. B. $d=1$ vs. $d \ge k$), sind aber grundsätzlich nutzbar.
• Overhead: Die Berechnung der PPS erfolgt offline und hat einen vernachlässigbaren Rechenaufwand (Millisekunden). Es entstehen keine zusätzlichen Kommunikationskosten während des Trainings oder der Vorhersage.

5. Bedeutung und Fazit

Dieses Paper ist von großer Bedeutung für die Sicherheit von VFL-Systemen, insbesondere in sensiblen Bereichen wie Finanzwesen und Gesundheitswesen, wo Interpretierbarkeit gesetzlich gefordert ist.

• Paradigmenwechsel: Es zeigt, dass das bloße Verschleiern von Outputs (Scores) nicht ausreicht, wenn die aktive Partei über genügend Daten verfügt, um eigene Modelle zu trainieren. Der Schutz muss auf der Ebene der Modellparameter ansetzen.
• Praktische Relevanz: Die vorgeschlagenen PPSs bieten eine praktische Lösung, die die Zusammenarbeit (VFL) nicht abbricht, sondern die Risiken kontrolliert. Sie ermöglichen es den Parteien, einen Kompromiss zu finden, bei dem beide Seiten (aktive Partei mit Interpretierbarkeit, passive Partei mit Privatsphäre) teilweise zufrieden sind.
• Zukunftsausblick: Die Arbeit legt den Grundstein für weitere Forschung zu robusten VFL-Protokollen, die nicht nur gegen bekannte Angriffe, sondern auch gegen Angriffe mit unvollständiger Information (agnostisch) geschützt sind.

Zusammenfassend demonstriert das Paper, dass in VFL-Umgebungen mit „honest-but-curious" (ehrlich aber neugierig) Partnern neue Angriffsvektoren existieren, die jedoch durch mathematisch fundierte, parameterbasierte Verzerrungsschemata effektiv abgewehrt werden können, ohne die Nutzbarkeit des Systems vollständig zu opfern.