🤖 machine learning

Privacy-Preserving and Verifiable Approximate Distributed Coded Computing

Dieses Paper schlägt ein modellagnostisches Framework vor, das privatsphäreerhaltendes kodiertes Computing (GPBACC) mit robusten Aggregations- und Verifizierungstechniken vereint, um gleichzeitig gegen Datenschutzverletzungen und bösartiges Verhalten sowohl in föderierten als auch in dezentralen maschinellen Lernumgebungen zu verteidigen.

Ursprüngliche Autoren: Xavier Martínez-Luaña, Alba Gude-Santos, Manuel Fernández-Veiga, Rebeca P. Díaz-Redondo

Veröffentlicht 2026-07-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xavier Martínez-Luaña, Alba Gude-Santos, Manuel Fernández-Veiga, Rebeca P. Díaz-Redondo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Menschen vor, die versucht, gemeinsam ein riesiges Puzzle zu lösen. Sie wollen ein intelligentes Computergehirn (ein maschinelles Lernmodell) bauen, ohne sich gegenseitig ihre privaten Puzzleteile (ihre persönlichen Daten) zu zeigen. Das ist das Ziel von Distributed Machine Learning (verteiltem maschinellem Lernen).

Es gibt jedoch zwei große Probleme bei dieser Gruppenarbeit:

Datenschutz-Lecks: Selbst wenn man die Teile nicht zeigt, könnte eine hinterlistige Person erraten, wie dein Teil aussँग, indem sie einfach nur beobachtet, wie du es bewegst.
Böse Akteure: Jemand könnte versuchen, das Puzzle zu sabotieren, indem er falsche Teile einwirft oder falsche Anweisungen ruft, um die Gruppe zu verwirren.

Die meisten bestehenden Lösungen versuchen, entweder das Datenschutzproblem oder das Sabotageproblem zu lösen, aber selten beide gleichzeitig. Zudem funktionieren sie oft nur für bestimmte Arten von Gruppen.

Dieses Paper stellt ein neues, flexibles System namens GPBACC (Generalized Privacy-aware Berrut Approximated Coded Computing) vor, das beide Probleme für zwei verschiedene Arten von Gruppen löst: Federated Learning (wo ein Chef die Antworten sammelt) und Decentralized Learning (wo jeder mit jedem spricht, ohne einen Chef).

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das magische „Verwirbeln“ (Datenschutz)

Stellen Sie sich vor, Sie haben ein geheimes Rezept. Anstatt das Rezept zu senden, senden Sie einen verwirbelten Smoothie, der aus Ihrem Rezept gemischt mit einer Menge zufälliger, unsichtbarer Zutaten (Rauschen) besteht.

Der Trick: Sie senden diesen Smoothie an mehrere Freunde. Sie probieren ihn und führen einige mathematische Operationen damit durch.
Das Ergebnis: Wenn der Chef (oder die Gruppe) alle Smoothies wieder zusammenmischt, hebt sich das zufällige Rauschen auf, und das ursprüngliche Rezept wird perfekt enthüllt.
Der Datenschutz: Wenn ein hinterlistiger Freund versucht, nur einen einzigen Smoothie zu probieren, bekommt er nur den Geschmack von zufälligem Rauschen. Er kann Ihr geheimes Rezept nicht herausfinden. Dies ist der Datenschutz-Teil des Systems.

2. Der „Gruppen-Detektiv“ (Saboteure stoppen)

Szenario A: Die Gruppe mit einem Chef (Federated Learning)
In diesem Aufbau sendet jeder seine Smoothies an einen zentralen „Chef“.

Die Verteidigung: Der Chef verwendet einen Smart Filter. Anstatt einfach alle Smoothies zu mitteln (was dazu führen würde, dass der schlechte Smoothie die Mischung ruiniert), nutzt der Chef eine „Median“- oder „Trimmed Mean“-Strategie.
Die Analogie: Stellen Sie sich vor, Sie fragen 10 Leute nach der Temperatur. Wenn eine Person „1000 Grad“ sagt (eine Lüge), ignoriert der Chef die höchsten und niedrigsten Werte und nimmt den Durchschnitt der mittleren Werte. Das Paper zeigt, dass dieser Filter selbst mit dem „verwirbelten Smoothie“ (Datenschutz) perfekt funktioniert, um den Saboteur zu stoppen.

Szenario B: Die Gruppe ohne einen Chef (Decentralized Learning)
Hier gibt es keinen Chef, der die Antworten filtert. Jeder spricht mit jedem. Das ist schwieriger, weil es keinen Schiedsrichter gibt.

Die Verteidigung: Die Gruppe nutzt ein Detektivspiel namens „Approximate Decode-and-Compare“ kombiniert mit „Group Testing“.
Die Analogie: Stellen Sie sich vor, die Gruppe teilt sich in kleine Teams auf, um die Smoothies zu verkosten.
1. Vergleichen: Sie prüfen, ob die Ergebnisse aus verschiedenen Teams übereinstimmen. Wenn zwei Teams das gleiche Ergebnis erhalten, sind sie wahrscheinlich ehrlich.
2. Group Testing: Sie mischen und kombinieren Gruppen von Freunden. Wenn das Ergebnis einer bestimmten Gruppe seltsam ist, wissen sie, dass der Saboteur innerhalb dieser Gruppe ist. Durch das Testen verschiedener Kombinationen können sie den Saboten genau lokalisieren, ohne jeden einzelnen Smoothie einzeln probieren zu müssen.
3. Das Aussortieren: Sobald sie den Saboteur identifiziert haben, werfen sie dessen Smoothie raus und mischen den Rest neu.

Was das Paper tatsächlich herausgefunden hat

Die Autoren haben dies nicht nur erdacht; sie haben es gebaut und mit echten Computermodellen (wie denen, die zur Erkennung von Katzenbildern oder handgeschriebenen Zahlen verwendet werden) getestet.

Datenschutz funktioniert: Sie haben versucht, das System zu „hacken“, um Daten zu stehlen (mit Angriffen wie „Membership Inference“, bei dem versucht wird zu erraten, ob ein bestimmtes Foto einer Person im Trainingsdatensatz enthalten war). Das System hat diese Angriffe erfolgreich blockiert, indem es die Daten wie zufälliges Rauschen aussehen ließ.
Sabotage funktioniert: Sie haben versucht, das System zu vergiften, indem sie falsche Daten hinzufügten oder Labels vertauschten (dem Computer sagten, dass ein Bild eines Hundes ein Katze ist).
- Im Boss-Szenario leistete das System den Angriffen fast so gut stand, als gäbe es keine Datenschutz-Verwirbelung.
- Im Kein-Boss-Szenario fand das „Detektivspiel“ die Saboteure erfolgreich und entfernte sie, sodass die Gruppe das Puzzle korrekt abschließen konnte.
Geschwindigkeit und Genauigkeit: Das System hat die Abläufe nicht zu sehr verlangsamt. Die „verwirbelten Smoothies“ waren genau genug, dass das Computergehirn am Ende genauso gut lernte, wie es ohne die Sicherheitsmaßnahmen getan hätte.

Das Fazament

Dieses Paper präsentiert ein „Schweizer Taschenmesser“ für sichere KI. Es komb

Technische Zusammenfassung: Privatsphäre-wahrende und verifizierbare approximative verteilte kodierte Datenverarbeitung

Problemstellung
Paradigmen des verteilten maschinellen Lernens, insbesondere Federated Learning (FL) und Decentralized Learning (DL), ermöglichen das kollaborative Training von Modellen, ohne Rohdaten zentralisieren zu müssen. Diese Systeme bleiben jedoch zwei unterschiedlichen Bedrohungsklassen anfällig: dem Abfluss der Privatsphäre (bei dem Angreifer sensible Daten aus Modellaktualisierungen ableiten können) und bösartiger Manipulation (Byzantine Attacks, bei denen Teilnehmer manipulierte Aktualisierungen einspeisen). Bestehende Abwehrmechanismen adressieren diese Bedrohungen typischerweise isoliert. Technologien zur Wahrung der Privatsphäre (PETs) wie homomorphe Verschlüsselung oder Differential Privacy verursachen oft einen prohibitiven Rechenaufwand oder verschlechtern den Nutzen des Modells. Umgekehrt mildern robuste Aggregationsverfahren bösartiges Verhalten ab, adressieren aber selten den Abfluss der Privatsphäre und sind oft auf spezifische Architekturen zugeschnitten. Darüber hinaus konzentriert sich die meiste bisherige Arbeit auf FL mit einem zentralen Aggregator und lässt dezentrale Settings – in denen Daten statt Modellaktualisierungen ausgetauscht werden – hinsichtlich einer einheitlichen Resilienz gegenüber Angreifern untererforscht.

Methodik
Die Autoren schlagen ein einheitliches, modellagnostisches Framework vor, das Privatsphäre und Integrität sowohl in FL- als auch in DL-Settings gemeinsam adressiert. Die technische Kernbasis ist die Generalisierte Privatsphäre-bewusste Berrut-approximative kodierte Datenverarbeitung (GPBACC), eine Technik zur Wahrung der Privatsphäre in der kodierten Datenverarbeitung, die auf beliebige Machine-Learning-Modelle anwendbar ist.

Kernmechanismus (GPBACC):
- Basiert auf der Berrut-approximativen kodierten Datenverarbeitung (BACC), welche rationale Interpolation (Berrut-Baryzentrische Formulierung) nutzt, um die Berechnung beliebiger Funktionen zu verteilen und gleichzeitig Stragglers (Nachzügler) zu tolerieren.
- Privatsphäre-Erweiterung: GPBACC führt Gaußsches Rauschen in den Kodierungsprozess ein. Der Master-Knoten kodiert Datentensoren mittels einer rationalen Interpolationsfunktion, die mit Gaußschen Rauschtermen ergänzt wird. Dies erzeugt einen Effekt eines Additive White Gaussian Noise (AWGN)-Kanals, der die für kolludierende semi-ehrliche Knoten zugängliche gegenseitige Information begrenzt.
- Generalisierung: Im Gegensatz zu früheren Schemata unterstützt GPBACC Multi-Source-Konfigurationen und Tensoren mit beliebiger Ranghöhe, wodurch es für Deep-Learning-Workloads geeignet ist.
Integration in Federated Learning (FL):
- In FL, wo ein zentraler Aggregator existiert, integriert das Framework GPBACC mit robusten Aggregationsstrategien (z. B. koordinatenweise Median, Trimmed Mean, Krum, Multi-Krum).
- Die Aggregationsregel wird als Zielfunktion $f$ definiert, die von den Workern evaluiert wird. Das System setzt die Dimension der Kodierungskompression auf $K=1$ , um eine Dekodierung pro Koordinate zu ermöglichen, wodurch der Aggregator die robust aggregierte Aktualisierung trotz der approximativen Natur der Kodierung mit hoher numerischer Präzision rekonstruieren kann.
Integration in Decentralized Learning (DL):
- In DL, wo kein zentraler Aggregator existiert, verwendet das Framework eine Verifizierungspipeline, die Approximate Decode-and-Compare (ADC) und Group Testing (GT) kombiniert.
- ADC: Da GPBACC kontrollierte Perturbationen zur Wahrung der Privatsphäre einführt, sind exakte Gleichheitsprüfungen unzureichend. ADC etabliert einen dynamischen Schwellenwert ( $\tau$ ) basierend auf einer Bootstrap-Strategie, um zu bestimmen, ob die rekonstruierten Ergebnisse aus verschiedenen Worker-Teilmengen innerhalb eines akzeptablen Fehlerbereichs konsistent sind.
- Group Testing: Um bösartige Worker effizient zu isolieren, ohne eine vollständige Dekodierung durchzuführen, nutzt das System nicht-adaptive Pooling-Matrizen. Worker werden gruppiert und ihre gepoolten Ergebnisse werden gegen den ADC-Schwellenwert getestet. Ein verrauschtes Group-Testing-Dekodierverfahren (z. B. COMP, DD) identifiziert die Menge der adversariellen Worker, die anschließend vor der endgültigen Rekonstruktion entfernt werden.

Zentrale Beiträge

Einheitliches Framework: Definition eines einzigen Frameworks, das gleichzeitig Privatsphäre-Abfluss und bösartiges Verhalten in beiden Lernparadigmen (FL und DL) adressiert, ohne die Anwendbarkeit auf spezifische Modellarchitekturen einzuschränken.
FL-Adaption: Vorschlag zur Kombination von GPBACC mit robusten Aggregationsstrategien, wodurch die modellagnostische Natur des Kodierungsschemas bewahrt wird.
DL-Adaption: Vorschlag zur Ergänzung von GPBACC durch Approximate Decode-and-Compare sowie Group Testing, was eine leichtgewichtige Verifizierung und Isolierung von Angreifern ohne vertrauenswürdigen Aggregator ermöglicht.
Angriffsorientierte Evaluierung: Eine praktische Evaluierungsmethodik, die repräsentative Privatsphäre-Angriffe (Membership Inference Attacks) und bösartiges Verhalten (Label Flipping, Noise Addition, Gaussian Noise) explizit implementiert, um die Wirksamkeit des Frameworks empirisch zu validieren, anstatt sich rein auf theoretische Garantien zu verlassen.

Experimentelle Ergebnisse
Das Framework wurde unter Verwendung von Convolutional Neural Networks (CNNs) auf den Datensätzen MNIST und CIFAR10 evaluiert.

Federated Learning:
- Privatsphäre: Unter Membership Inference Attacks (RMIA) reduzierte GPBACC die Area Under the Curve (AUC) signifikant auf nahezu Zufallsniveau (~0,50), vergleichbar mit Multi-Key Homomorphic Encryption (MKHE) und Differential Privacy (DP-SVT), jedoch ohne die starke Verschlechterung des Nutzens, die bei DP auftritt.
- Robustheit: Unter Label Flipping und Noise Addition Attacks behielt GPBACC in Kombination mit robusten Aggregatoren (Median, Multi-Krum) eine hohe Genauigkeit bei, die eng an den ungeschützten robusten Baselines liegt. Während die Krum-Aggregation eine Sensitivität gegenüber dem approximativen Dekodierrauschen zeigte, konvergierte das System dennoch.
- Nutzen: GPBACC bewahrte den Nutzen des sauberen Modells fast perfekt, mit Genauigkeitsabweichungen von unter $4 \times 10^{-4}$ im Vergleich zu ungeschützten Baselines.
Decentralized Learning:
- Robustheit: Unter Noise Addition Attacks kollabierte das ungeschützte DL (Genauigkeit ~0,63), während GPBCC mit ADC+GT eine hohe Genauigkeit beibehielt (>0,96), was eine Resilienz demonstriert, die vergleichbar mit exakter kodierter Datenverarbeitung (ALCC) ist, jedoch eine größere Flexibilität bietet.
- Privatsphäre: Die gegenseitige Information zwischen den Plain- und den kodierten Datensätzen wurde mittels des KSG-Schätzers ermittelt und ergab ~1,012 Bits, was eng mit den aus der informationstheoretischen Analyse abgeleiteten theoretischen Privatsphäre-Grenzen übereinstimmt.

Bedeutung und Ansprüche
Das Paper behauptet, dass die Kombination von privatsphäre-verbessernder kodierter Datenverarbeitung (GPBACC) mit Paradigma-spezifischen Strategien zur Widerstandsfähigkeit gegen Angreifer eine praktikable und einsatzfähige Grundlage für sicheres verteiltes maschinelles Lernen bietet. Im Gegensatz zu bisherigen Arbeiten, die Privatsphäre und Robustheit isoliert behandeln oder auf schwere kryptographische Primitive angewiesen sind, bietet dieser Ansatz eine einheitliche, durch Angriffe validierte Lösung, die ein Gleichgewicht zwischen Privatsphäre-Garantien, Robustheit gegenüber aktiven Angreifern und dem Nutzen des Modells herstellt. Die Autoren betonen, dass ihr Beitrag darin besteht, diese Lücken über verschiedene Lernparadigmen hinweg zu schließen und einen architektunabhängigen Verteidigungsmechanismus für den realen Einsatz anzubieten. Die Arbeit beansprucht nicht, alle Bedrohungsmodelle zu lösen, zeigt aber, dass die explizite, angriffsgesteuerte Integration dieser Techniken den Abfluss der Privatsphäre signifikant reduziert und die Resilienz im Vergleich zu bestehenden isolierten Defensivmaßnahmen verbessert.

1. Das magische „Verwirbeln“ (Datenschutz)

2. Der „Gruppen-Detektiv“ (Saboteure stoppen)

Was das Paper tatsächlich herausgefunden hat

Das Fazament

Mehr davon