Fed-FBD: Federated Functional Block Diversification for Isolation, Privacy, and Surgical Unlearning

Fed-FBD ist eine modulare Federated-Learning-Architektur, die neuronale Netze in unabhängig verfolgte Funktionsblöcke zerlegt, um eine architektonisch garantierte Isolation gegen adversarielle Clients, inhärente Privatsphäre gegen Membership Inference sowie ein chirurgisches Unlearning von ausgeschiedenen Teilnehmern im Sub-Sekundenbereich zu gewährleisten, während gleichzeitig eine wettbewerbsfähige Genauigkeit auf medizinischen und allgemeinen Bilddatensätzen aufrechterhalten wird.

Das Wesentliche

Stellen Sie sich vor, Sie leiten einen riesigen Kochwettbewerb, bei dem Köche aus verschiedenen Krankenhäusern (den „Kunden“) das beste Rezept der Welt für die Diagnose von Krankheiten erstellen wollen, aber ihre geheimen Zutaten (Patientendaten) aus Datenschutzgründen nicht untereinander teilen dürfen.

In der aktuellen Standardmethode (genannt FedAvg) schicken alle Köche ihre Notizen an einen zentralen Richter, der sie alle zu einem einzigen, riesigen „Meisterrezept“ vermischt.

• Das Problem: Wenn ein Koch ein Saboteur (ein „adversarieller Client“) ist oder einfach einen riesigen Fehler macht, ruiniert er das gesamte Meisterrezept. Wenn ein Koch aufhören möchte und möchte, dass sein Beitrag entfernt wird, müssen Sie das gesamte Meisterrezept wegwerfen und den Kochvorgang von vorne beginnen.

Das Paper stellt ein neues System namens FED-FBD vor. Anstatt eines einzigen riesigen Meisterrezepts baut dieses System ein Lagerhaus mit sechs verschiedenen „Farben“-Rezepten.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die modulare Küche (Functional Block Diversification)

Stellen Sie sich vor, ein ResNet (das KI-Modell) ist kein einzelner Klumpen Ton, sondern ein Auto, das aus sechs verschiedenen Teilen besteht: dem Motor, dem Fahrgestell, den Rädern, dem Innenraum, der Elektronik und der Lackierung.

In FED-FBD erstellt das System sechs verschiedene Versionen (oder „Farben“) des fertigen Autos.

• Farbe A könnte einen Motor von Koch 1, Räder von Koch 2 und eine Lackierung von Koch 3 haben.
• Farbe B könnte einen Motor von Koch 2, Räder von Koch 3 und eine Lackierung von Koch 4 haben.

Das Lagerhaus hält genau fest, welcher Koch zu welchem Teil welcher Farb-Variante beigetragen hat.

2. Die „Firewall“ gegen Saboteure (Isolation)

Dies ist die Superkraft des Systems.

• Das Szenario: Koch 1 ist ein Saboteur. Er versucht, eine Bombe in den Motor von Farbe A zu legen.
• Das Ergebnis: Da Koch 1 nur Zugriff auf den Motor von Farbe A hatte, kann er die Räder, die Lackierung oder den Motor von Farbe B, C, D, E oder F nicht beeinflussen.
• Das Resultat: Die „sauberen Farben“ (B bis F) bleiben voll funktionsfähig und sicher. Der Saboteur hat nur die spezifischen Autos ruiniert, die er berühren durfte. Im alten System wäre die Bombe in das eine Meisterrezept explodiert und hätte alles für alle ruiniert.

3. Das „Recht auf Vergessenwerden“ (Chirurgisches Unlearning)

Was ist, wenn Koch 2 beschließt aufzuhören und verlangt, dass sein Beitrag gelöscht wird?

• Der alte Weg: Sie müssen das gesamte Modell von Grund auf neu trainieren, was Tage dauert.
• Der FED-FBD-Weg: Das System schaut in das Lagerhaus, findet die spezifischen Teile (Blöcke), die Koch 2 gebaut hat, und tauscht sie einfach gegen den Durchschnitt der Teile der anderen Köche aus.
• Die Geschwindigkeit: Das geschieht in weniger als einer Sekunde. Es ist wie der Austausch eines Reifens an einem geparkten Auto, anstatt die ganze Fabrik neu aufzubauen.

4. Integrierter Datenschutz (Privacy-by-Design)

Im alten System hat das Meisterrezept Details über bestimmte Patienten auswendig gelernt, die gehackt werden konnten, um zu enthüllen, wer in den Trainingsdaten enthalten war.

• FED-FBD: Da die Daten so fein aufgeteilt sind (jedes „Teil“ des Autos sieht nur einen winzigen Ausschnitt der Daten), lernt kein einzelnes Teil genug, um einen spezifischen Patienten zu speichern.
• Das Ergebnis: Selbst bevor zusätzliche Sicherheitsmaßnahmen hinzugefügt werden, ist das System von Natur aus „blind“ gegenüber individuellen Identitäten. Es ist, als würde man versuchen, das Gesicht einer bestimmten Person zu erraten, indem man nur einen einzelnen Pixel eines Fotos betrachtet; es ist unmöglich.

5. Der Kompromiss (Die Kosten)

Ist dies perfekt? Fast, aber es gibt einen kleinen Preis zu zahlen.

• Die Kosten: Bei sehr großen, gut ausbalancierten Datensätzen ist das neue System etwas weniger genau (etwa 0,3 % bis 3 % geringer) als die alte „Meisterrezept“-Methode.
• Der Nutzen: Man tauscht ein winziges Stück Genauigkeit gegen totale Sicherheit gegen Saboteure, sofortige Entfernung von böswilligen Akteuren und integrierten Datenschutz.
• Der Haken: Wenn die Daten sehr ungeordnet sind oder die Köche nur sehr wenig Daten haben (kleine Datensätze), kann das System Schwierigkeiten haben, sich auf ein gutes Rezept zu einigen, und die Genauigkeit sinkt deutlicher.

Zusammenfassung

FED-FBD verändert das Spiel von „alles in einen Topf mischen“ hin zum „Aufbau einer Bibliothek aus modularen, nachverfolgbaren Komponenten“.

• Wenn eine Komponente vergiftet ist, wird nur diese spezifische Komponente ruiniert; der Rest der Bibliothek bleibt sicher.
• Wenn ein Koch geht, tauschen Sie einfach seine spezifischen Komponenten sofort aus.
• Das System ist von Natur aus privat, da keine einzelne Komponente genug Daten sieht, um Geheimnisse zu speichern.

Das Paper beweist, dass dies bei medizinischen Bilddatensätzen (wie Röntgenaufnahmen und Hautscans) gut funktioniert, wobei das System sicher und privat bleibt und eine hohe Leistung beibehält, sofern genügend Daten zur Verfügung stehen.

Technische Zusammenfassung

Technisches Resümee: FED-FBD

Problemstellung

Federated Learning (FL) ermöglicht das kollaborative Training von Modellen auf dezentralen medizinischen Daten, ohne dass Rohdaten von Patienten geteilt werden müssen. Die dominierenden Methoden wie FedAvg, FedProx und FedNova behandeln Clients jedoch als Black Boxes, was in realistischen medizinischen Anwendungen zu drei kritischen Schwachstellen führt:

1. Mangelnde Isolation: Ein einzelner adversarieller oder falsch etikettierter Client kann das gesamte globale Modell korrumpieren, da die Gradienten jedes Clients zu jedem Parameter beitragen.
2. Schwache Privacy-Garantien: Standard-FL bietet keine inhärente Privatsphäre; der Schutz beruht auf „nachgerüsteten“ Mechanismen wie Differential Privacy oder Secure Aggregation.
3. Ineffizientes Unlearning: Die Berücksichtigung des „Rechts auf Vergessenwerden“ eines Teilnehmers erfordert typischerweise ein erneutes Training des Modells von Grund auf oder teure Approximationen.

Die Autoren argumentieren, dass diese Probleme auf eine gemeinsame Ursache zurückzuführen sind: Jedes Gewicht ist eine gemeinsame Ressource. Wenn Parameter stattdessen Eigentum kleiner, bekannter Client-Gruppen wären, könnte Kontamination konstruktionsbedingt eingegrenzt, das Auswendiglernen strukturell begrenzt und die Entfernung von Clients auf eine Mengenoperation reduziert werden.

Methodik: FED-FBD

Das Paper schlägt FED-FBD (Federated Functional Block Diversification) vor, eine modulare Architektur, die ein ResNet-Backbone in sechs funktionale Blöcke zerlegt: den Stem (Stamm), vier Residual-Gruppen und den Klassifikations-Head.

Kernarchitektur

• Das Lagerhaus (The Warehouse): Der Server unterhält ein Lagerhaus mit $N$ „Farbe-Varianten“ (vollständige Modelle). Jede Farbe wird aus einem Block pro funktionaler Position zusammengesestellt.
• Beitragende Kennzeichnung (Contributor Stamping): Jedem Block-Gewichtstensor wird ein eindeutiger Hash und ein Trainings-Trace zugewiesen, der die spezifischen Client-IDs aufzeichnet, die diesen aktualisiert haben.
• Versandplan (Shipping Plan): Ein vordefinierter Plan beschränkt jeden Client auf eine bekannte Teilmenge von Farben. In einem 6-Client, 6-Farben-Setup darf beispielsweise Client 0 nur in die Blöcke für die Farben $M_0, M_1, M_2$ schreiben. Folglich sind die Farben $M_3, M_4, M_5$ architektonisch von Client 0 isoliert.
• Trainingsziel: Clients minimieren eine Verlustfunktion, die aus Cross-Entropy-Genauigkeit und einem Kullback-Leibler (KL)-Divergenzterm besteht. Der KL-Term zieht die Vorhersagen eines Clients in Richtung einer zufällig gewählten, anders parametrisierten „Geschwisterfarbe“, um funktionale Diversität zu fördern und einen Kollaps zu verhindern.
• Server-Protokoll: Der Server führt eine direkte Ersetzung der Blockgewichte durch, anstatt eine gewichtete Mittelwertbildung vorzunehmen. Wenn ein Client einen aktualisierten Block zurückgibt, überschreibt dieser den bestehenden Tensor für genau diese spezifische Block-Farbe-Schnittmenge.

Kernmechanismen

1. Block-basierte Isolation: Da Blöcke direkt überschrieben werden, ist mathematisch garantiert, dass jeder Block, der nicht im Versandplan eines Clients enthalten ist, niemals Informationen enthält, die von den Daten dieses Clients abgeleitet wurden.
2. Chirurgisches Unlearning: Um einen Client zu entfernen, identifiziert der Server alle Blöcke, bei denen der Client ein Beitragszahler ist, und ersetzt diese durch den Durchschnitt der verbleibenden „sauberen“ Farben an diesen Positionen. Dies erfordert kein erneutes Training.
3. Inferenz-Routing: Bei der Inferenz kann das System Vorhersagen an die vertrauenswürdigste Farbe pro Stichprobe routen oder das Ensemble mitteln, was die nachträgliche Exklusion kompromittierter Farben ermöglicht.

Zentrale Beiträge

1. Architektonische Isolation: FED-FBD bietet perfekte Isolation auf Blockebene. Experimente zeigen, dass selbst unter schweren adversariellen Angriffen (Label-Flip, Rauschinjektion) „saubere“ Farben (die der Angreifer nicht beeinflussen kann) um nicht mehr als $\pm 0.01$ AUC abweichen, während vergiftete Farben signifikant degradieren.
2. Privacy-by-Design: Das Framework unterdrückt das Auswendiglernen strukturell. Der Vorteil bei Membership Inference Attacks (MIA) ist vor Anwendung eines expliziten Privacy-Mechanismus nicht von Zufall unterscheidbar ($0.50 \pm 0.01$), da kein einzelner Block genügend Daten sieht, um einzelne Proben auswendig zu lernen.
3. Sub-Sekunden-Unlearning: Das Paper demonstriert „chirurgisches“ Machine Unlearning via aggregierter Block-Ersetzung. Dies erreicht eine exakte Entfernung des Beitrags eines Clients in einer Wandlaufzeit von unter einer Sekunde mit einem Nutzenverlust von weniger als $0.25\%$ AUC, ohne ein Retraining zu benötigen.
4. Charakterisierung des Phasenübergangs: Die Autoren identifizieren einen „Daten pro Client $\times$ Heterogenität“-Phasenübergang. FED-FBD arbeitet kompetitiv (innerhalb von $\sim 4\%$ von FedAvg), wenn Clients über ausreichend Daten verfügen (z. B. $\ge 15.000$ Samples), selbst bei hoher Heterogenität ($\alpha=0.25$), aber die Leistung bricht bei sehr kleinen Datensätzen mit hoher Schiefe zusammen.

Experimentelle Ergebnisse

Die Experimente wurden auf sechs MedMNIST-2D-Datensätzen, PathMNIST bei $224\times224$ Auflösung und CIFAR-10 mit 6 Clients und 100 Kommunikationsrunden durchgeführt.

• Genauigkeits-Trade-offs: Bei ausreichend großen Datensätzen tauscht FED-FBD eine moderate Genauigkeitslücke von $0.3\%$–$3.1\%$ gegen FedAvg für seine Sicherheitsgarantien ein. Auf PathMNIST ($224\times224$) schrumpft die Lücke auf $1.2\%$.
• Non-IID Performance: Unter milder Heterogenität ($\alpha=1.0$) bleibt FED-FBD auf drei von vier Datensätzen innerhalb von $0.8\%$–$4.0\%$ von FedAvg. Die Leistung sinkt unter extremer Schiefe bei kleinen Datensätzen, aber die Lücke verringert sich, wenn die Anzahl der Samples pro Client steigt.
• Adversarielle Robustheit: Über sechs Angriffs-Konfigurationen hinweg blieben die sauberen Farben isoliert. Ein einfacher Z-Score des Servers auf dem Validierungsverlust detektierte $3y9\%$–$76\%$ der Angriffe mit niedrigen Falsch-Positiv-Raten.
• Unlearning-Effizienz: Unlearning-Operationen wurden in unter 1 Sekunde mit vernachlässigem AUC-Verlust (Worst Case $-0.0022$) abgeschlossen.

Bedeutung und Ansprüche

Das Paper behauptet, dass FED-FBD das Paradigma des Federated Learning von „probabilistischer“ Sicherheit (die auf robuster Aggregation oder Rauschen basiert) zu struktureller Sicherheit verschiebt. Durch die Granularität und Explizitheit des Parameter-Eigentums:

• Wird Kontamination unmöglich statt lediglich unwahrscheinlich.
• Wird Unlearning zu einer Lookup- und Aggregationsoperation statt zu einem Optimierungsproblem.
• Ist Privacy inhärent zur Architektur, nicht ein Zusatzmodul.

Die Autoren positionieren FED-FBD als Lösung, die speziell durch die strengen Data-Governance-Anforderungen von Krankenhausnetzwerken motiviert ist, und bieten einen praktikablen Weg, um vergiftete Clients und Löschungsanfragen ohne kostspieliges Retraining zu handhaben. Sie räumen Einschränkungen ein, einschließlich fester Versandpläne und der Tatsache, dass exaktes Unlearning nur für exklusiv besessene Blöcke möglich ist, argumentieren jedoch, dass der Trade-off bei der Genauigkeit für hochsensible medizinische Anwendungen, in denen Isolation und Auditierbarkeit entscheidend sind, gerechtfertigt ist.