⚡ electrical engineering

Fed-FBD: Federated Functional Block Diversification for Isolation, Privacy, and Surgical Unlearning

Fed-FBD is een modulaire federated learning-architectuur die neurale netwerken deelt in onafhankelijk bijgehouden functionele blokken om architecturaal gegarandeerde isolatie tegen kwaadwillende cliënten, inherente privacy tegen lidmaatschapsinferentie en sub-seconde chirurgisch onleren van vertrokken deelnemers te bieden, terwijl een concurrerende nauwkeurigheid op medische en algemene beelddatasets wordt behouden.

Oorspronkelijke auteurs: Weijie Chen, Alan B. McMillan

Gepubliceerd 2026-06-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Weijie Chen, Alan B. McMillan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme kookwedstrijd organiseert waarbij chefs van verschillende ziekenhuizen (de "klanten") de beste wereldwijde recepten willen creëren voor het diagnosticeren van ziekten, maar ze mogen hun geheime ingrediënten (patiëntgegevens) niet met elkaar delen vanwege privacywetgeving.

In de huidige standaardmethode (genaamd FedAvg) sturen alle chefs hun aantekeningen naar een centrale rechter, die ze allemaal samenvoegt tot één gigantisch, enkelvoudig "Meesterrecept".

Het Problek: Als één chef een saboteur is (een "adversarial client") of gewoon een enorme fout maakt, verpest hij het gehele Meesterrecept. Als een chef wil stoppen en zijn bijdrage verwijderd wil hebben, moet je het hele Meesterrecept weggooien en vanaf nul opnieuw beginnen met koken.

Het artikel introduceert een nieuw systeem genaamd FED-FBD. In plaats van één gigantisch Meesterrecept, bouwt dit systeem een Magazijn van Zes Verschillende "Kleur"-Recepten.

Zo werkt het, met eenvoudige analogieën:

1. De Modulaire Keuken (Functional Block Diversification)

Stel je voor dat een ResNet (het AI-model) niet één blok klei is, maar een auto gemaakt van zes afzonderlijke onderdelen: de motor, het chassis, de wielen, het interieur, de elektronica en de laklaag.

In FED-FBD maakt het systeem zes verschillende versies (of "kleuren") van de uiteindelijke auto.

Kleur A heeft misschien een motor van Chef 1, wielen van Chef 2 en lak van Chef 3.
Kleur B heeft misschien een motor van Chef 2, wielen van Chef 3 en lak van Chef 4.

Het magazijn houdt precies bij welke chef aan welk deel van welke kleur auto heeft bijgedragen.

2. De "Firewall" tegen Saboteurs (Isolatie)

Dit is de superkracht van het systeem.

Het Scenario: Chef 1 is een saboteur. Hij probeert een bom in de motor van Kleur A te plaatsen.
Het Resultaat: Omdat Chef 1 alleen toegang had tot de motor van Kleur A, kan hij de wielen, de lak of de motor van Kleur B, C, D, E of F niet aanraken.
De Uitkomst: De "Schone Kleuren" (B tot en met F) blijven perfect veilig en functioneel. De saboteur heeft alleen de specifieke auto's geruïneerd waar hij toegang toe had. In het oude systeem zou de bom in het ene Meesterrecept zijn geëxplodeerd, waardoor alles voor iedereen verpest zou zijn.

3. Het "Recht om Vergeten te Worden" (Chirurgisch Unlearning)

Wat als Chef 2 besluit te stoppen en eist dat zijn bijdrage wordt gewist?

De Oude Manier: Je moet het hele model vanaf nul opnieuw trainen, wat dagen duurt.
De FED-FBD Manier: Het systeem kijkt in het magazijn, vindt de specifieke onderdelen (blokken) die Chef 2 heeft gebouwd, en vervangt deze simpelweg door het gemiddelde van de onderdelen van de andere chefs.
De Snelheid: Dit gebeurt in minder dan een seconde. Het is alsof je een band vervangt aan een geparkeerde auto, in plaats van de hele fabriek opnieuw op te bouwen.

4. Ingebouwde Privacy (Privacy-by-Design)

In het oude systeem onthield het Meesterrecept details over specifieke patiënten, die gehackt konden worden om te onthullen wie er in de trainingsdata zat.

FED-FBD: Omdat de data zo fijnmazig is opgesplitst (elk "onderdeel" van de auto ziet slechts een piepklein deel van de data), leert geen enkel onderdeel genoeg om een specifieke patiënt te onthouden.
Het Resultaat: Zelfs voordat er extra beveiligingsmaatregelen worden toegevoegd, is het systeem van nature "blind" voor individuele identiteiten. Het is alsof je probeert het gezicht van een specifiek persoon te raden door naar een enkele pixel van een foto te kijken; het is onmogelijk.

5. De Trade-off (De Prijs)

Is dit perfect? Bijna, maar er is een kleine prijs voor te betalen.

De Kosten: Op zeer grote, goed gebalanceerde datasets is het nieuwe systeem iets minder nauwkeurig (ongeveer 0,3% tot 3% lager) dan de oude "Meesterrecept"-methode.
Het Voordeel: Je ruilt een klein beetje nauwkeurigheid in voor totale veiligheid tegen saboteurs, onmiddellijke verwijdering van slechte actoren en ingebouwde privacy.
De Addertjes onder het gras: Als de data erg rommelig is of als de chefs heel weinig data hebben (kleine datasets), kan het systeem moeite hebben om tot een goed recept te komen, en daalt de nauwkeurigheid aanzienlijk.

Samenvatting

FED-FBD verandert het spel van "alles in één pot mengen" naar "het bouwen van een bibliotheek van modulaire, traceerbare componenten."

Als een component vergiftigd is, wordt alleen die specifieke component geruïneerd; de rest van de bibliotheek blijft veilig.
Als een chef vertrekt, vervang je simpelweg direct zijn specifieke componenten.
Het systeem is van nature privaat omdat geen enkel onderdeel genoeg data ziet om geheimen te onthouden.

Het artikel bewijst dat dit goed werkt op medische beeldvormingsdatasets (zoals röntgenfoto's en huidscans), waarbij de veiligheid en privacy behouden blijven terwijl de prestaties hoog blijven, mits er voldoende data beschikbaar is.

Technische Samenvatting: FED-FBD

Probleemstelling

Federated Learning (FL) maakt collaboratieve modeltraining op gedecentraliseerde medische data mogelijk zonder het delen van ruwe patiëntgegevens. Echter, dominante methoden zoals FedAvg, FedProx en FedNova behandelen cliënten als zwarte dozen, wat leidt tot drie kritieke kwetsbaarheden in realistische medische implementaties:

Gebrek aan Isolatie: Eén kwaadwillende of foutief gelabelde cliënt kan het volledige globale model corrumperen omdat de gradiënt van elke cliënt bijdraagt aan elke parameter.
Zwakke Privacygaranties: Standaard FL biedt geen inherente privacy; bescherming is afhankelijk van "opzet"-mechanismen zoals differential privacy of secure aggregation.
Inefficiënt Unlearning: Het respecteren van het "recht om vergeten te worden" van een deelnemer vereist doorgaans het opnieuw trainen van het model vanaf nul of het gebruik van dure benaderingen.

De auteurs stellen dat deze problemen voortkomen uit een gemeenschappelijke kern: elke gewicht is een gedeelde hulpbron. Als parameters in plaats daarvan eigendom zouden zijn van kleine, bekende sets cliënten, zou contaminatie door constructie kunnen worden ingeperkt, memorisatie structureel beperkt kunnen worden en het verwijderen van een cliënt gereduceerd kunnen worden tot een verzamelingoperatie.

Methodologie: FED-FBD

Het artikel stelt FED-FBD (Federated Functional Block Diversification) voor, een modulaire architectuur die een ResNet-backbone deelt in zes functionele blokken: de stem, vier residuele groepen en de classificatiekop.

Kernarchitectuur

Het Magazijn (The Warehouse): De server onderhoudt een magazijn van $N$ "kleurvarianten" (volledige modellen). Elke kleur wordt samengesteld uit één blok per functionele positie.
Contributor Stamping: Elk blokgewicht-tensor krijgt een unieke hash en een trainingsspoor dat de specifieke cliënt-ID's registreert die het hebben bijgewerkt.
Verzendplan (Shipping Plan): Een vooraf bepaald plan beperkt elke cliënt tot een bekende subset van kleuren. In een setup met bijvoorbeeld 6 cliënten en 6 kleuren, mag Cliënt 0 bijvoorbeeld alleen schrijven naar de blokken voor kleuren $M_0, M_1, M_2$ . Bijgevolg zijn kleuren $M_3, M_4, M_5$ architecturaal geïsoleerd van Cliënt 0.
Trainingsdoelstelling: Cliënten minimaliseren een verliesfunctie die cross-entropy nauwkeurigheid combineert met een Kullback-Leibler (KL) divergentieterm. De KL-term trekt de voorspellingen van een cliënt naar een willekeurig gekozen, anders geparametriseerde "zus-kleur" om functionele diversiteit te stimuleren en instorting (collapse) te voorkomen.
Serverprotocol: De server voert directe vervanging uit van blokgewichten in plaats van gewogen middeling. Wanneer een cliënt een bijgewerkt blok terugstuurt, overschrijft dit de bestaande tensor voor die specifieği blok-kleur intersectie.

Kernmechanismen

Blok-niveau Isolatie: Omdat blokken direct worden overschreven, is het wiskundig gegarandeerd dat elk blok dat buiten het verzendplan van een cliënt valt, nooit informatie bevat die afgeleid is van de data van die cliënt.
Chirurgisch Unlearning: Om een cliënt te verwijderen, identificeert de server alle blokken waar de cliënt een contributor is en vervangt deze door het gemiddelde van de resterende "schone" kleuren op die posities. Dit vereist geen hertraining.
Inference Routing: Tijdens inferentie kan het systeem voorspellingen routeren naar de meest betrouwbare kleur per sample, of het ensemble middelen, waardoor gecompromitteerde kleuren achteraf kunnen worden uitgesloten.

Belangrijkste Bijdragen

Architecturale Isolatie: FED-FBD biedt perfecte isolatie op blokniveau. Experimenten tonen aan dat zelfs onder zware aanvallen (label-flip, ruisinjectie), "schone" kleuren (die de aanvaller niet kan aanraken) niet meer dan $\pm 0.01$ AUC afwijken, terwijl vergiftigde kleuren significant degraderen.
Privacy-by-Design: Het framework onderdrukt memorisatie structureel. De Membership Inference Attack (MIA) advantage is ononderscheidbaar van toeval ( $0.50 \pm 0.01$ ) voordat er een expliciet privacymechanisme wordt toegepast, aange omdat geen enkel blok genoeg data ziet om individuele samples te memoriseren.
Sub-seconde Unlearning: Het artikel demonstreert "chirurgisch" machine unlearning via blokaggregatievervanging. Dit bereikt exacte verwijdering van de bijdrage van een cliënt in minder dan één seconde wandkloktijd met een nutverlies van minder dan $0.25\%$ AUC, zonder de noodzaak voor hertraining.
Faseovergang Karakterisering: De auteurs identificeren een "data-per-cliënt $\times$ heterogeniteit" faseovergang. FED-FBD presteert competitief (binnen $\sim 4\%$ van FedAvg) wanneer cliënten voldoende data hebben (bijv. $\ge 15.000$ samples), zelfs onder hoge heterogeniteit ( $\alpha=0.25$ ), maar de prestaties storten in bij zeer kleine datasets met hoge scheefheid (skew).

Experimentele Resultaten

Experimenten werden uitgevoerd op zes MedMNIST-2D datasets, PathMNIST bij $224\times224$ resolutie, en CIFAR-10 met 6 cliënten en 100 communicatierondes.

Nauwkeurigheidstoleranties: Op adequaat grote datasets ruilt FED-FBD een bescheiden nauwkeurigheidsverschil van $0.3\%$ – $3.1\%$ in tegen FedAvg voor zijn veiligheidsgaranties. Op PathMNIST ( $224\times224$ ) krimpt het gat naar $1.2\%$ .
Non-IID Prestaties: Onder milde heterogeniteit ( $\alpha=1.0$ ) blijft FED-FBD binnen $0.8\%$ – $4.0\%$ van FedAvg op drie van de vier datasets. De prestaties degraderen onder extreme scheefheid op kleine datasets, maar het gat verkleint naarmate het aantal samples-per-cliënt toeneemt.
Adversariële Robuustheid: Over zes aanvalskonfiguraties heen bleven de schone kleuren geïsoleerd. Een eenvoudige z-score aan de serverzijde op de validatieverlies detecteerde $39\%$ – $76\%$ van de aanvallen met lage fout-positieven.
Unlearning Efficiëntie: Unlearning operaties voltooiden in minder dan 1 seconde met een verwaarloosbaar AUC-verlies (worst case $-0.0022$).

Betekenis en Claims

Het artikel claimt dat FED-FBD het paradigma van federated learning verschuift van "probabilistische" veiligheid (vertrouwend op robuuste aggregatie of ruis) naar structurele veiligheid. Door het eigendom van parameters granulair en expliciet te maken:

Wordt contaminatie onmogelijk in plaats van slechts onwaarschijnlijk.
Wordt unlearning een lookup en aggregatieoperatie in plaats van een optimalisatieprobleem.
Is privacy inherent aan de architectuur, niet een toevoeging.

De auteurs positioneren FED-FBD als een oplossing die specifiek is gemotiveerd door de strikte data governance behoeften van ziekenhuisnetwerken, waarbij een werkbare manier wordt geboden om vergiftigde cliënten en verwijderingsverzoeken af te handelen zonder kostbare hertraining. Ze erkennen beperkingen, waaronder vaste verzendplannen en het feit dat exact unlearning alleen mogelijk is voor exclusief bezeten blokken, maar stellen dat de afruil in nauwkeurigheid gerechtvaardigd is voor hoogwaardige medische toepassingen waar isolatie en controleerbaarheid essentieel zijn.