Technische Samenvatting: FedHF-Impute voor Federatie Imputatie onder Heterogene Feature Ruimten

1. Probleemstelling

Federated Learning (FL) gaat doorgaans uit van het feit dat alle deelnemende clients een identieke feature ruimte delen (uitgelijnde schema's), wat directe parameteraggregatie mogelijk maakt via methoden zoals FedAvg. Echter, in realistische tabulaire settings opereren clients vaak onder heterogene feature ruimten als gevolg van verschillende meetpijplijnen, sensorconfiguraties of institutionele beperkingen. In deze scenario's observeren clients slechts gedeeltelijk overlappende subsets van features.

Het artikel onderscheidt twee soorten data-afwezigheid:

1. Tijdelijke Ontoereikendheid: Een feature maakt deel uit van het schema van een client, maar heeft ontbrekende waarden (standaard ontbrekende data).
2. Structurele Onbeschikbaarheid: Een feature wordt nooit gemeten door een specifieke client omdat deze afwezig is in hun lokale schema.

Bestaande methoden voor federatie imputatie richten zich voornamelijk op tijdelijke ontoereikendheid en gaan impliciet uit van uitgelijnde schema's. Wanneer deze worden toegepast in heterogene settings, falen standaard methoden voor parameter-gemiddelde (zoals FedAvg) omdat ze geen informatie kunnen overdragen tussen zwak overlappende of disjuncte featuregroepen, wat leidt tot slecht gestelde aggregatie en verslechterde modelprestaties.

2. Methodologie: FedHF-Impute

De auteurs stellen FedHF-Impute voor, een raamwerk dat globale feature-semantiek ontkoppelt van lokale client-schema's. De kerninnovatie is het gebruik van een gedeelde globale feature-graf om informatie te propageren over statistisch gerelateerde features, zelfs wanneer die features nooit gezamenlijk worden waargenomen op een enkele client.

Belangrijkste Componenten

• Constructie van de Globale Feature-graf:
  • De server verzamelt feature-metadata (identificatoren) en statistieken van paarsgewijze correlaties (bijv. Pearson-correlaties) van clients. Er wordt geen ruwe data gedeeld.
  • Er wordt een gewogen graf $G = (V, E, w)$ geconstrueerd waarbij knopen globale features voorstellen en randen statistische afhankelijkheden vertegenwoordigen.
  • Randgewichten worden afgeleid van de top-$k$ gecorreleerde buren. Deze graf wordt één keer, voordat het trainen begint, met alle clients gedeeld en blijft daarna onveranderd.
• GNN-gebaseerde Imputer Architectuur:
  • Het model opereert over de feature-dimensie in plaats van de steekproef-dimensie.
  • Voor elke steekproef omvat de invoer de feature-vector (met ontbrekende waarden op nul gezet), een observatiemasker en een beschikbaarheidsmasker (die structurele aanwezigheid/afwezigheid aangeeft).
  • De architectuur gebruikt een Graph Neural Network (GNN) met message-passing lagen. Elke feature-knoop aggregeert signalen van zijn buren in de globale graf, waardoor het model waarden voor onbeschikbare features kan afleiden op basis van correlaties met beschikbare features.
  • Initiële knooprepresentaties worden gevormd door feature-embeddings te concateneren met scalar waarnemingen, maskers en beschikbaarheidsindicatoren, verwerkt via een MLP.
• Zelftoezicht Trainingsdoel:
  • Omdat grondwaarheidswaarden voor ontbrekende data onbekend zijn, gebruikt het model een block-masking strategie.
  • Tijdens lokale training wordt een subset van waargenomen en beschikbare features willekeurig gemaskeerd (corrumpeerd).
  • Het model wordt getraind om deze gemaskeerde waarden te reconstrueren met behulp van een Mean Squared Error (MSE) verlies, waardoor het effectief de feature-afhankelijkheden leert die nodig zijn voor imputatie.
• Federatie Protocol:
  • Het raamwerk houdt zich aan standaard FL-protocollen (FedAvg). Clients voeren lokale stochastische gradientafstijging uit en uploaden bijgewerkte modelparameters.
  • De server aggregeert parameters op basis van lokale datasetgroottes.
  • Cruciaal is dat de methode indirecte cross-client kennisoverdracht ondersteunt: een client kan leren een feature te imputeren die het nooit observeert, door gebruik te maken van de propagatie van statistische kracht via de globale graf van andere clients die die feature wel observeren.

3. Belangrijkste Bijdragen

• Ontkoppeling van Structurele Onbeschikbaarheid en Ontoereikendheid: Het raamwerk modelleert expliciet het verschil tussen een feature die ontbreekt (data-issue) en een feature die structureel onbeschikbaar is (schema-issue), een onderscheid dat vaak wordt genegeerd in eerdere FL-werkzaamheden.
• Globale Feature-graf voor Heterogene Schema's: Het introduceert een mechanisme om statistische afhankelijkheden te delen via een globale graf, waardoor informatieflow tussen features mogelijk wordt die lokaal nooit gezamenlijk worden waargenomen.
• Compatibiliteit: De aanpak behoudt standaard federatie communicatieprotocollen (uitsluitend uitwisseling van parameters) zonder dat er ruwe data gedeeld moet worden of complexe uitlijntransformaties tijdens het trainen nodig zijn.
• Uitgebreide Evaluatie: De methode wordt geëvalueerd tegen zowel centrale als federatie baselines over drie verschillende datasets met variërende dimensionaliteit en patronen van ontoereikendheid.

4. Experimentele Resultaten

De auteurs hebben FedHF-Impute geëvalueerd op drie datasets: AirQuality (13 features), PhysioNET (42 features) en SECOM (590 features). In de experimenten werd een gedeeltelijke schema-overlap gesimuleerd waarbij elke van de 4 clients een willekeurige subset van 60% van de features bezat.

• Prestatiewinst:
  • SECOM (Hoog-dimensionaal): FedHF-Impute behaalde een RMSE van 0,8205, wat significant beter is dan alle federatie baselines (variërend van 1,17 tot 4,05) en centrale concurrenten (beste centrale MICE: 1,1231). Dit vertegenwoordigt een verbetering van 26,9% ten opzichte van de beste federatie baseline en een verbetering van 27% ten opzichte van de beste centrale methode.
  • AirQuality: Behaalde een RMSE van 0,7074, beter dan alle federatie baselines en dichtbij de beste centrale methode (MICE: 0,6756).
  • PhysioNET: Behaalde een RMSE van 0,9363, vergelijkbaar met de beste federatie baseline (Fed-FeatGen: 0,9339) en de beste centrale methode (DAE: 0,9500).
• Stabiliteit: De methode toonde stabiele convergentie over communicatierondes, terwijl federatie baselines hoge variantie en instabiliteit vertoonden, met name in hoog-dimensionale settings.
• Schaalbaarheid: Het voordeel van de graf-gebaseerde aanpak bleek te groeien met de feature-dimensionaliteit en schema-heterogeniteit, wat suggereert dat feature-niveau modellering steeds kritischer wordt naarmate lokale per-feature schatting slecht geconditioneerd raakt.

5. Betekenis en Beweringen

Het artikel beweert dat FedHF-Impute een kritieke kloof in federated learning aanpakt: het onvermogen om effectief data te imputeren wanneer clients structureel verschillende featuresets bezitten.

• Overcoming Schema Mismatch: De auteurs stellen dat eenvoudige parameter-gemiddelde (FedAvg) ontoereikend is voor heterogene feature ruimten. Door expliciet feature-afhankelijkheden via een graf te modelleren, maakt de methode "indirecte cross-client kennisoverdracht" mogelijk, waardoor clients waarden kunnen afleiden voor features die ze nooit observeren.
• Privacybehoud: Het raamwerk behoudt data-lokalisatie, aangezien uitsluitend modelparameters en scalar validatiemetrieken worden uitgewisseld. De grafconstructie is uitsluitend gebaseerd op metadata en correlatiestatistieken, niet op ruwe records.
• Superioriteit in Complexe Settings: De resultaten suggereren dat voor hoog-dimensionale, heterogene tabulaire data, gestructureerde feature-niveau modellering (via graf-propagatie) superieur is aan zowel naïeve federatie averaging als centrale imputatiemethoden die geen gebruik kunnen maken van gedistribueerde correlaties.

De auteurs concluderen dat het expliciet modelleren van feature-niveau structuur essentieel is voor effectieve imputatie in federated systemen van de volgende generatie die geconfronteerd worden met schema-heterogeniteit. Zij merken op dat hoewel het huidige werk de grafconstructie behandelt als een pre-training-stap onder standaard vertrouwensaannames, toekomstig werk differentieel privacy voor de fase van grafconstructie zou kunnen incorporeren.