Technische Samenvatting: Federated Inference op basis van Consensus-Embedding (CE-FI)

1. Probleemstelling

Het artikel adresseert de uitdaging om coöperatieve inferentie mogelijk te maken over meerdere onafhankelijk ingezette machine learning-modellen in gedistribueerde omgevingen. Hoewel er een groeiende vraag is om meerdere modellen te benutten om de inferentieprestaties te verbeteren, lopen bestaande kaders in privacy-gevoelige of organisatie-overstijgende settings tegen aanzienlijke beperkingen aan:

• Federated Learning (FL) vereist doorgaans het delen van modelupdates of parameters, wat risico's van model-inversie-aanvallen met zich meebrengt en intellectuele-eigendomsbeperkingen schendt.
• Standaard Federated Inference (FI) gaat vaak uit van het feit dat alle clients dezelfde ruwe invoergegevens delen of een gemeenschappelijke encoder-architectuur gebruiken om compatibele intermediaire representaties te genereren.
• Edge Ensemble-benaderingen vertrouwen op een gedeelde encoder, wat vaak onuitvoerbaar is wanneer modellen heterogeen zijn (verschillende architecturen) of wanneer zelfs gedeeltelijke modelopenbaarmaking verboden is.

Gevolg hiervan is dat er geen bestaand kader is dat heterogene, vooraf getrainde modellen in staat stelt om tijdens de inferentie te coöpereren zonder ruwe invoer, modelparameters of een gemeenschappelijke encoder te delen, en zonder gelabelde gegevens te vereisen voor de coöperatieve fase.

2. Methodologie: CE-FI Kader

De auteurs stellen Federated Inference op basis van Consensus-Embedding (CE-FI) voor, een kader ontworpen om heterogene feature-ruimtes te overbruggen met uitsluitend intermediaire representaties en ongelabelde gegevens.

Systeemmodel

• Omgeving: Een cross-silo setting met $K$ apparaten, waarbij elk apparaat een lokaal vooraf getraind model $M_k$ bezit (bestaande uit een head-netwerk $M^H_k$ en een tail-netwerk $M^T_k$).
• Beperkingen: Apparaten kunnen geen ruwe invoer $x$, modelparameters of architecturen delen. Ze kunnen uitsluitend intermediaire features delen.
• Gegevensaanname: Een gedeelde ongelabelde dataset $D_{share}$ is toegankelijk voor alle apparaten (bijvoorbeeld publieke logbestanden of sensordata), maar er zijn geen gelabelde gegevens beschikbaar voor de coöperatieve trainingsfase.

Kerncomponenten

CE-FI introduceert twee leerbare lagen per apparaat, getraind op een zelftoezichtende manier:

1. Consensus Embedding (CE) Laag ($F_k$):

   • Functie: Maat de apparaatspecifieke intermediaire feature $z_k = M^H_k(x)$ af naar een gedeelde, apparaatonafhankelijke embedding-ruimte $z'_k = F_k(z_k)$.
   • Training: Geoptimaliseerd via contrastief leren (specifiek een benadering van NT-Xent-verlies) met behulp van de gedeelde ongelabelde gegevens. Het doel is om embeddings van verschillende apparaten voor hetzelfde invoermonster uit te lijnen naar een gemeenschappelijk zwaartepunt, waarbij de afstand tussen $z'_i$ en $z'_j$ voor hetzelfde $x$ wordt geminimaliseerd.
   • Privacy: Uitsluitend de consensus-embeddings worden uitgewisseld; ruwe invoer en oorspronkelijke intermediaire features blijven lokaal.

2. Coöperatieve Output (CO) Laag ($G_k$):

   • Functie: Maat de consensus-embedding $z'_k$ af naar taakspecifieke output-logits $m'_k = G_k(z'_k)$.
   • Training: Geoptimaliseerd via kennisdistillatie met behulp van het lokale vooraf getrainde model als "leraar". De CO-laag minimaliseert de Kullback-Leibler (KL)-divergentie tussen zijn output en de logits geproduceerd door het tail-netwerk van het lokale model ($M^T_k$) op de gedeelde ongelabelde gegevens.
   • Doel: Maakt het apparaat in staat om nauwkeurige voorspellingen te genereren uitsluitend op basis van de gedeelde consensus-embedding.

Inferentie en Aggregatie

Tijdens inferentie verwerkt een apparaat een invoer $x$ via zijn head- en CE-lagen om een consensus-embedding te genereren, die wordt gedeeld met andere apparaten. Elk ontvangend apparaat verwerkt deze embedding via zijn CO-laag om logits te genereren.

• Ensemble-strategie: Het artikel evalueert diverse aggregatiemethoden. Het benadrukt dat Minimum Energy (het selecteren van het apparaat met de laagste energiescore afgeleid van logits) effectief is voor het hanteren van Out-of-Distribution (OOD) monsters en ernstige labelmismatches, en vaak superieur is aan eenvoudige gemiddelden of stemming in sterk niet-IID settings.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Coöperatieve Inferentie zonder Invoer of Modeldeling: CE-FI bereikt samenwerking over heterogene vooraf getrainde modellen zonder parameters, ruwe invoer of een gemeenschappelijke encoder te delen. Het vertrouwt uitsluitend op de uitwisseling van intermediaire features en zelftoezichtend leren.
2. Zelftoezichtende Training: Het kader introduceert een op contrastief leren gebaseerde embedding-laag en een op kennisdistillatie gebaseerde predictielaag, die beide uitsluitend worden getraind op ongelabelde gegevens, waardoor annotatiekosten worden verlaagd.
3. Theoretische Karakterisering: De auteurs analyseren formeel de relatie tussen CE-FI en conventionele Input-sharing FI. Ze tonen aan dat onder ideale uitlijncondities CE-FI theoretisch equivalent is aan Input-sharing FI, en ze leiden grenzen af die aantonen dat prestatiedegradatie evenredig is met de fout in de uitlijning van de consensus-embedding.
4. Uitgebreide Evaluatie: Uitgebreide experimenten over beeld (CIFAR-10/100), tekst (IMDB) en tijdreeks (UCI-HAR) taken onder diverse niet-IID condities (inclusief disjuncte labelsets) valideren de effectiviteit van het kader.

4. Experimentele Resultaten

• Prestaties versus Baselines: CE-FI presteert consequent beter dan Solo Inferentie over alle modaliteiten en niet-IID condities. In veel scenario's nadert het de prestaties van Input-sharing FI en Edge Ensemble, ondanks het werken onder strengere beperkingen.
• Heterogeniteit: Het kader blijft effectief zelfs wanneer apparaten verschillende encoder-architecturen gebruiken (bijvoorbeeld ViT, ResNet, ConvNeXt) en verschillende voortraining-doelstellingen (Supervised, CLIP, DINOv3).
• Ensemble-gevoeligheid: De keuze van de ensemble-strategie is cruciaal. Hoewel soft voting goed werkt in milde niet-IID settings, verbetert Minimum Energy-selectie de robuustheid aanzienlijk in ernstige niet-IID (Scheef/Disjunct) condities door onbetrouwbare voorspellingen van apparaten die specifieke klassen missen, te filteren.
• Van Scratch versus Vooraf Getraind: CE-FI werkt zelfs wanneer modellen vanaf scratch worden getraind, hoewel prestatiewinsten duidelijker zijn met vooraf getrainde encoders. De studie identificeert dat de kwaliteit van de onderliggende semantische structuur in lokale feature-ruimtes de prestaties in scratch-settings beperkt.
• Bottleneck-analyse: Ablatiestudies onthullen dat representatie-uitlijning in de CE-laag de primaire bottleneck is. Het afdwingen van een uniforme consensus-embedding-ruimte verbetert de nauwkeurigheid aanzienlijk, vooral in scratch-settings, terwijl het uitsluiten van OOD-gegevens uit de training een verwaarloosbaar effect heeft.
• Privacy en Reconstructie: Reconstructie-aanvallen (met behulp van DCGAN) op consensus-embeddings leverden reconstructies van lage kwaliteit op (RMSE ~0,22, SSIM ~0,16), wat suggereert dat het delen van consensus-embeddings ruwe invoer niet triviaal onthult, hoewel het niet immuun is voor alle privacyrisico's.
• Communicatiekosten: Bij beeldclassificatietaken was het verzenden van 256-dimensionale consensus-embeddings (2,1 KB) efficiënter dan het verzenden van ruwe afbeeldingen (4,6–6,2 KB).

5. Betekenis en Claims

Het artikel claimt dat CE-FI een significante stap voorwaarts is naar praktische, privacy-beschermende gedistribueerde AI. Door de aannames van gedeelde invoer en gemeenschappelijke encoders te verwijderen, maakt het samenwerking mogelijk in scenario's waar traditionele Federated Inference onuitvoerbaar is (bijvoorbeeld medische diagnostiek met propriëtaire modellen en strikte gegevensprivacywetten).

De auteurs handhaven een bescheiden toon met betrekking tot de resultaten:

• Ze erkennen dat hoewel CE-FI de prestaties van conventionele FI nadert, er nog een kloof bestaat, voornamelijk door imperfecte representatie-uitlijning.
• Ze merken op dat de optimale ensemble-strategie sterk afhankelijk is van de modaliteit en de mate van niet-IIDheid, wat suggereert dat een "one-size-fits-all" aggregatiemethode suboptimaal is.
• Ze identificeren representatie-uitlijning als de centrale uitdaging voor toekomstige verbetering, in plaats van alleen gegevensfiltering of ensemble-selectie.

Uiteindelijk biedt het werk een proof-of-concept dat coöperatieve inferentie haalbaar is onder de strengste beperkingen van gegevens- en modelprivacy, waarbij uitsluitend gedeelde ongelabelde gegevens en intermediaire representaties worden benut.