Expected Gain-based Escalation in Vertical Federated Learning

Technische Samenvatting: Verwachte Winstgebaseerde Escalatie in Vertical Federated Learning

Probleemstelling
In Vertical Federated Learning (VFL) bezitten meerdere cliënten verschillende inzichten in dezelfde steekproef, en een server aggregeert deze informatie om de voorspellende prestaties te verbeteren. Hoewel collaboratieve inferentie (het samenvoegen van intermediaire representaties van alle cliënten) over het algemeen een hogere nauwkeurigheid oplevert dan lokale inferentie, brengt dit aanzienlijke communicatie- en rekenkosten met zich mee. De centrale uitdaging die in dit werk wordt aangepakt, is het bepalen wanneer men deze kostbare collaboratieve route moet inroepen. Het toepassen van fusie op elke steekproef is inefficiënt, aangezien veel inputs gemakkelijk worden opgelost door lichtgewicht lokale voorspellingen. Het doel is om een per-steekproef routingbeleid te ontwikkelen dat beslist of de verwachte verbetering in correctheid de extra communicatiekosten rechtvaardigt, specifدiek binnen een tweerondens-inferentieprotocol.

Methodologie
De auteurs stellen een analytische routingregel voor op basis van verwachte winstschatting (expected gain estimation), waardoor een apart getraind routingnetwerk niet nodig is. Het systeem werkt in twee ronden:

1. Ronde 1 (Lokaal): Cliënten verzenden laagdimensionale lokale posteriors naar de server. De server vormt een gepoolde voorspelling via average pooling.
2. Ronde 2 (Collaboratief): Als een steekproef wordt geëscaleerd, verzenden cliënten hoogdimensionale embeddings, die worden gefuseerd door een sterker server-zijde VFL-model.

De routingbeslissing wordt gemodelleerd als een drempelgebaseerd beleid: escaleer als de verwachte winst $E[G | \bar{p}]$ een drempel $\tau$ overschrijdt, waarbij $G$ het verschil is in correctheid tussen de Ronde 2 en Ronde 1 voorspellingen.

Om deze score analytisch te berekenen zonder een router te trainen, leiden de auteurs een plug-in benadering af met behulp van twee componenten die worden geschat vanuit gehouden-bij-de-kalibratie (held-out calibration) data:

1. Gecalibreerde Gepoolde Posterior: De ruwe gepoolde posterior uit Ronde 1 is vaak ongekalibreerd. De auteurs passen een multiclass Dirichlet-kalibratiekaart toe om de conditionele klasse-posterior $P(y=k | \bar{p})$ te schatten.
2. Klasse-specifieke Betrouwbaarheid: De auteurs benaderen de conditionele correctheid van het Ronde 2 model, $P(\hat{y}_{VFL}=k | y=k, \bar{p})$, met behulp van een klasse-niveau betrouwbaarheidscoëfficiënt (de diagonale waarde van de Ronde 2 verwarringsmatrix, $CVFL[k,k]$). Dit gaat ervan uit dat zodra de ware klasse vaststaat, de prestaties van het Ronde 2 model relatief stabiel zijn, ongeacht de Ronde 1 posterior.

De uiteindelijke routing score $\hat{s}(\bar{p})$ wordt berekend als:
$$\hat{s}(\bar{p}) = \sum_{k=0}^{K-1} \hat{m}_{\hat{\phi}}(\bar{p})[k] \cdot (CVFL[k,k] - \mathbb{1}[\hat{y}_{loc} = k])$$
waarbij $\hat{m}_{\hat{\phi}}$ de gekalibreerde posterior is en $\hat{y}_{loc}$ de Ronde 1 voorspelling is. Een steekproef wordt geëscaleerd als deze score positief is (of een budget-gecontroleerde drempel overschrijdt).

Belangrijkste Bijdragen

1. Inference-tijd Selectieve Escalatie: Dit werk formaliseert het probleem van het selectief inroepen van een kostbare collaboratieve VFL-route in een tweerondens-protocol, waarbij een balans wordt gezocht tussen nauwkeurigheid en communicatiebudgetten.
2. Analytische Routingregel: De auteurs stellen een methode voor die de verwachte winst van escalatie schat met behulp van alleen de gepoolde Ronde 1 posterior en klasse-specifieke betrouwbaarheidsstatistieken. Deze aanpak vereist geen dedicated routingnetwerk training, wat het interpreteerbaar en lichtgewicht maakt.
3. Empirische Validatie: De methode wordt gevalideerd op multi-view classificatie benchmarks (CIFAR-10, CIFAR-100, ModelNet40), inclusclusief scenario's met gecontroleerde test-tijd view-degradatie (Gaussische ruis).

Resultaten
Experimenten tonen aan dat de voorgestelde analytische router een superieure nauwkeurigheid-escalatie trade-off bereikt vergeleken met verschillende baselines:

• vs. Confidence-based: De voorgestelde methode presteert beter dan eenvoudige vertrouwensdrempels, wat aangeeft dat vertrouwen alleen onvoldoende is om het voordeel van escalatie te voorspellen.
• vs. Learned Gain (DIFF-01): De analytische benadering presteert consistent beter dan een geleerde router die is getraind om de gerealiseerde winst te regresseren, wat suggereert dat de analytische benadering het essentiële routing-signaal effectief vangt.
• vs. Learning-to-Defer (L2D): Bij een gelijkgestelde escalatie-budget bereikt de voorgestelde router een hogere nauwkeurigheid en een betere escalatieprecisie (EP), waarbij een groter deel van de begunstige escalaties wordt gevangen terwijl neutrale gevallen worden vermeden.
• vs. Oracle: Hoewel de voorgestelde methode de theoretische bovengrens van een oracle (die de ware winst kent) niet bereikt, verkleint het de kloof aanzienlijk, met name in matige escalatie-regimes (40–60%).

De resultaten benadrukken ook dat een groot deel van de test-steekproeven "neutraal" is met betrekking tot escalatie (d.w.z. Ronde 1 en Ronde 2 leveren dezelfde correctheid op). De voorgestelde router filtert deze effectief weg, terwijl agressieve baselines vaak overmatig escaleren, wat communicatiekosten met zich meebrengt zonder nauwkeurigheidswinst.

Betekenis en Claims
Het artikel claimt dat het behandelen van escalatie als een verwachte-winst-beslissing een praktische, interpreteerbare en efficiënte routing-mechanisme in VFL mogelijk maakt. Door te vertrouwen op kalibratiedata in plaats van complexe geleerde routers, biedt de methode een rechtstreeks pad voor implementatie. De auteurs benadrukken dat hun aanpak de communicatie-nauwkeurigheid trade-off verbetert ten opzichte van bestaande confidence-based, learned-gain en deferral-based baselines.

Het werk erkent beperkingen, specifiek dat de klasse-specifieke betrouwbaarheid-benadering de variatie binnen klassen in het gedrag van het Ronde 2 model negeert en dat de prestaties afhangen van de representativiteit van de kalibratieset. De auteurs stellen echter dat de methode robuust blijft, zelfs onder distributieverschuivingen (gesimuleerd door view-degradatie), mits de kalibratiedata redelijk representatief is. De studie concludeert dat selectieve escalatie een levensvatbare strategie is om de inferentiekosten in VFL te verlagen zonder de voorspellende prestaties op te offeren.