Expected Gain-based Escalation in Vertical Federated Learning

Sintesi Tecnica: Escalation basata sul Guadagno Atteso nel Vertical Federated Learning

Definizione del Problema
Nel Vertical Federated Learning (VFL), più client possiedono viste differenti dello stesso campione, e un server aggrega queste informazioni per migliorare le prestazioni predittive. Sebbene l'inferenza collaborativa (fusione delle rappresentazioni intermedie di tutti i client) generi generalmente un'accuratezza superiore rispetto all'inferenza locale, essa comporta un carico computazionale e di comunicazione significativo. La sfida centrale affrontata in questo lavoro è determinare quando invocare questo costoso percorso collaborativo. Applicare la fusione a ogni campione è inefficiente, poiché molti input sono facilmente risolvibili tramite predizioni locali leggere. L'obiettivo è sviluppare una politica di routing per singolo campione che decida se il miglioramento atteso della correttezza giustifichi il costo di comunicazione aggiuntivo, specificamente all'interno di un protocollo di inferenza a due round.

Metodologia
Gli autori propongono una regola di routing analitica basata sulla stima del guadagno atteso, evitando la necessità di una rete di routing addestrata separatamente. Il sistema opera in due round:

1. Round 1 (Locale): I client trasmettono posteri locali a bassa dimensionalità al server. Il server forma una predizione aggregata tramite pooling medio.
2. Round 2 (Collaborativo): Se un campione viene scalato (escalated), i client trasmettono embedding ad alta dimensionalità, che vengono fusi da un modello VFL lato server più forte.

La decisione di routing è modellata come una politica basata su una soglia: si scala se il guadagno atteso $E[G | \bar{p}]$ supera una soglia $\tau$, dove $G$ è la differenza nella correttezza tra le predizioni del Round 2 e del Round 1.

Per calcolare questo punteggio in modo analitico senza addestrare un router, gli autori derivano un'approssimazione plug-in utilizzando due componenti stimate da dati di calibrazione tenuti da parte (held-out):

1. Posteriore Aggregato Calibrato: Il posteriore aggregato grezzo dal Round 1 è spesso non calibrato. Gli autori applicano una mappa di calibrazione Dirichlet multiclasse per stimare il posteriore di classe condizionale $P(y=k | \bar{p})$.
2. Affidabilità per Classe: Gli autori approssimano la correttezza condizionale del modello Round 2, $P(\hat{y}_{VFL}=k | y=k, \bar{p})$, utilizzando un coefficiente di affidabilità per classe (la voce diagonale della matrice di confusione $CVFL[k,k]$ del Round 2). Ciò assume che, una volta fissata la classe reale, le prestazioni del modello Round 2 siano relativamente stabili indipendentemente dal posteriore del Round 1.

Il punteggio di routing finale $\hat{s}(\bar{p})$ è calcolato come:
$$\hat{s}(\bar{p}) = \sum_{k=0}^{K-1} \hat{m}_{\hat{\phi}}(\bar{p})[k] \cdot (CVFL[k,k] - \mathbb{1}[\hat{y}_{loc} = k])$$
dove $\hat{m}_{\hat{\phi}}$ è il posteriore calibrato e $\hat{y}_{loc}$ è la predizione del Round 1. Un campione viene scalato se questo punteggio è positivo (o supera una soglia controllata dal budget).

Contributi Chiave

1. Escalation Selettiva al Tempo di Inferenza: Il lavoro formalizza il problema di invocare selettivamente un costoso percorso VFL collaborativo in un protocollo a due round, bilanciando l'accuratezza con i budget di comunicazione.
2. Regola di Routing Analitica: Gli autori propongono un metodo che stima il guadagno atteso dell'escalation utilizzando solo il posteriore aggregato del Round 1 e le statistiche di affidabilità per classe. Questo approccio non richiede l'addestramento di un router dedicato, rendendolo interpretabile e leggero.
3. Validazione Empirica: Il metodo è validato su benchmark di classificazione multi-view (CIFAR-10, CIFAR-100, ModelNet40), inclusi scenari con degradazione controllata della vista al test-time (rumore Gaussiano).

Risultati
Gli esperimenti dimostrano che il router analitico proposto raggiunge un trade-off accuratezza-escalation superiore rispetto a diversi baseline:

• vs. Basato sulla Confidenza: Il metodo proposto supera le semplici soglie di confidenza, indicando che la sola confidenza è insufficiente per predire il beneficio dell'escalation.
• vs. Guadagno Appreso (DIFF-01): L'approccio analitico supera costantemente un router appreso addestrato per regredire il guadagno realizzato, suggerendo che l'approssimazione analitica cattura efficacemente il segnale di routing essenziale.
• vs. Learning-to-Defer (L2D): A parità di budget di escalation, il router proposto raggiunge un'accuratezza maggiore e una migliore precisione di escalation (EP), catturando una frazione maggiore di escalation benefici ed evitando quelle neutrali.
• vs. Oracle: Sebbene il metodo proposto non raggiunga il limite teorico superiore di un oracle (che conosce il vero guadagno), riduce significativamente il divario, in particolare nei regimi di escalation moderata (40–60%).

I risultati evidenziano anche che una grande porzione di campioni di test è "neutra" rispetto all'escalation (ovvero, il Round 1 e il Round 2 producono la stessa correttezza). Il router proposto filtra efficacemente questi casi, mentre i baseline aggressivi tendono spesso a sovra-escalare, incorrendo in costi di comunicazione senza guadagni in termini di accuratezza.

Significatività e Rivendicazioni
Il documento sostiene che trattare l'escalation come una decisione di guadagno atteso permetta un meccanismo di routing pratico, interpretabile ed efficiente nel VFL. Basandosi sui dati di calibrazione piuttosto che su complessi router appresi, il metodo offre un percorso di implementazione diretto. Gli autori sottolineano che il loro approccio migliora il trade-off comunicazione-accuratezza rispetto ai baseline esistenti basati sulla confidenza, sul guadagno appreso e sul deferral.

Il lavoro riconosce dei limiti, specificamente che l'approssimazione dell'affidabilità per classe ignora la variazione intra-classe nel comportamento del modello Round 2 e che le prestazioni dipendono dalla rappresentatività del set di calibrazione. Tuttavia, gli autori affermano che il metodo rimane robusto anche sotto shift di distribuzione (simulati dalla degradazione della vista), a condizione che i dati di calibrazione siano ragionevolmente rappresentativi. Lo studio conclude che l'escalation selettiva è una strategia valida per ridurre i costi di inferenza nel VFL senza sacrificare le prestazioni predittive.