Riepilogo Tecnico: Inferenza Federata basata su Embedding di Consenso (CE-FI)

1. Enunciato del Problema

Il documento affronta la sfida di abilitare l'inferenza cooperativa tra molteplici modelli di apprendimento automatico distribuiti e indipendentemente implementati in ambienti distribuiti. Sebbene vi sia una crescente domanda di sfruttare più modelli per migliorare le prestazioni di inferenza, i framework esistenti presentano limitazioni significative in contesti sensibili alla privacy o trans-organizzativi:

• L'Apprendimento Federato (FL) richiede tipicamente la condivisione di aggiornamenti del modello o parametri, il che comporta rischi di attacchi di inversione del modello e viola i vincoli sulla proprietà intellettuale.
• L'Inferenza Federata (FI) standard spesso presuppone che tutti i client condividano gli stessi dati di input grezzi o utilizzino un'architettura di codificatore comune per generare rappresentazioni intermedie compatibili.
• Gli approcci di Ensemble al Bordo (Edge Ensemble) si basano su un codificatore condiviso, il che è spesso non fattibile quando i modelli sono eterogenei (architetture diverse) o quando è vietata anche la divulgazione parziale del modello.

Di conseguenza, non esiste alcun framework che permetta a modelli preaddestrati ed eterogenei di cooperare al momento dell'inferenza senza condividere input grezzi, parametri del modello o assumere un codificatore comune, e senza richiedere dati etichettati per la fase cooperativa.

2. Metodologia: Framework CE-FI

Gli autori propongono l'Inferenza Federata basata su Embedding di Consenso (CE-FI), un framework progettato per colmare spazi di caratteristiche eterogenei utilizzando esclusivamente rappresentazioni intermedie e dati non etichettati.

Modello di Sistema

• Ambiente: Un setting cross-silo con $K$ dispositivi, ciascuno contenente un modello preaddestrato locale $M_k$ (comprendente una rete testa $M^H_k$ e una rete coda $M^T_k$).
• Vincoli: I dispositivi non possono condividere input grezzi $x$, parametri del modello o architetture. Possono condividere solo caratteristiche intermedie.
• Assunzione sui Dati: Un dataset non etichettato condiviso $D_{share}$ è accessibile a tutti i dispositivi (ad esempio, dati di log pubblici o dati dei sensori), ma non sono disponibili dati etichettati per la fase di addestramento cooperativo.

Componenti Principali

CE-FI introduce due livelli apprendibili per dispositivo, addestrati in modo auto-supervisionato:

1. Livello di Embedding di Consenso (CE) ($F_k$):

   • Funzione: Mappa la caratteristica intermedia specifica del dispositivo $z_k = M^H_k(x)$ in uno spazio di embedding condiviso e indipendente dal dispositivo $z'_k = F_k(z_k)$.
   • Addestramento: Ottimizzato tramite apprendimento contrastivo (nello specifico un'approssimazione della perdita NT-Xent) utilizzando i dati non etichettati condivisi. L'obiettivo è allineare gli embedding provenienti da diversi dispositivi per lo stesso campione di input verso un centroide comune, minimizzando la distanza tra $z'_i$ e $z'_j$ per lo stesso $x$.
   • Privacy: Vengono scambiati solo gli embedding di consenso; gli input grezzi e le caratteristiche intermedie originali rimangono locali.

2. Livello di Output Cooperativo (CO) ($G_k$):

   • Funzione: Mappa l'embedding di consenso $z'_k$ nuovamente verso i logit specifici del compito $m'_k = G_k(z'_k)$.
   • Addestramento: Ottimizzato tramite distillazione della conoscenza utilizzando il modello preaddestrato locale come "insegnante". Il livello CO minimizza la divergenza di Kullback–Leibler (KL) tra la sua output e i logit prodotti dalla rete coda del modello locale ($M^T_k$) sui dati non etichettati condivisi.
   • Obiettivo: Consente al dispositivo di generare previsioni accurate basandosi esclusivamente sull'embedding di consenso condiviso.

Inferenza e Aggregazione

Durante l'inferenza, un dispositivo elabora un input $x$ attraverso i suoi livelli testa e CE per generare un embedding di consenso, che viene condiviso con gli altri dispositivi. Ogni dispositivo destinatario elabora questo embedding attraverso il proprio livello CO per generare logit.

• Strategia di Ensemble: Il documento valuta vari metodi di aggregazione. Evidenzia che l'Energia Minima (selezionando il dispositivo con il punteggio di energia più basso derivato dai logit) è efficace per la gestione di campioni fuori distribuzione (OOD) e gravi disallineamenti delle etichette, spesso superando la semplice media o il voto in setting altamente non-IID.

3. Contributi Chiave

Il documento delinea quattro contributi principali:

1. Inferenza Cooperativa senza Condivisione di Input o Modelli: CE-FI realizza la cooperazione tra modelli preaddestrati eterogenei senza condividere parametri, input grezzi o assumere un codificatore comune. Si basa esclusivamente sullo scambio di caratteristiche intermedie e sull'apprendimento auto-supervisionato.
2. Addestramento Auto-Supervisionato: Il framework introduce un livello di embedding basato sull'apprendimento contrastivo e un livello di previsione basato sulla distillazione della conoscenza, entrambi addestrati esclusivamente su dati non etichettati, riducendo i costi di annotazione.
3. Caratterizzazione Teorica: Gli autori analizzano formalmente la relazione tra CE-FI e FI con condivisione di input convenzionale. Dimostrano che, in condizioni di allineamento ideali, CE-FI è teoricamente equivalente alla FI con condivisione di input, e derivano limiti che mostrano come il degrado delle prestazioni sia proporzionale all'errore nell'allineamento dell'embedding di consenso.
4. Valutazione Completa: Esperimenti estesi su compiti di immagine (CIFAR-10/100), testo (IMDB) e serie temporali (UCI-HAR) in condizioni non-IID diverse (inclusi insiemi di etichette disgiunti) validano l'efficacia del framework.

4. Risultati Sperimentali

• Prestazioni vs Baseline: CE-FI supera costantemente l'Inferenza Singola (Solo Inference) in tutte le modalità e condizioni non-IID. In molti scenari, si avvicina alle prestazioni della FI con condivisione di input e dell'Ensemble al Bordo, nonostante operi sotto vincoli più rigorosi.
• Eterogeneità: Il framework rimane efficace anche quando i dispositivi utilizzano architetture di codificatore diverse (ad esempio, ViT, ResNet, ConvNeXt) e diversi obiettivi di preaddestramento (Supervisionato, CLIP, DINOv3).
• Sensibilità dell'Ensemble: La scelta della strategia di ensemble è critica. Mentre il voto soft funziona bene in setting non-IID lievi, la selezione Energia Minima migliora significativamente la robustezza in condizioni non-IID severe (Distorse/Disgiunte) filtrando le previsioni inaffidabili provenienti da dispositivi privi di classi specifiche.
• Da Zero vs Preaddestrato: CE-FI funziona anche quando i modelli sono addestrati da zero, sebbene i guadagni di prestazioni siano più pronunciati con codificatori preaddestrati. Lo studio identifica che la qualità della struttura semantica sottostante negli spazi di caratteristiche locali limita le prestazioni nei setting da zero.
• Analisi dei Colli di Bottiglia: Studi di ablazione rivelano che l'allineamento delle rappresentazioni nel livello CE è il principale collo di bottiglia. Forzare uno spazio di embedding di consenso unificato migliora significativamente l'accuratezza, specialmente nei setting da zero, mentre l'esclusione dei dati OOD dall'addestramento ha un impatto trascurabile.
• Privacy e Ricostruzione: Gli attacchi di ricostruzione (utilizzando DCGAN) sugli embedding di consenso hanno prodotto ricostruzioni di bassa qualità (RMSE ~0,22, SSIM ~0,16), suggerendo che la condivisione degli embedding di consenso non rivela trivialmente gli input grezzi, sebbene non sia immune a tutti i rischi per la privacy.
• Costo di Comunicazione: Nei compiti di classificazione di immagini, la trasmissione di embedding di consenso a 256 dimensioni (2,1 KB) è stata più efficiente rispetto alla trasmissione di immagini grezze (4,6–6,2 KB).

5. Significato e Affermazioni

Il documento afferma che CE-FI rappresenta un passo significativo verso un'IA distribuita pratica e rispettosa della privacy. Rimuovendo le assunzioni di input condivisi e codificatori comuni, abilita la cooperazione in scenari in cui l'Inferenza Federata tradizionale è non fattibile (ad esempio, diagnostica medica con modelli proprietari e leggi rigorose sulla privacy dei dati).

Gli autori mantengono un tono modesto riguardo ai risultati:

• Riconoscono che, sebbene CE-FI si avvicini alle prestazioni della FI convenzionale, rimane un divario, principalmente dovuto a un allineamento imperfetto delle rappresentazioni.
• Notano che la strategia di ensemble ottimale dipende fortemente dalla modalità e dal grado di non-IID, suggerendo che un metodo di aggregazione "adatto a tutti" è subottimale.
• Identificano l'allineamento delle rappresentazioni come la sfida centrale per il miglioramento futuro, piuttosto che il solo filtraggio dei dati o la selezione dell'ensemble.

In definitiva, il lavoro fornisce una prova di concetto che l'inferenza cooperativa è realizzabile sotto i vincoli più rigorosi di privacy dei dati e dei modelli, sfruttando solo dati non etichettati condivisi e rappresentazioni intermedie.