🤖 machine learning

FedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated Learning

FedTopo affronta la sfida degli spazi di rappresentazione non allineati nell'apprendimento federato eterogeneo codificando la conoscenza globale come una topologia di classe a livello di relazione piuttosto che come caratteristiche assolute, consentendo un trasferimento di conoscenza affidabile e miglioramenti costanti delle prestazioni attraverso diverse architetture client senza overhead di inferenza.

Autori originali: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

Pubblicato 2026-07-30

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui lo smartphone, lo smartwatch e il robot domestico di tutti possano imparare insieme per diventare più intelligenti, ma senza mai condividere le proprie foto o i propri messaggi privati. Questo è il sogno dell'Apprendimento Federato (Federated Learning). Invece di raccogliere tutti i vostri dati in un unico, enorme e vulnerabile database, l'apprendimento avviene direttamente sul vostro dispositivo. I dispositivi inviano solo piccoli "aggiornamenti" su ciò che hanno imparato a un server centrale, che li mescola insieme per creare un cervello globale più intelligente.

Tuttavia, c'è un problema: non tutti hanno lo stesso hardware. Alcuni dispositivi sono supercomputer potenti, mentre altri sono minuscoli chip a basso consumo energetico. Nei vecchi tempi dell'apprendimento automatico, tutti dovevano usare esattamente la stessa "architettura cerebrale" per imparare insieme. Se il vostro telefono avesse avuto un cervello diverso da quello del vostro vicino, non avrebbero potuto capirsi gli aggiornamenti. È come cercare di tradurre un libro scritto in inglese in una lingua che usa lettere e regole grammaticali completamente diverse; il significato si perde nella traduzione. Questo articolo affronta la complicata realtà di questi dispositivi disomogenei che cercano di collaborare.

Il Problema: Cercare di fare la media tra Mele e Arance

Gli autori di questo articolo, FedTopo, hanno notato che i metodi esistenti per aiutare questi dispositivi disomogenei a imparare insieme cercavano di forzare un incastro impossibile. La maggior parte degli attuali metodi cerca di condividere dei "prototipi". Immaginate che ogni dispositivo scatti una fotografia di come appare un "gatto" nel proprio spazio di caratteristiche e invii quella fotografia al server. Il server poi cerca di fare la media di tutte queste fotografie per trovare il "gatto perfetto".

Ma ecco l'inghippo: poiché ogni dispositivo ha un'architettura diversa (un "cervello" diverso), la parola "gatto" potrebbe apparire come una macchia sfocata su un telefono e come una forma geometrica nitida su un altro. Quando si cerca di fare la media tra una macchia sfocata e una forma nitida, non si ottiene un gatto migliore; si ottiene un pasticcio confondente che trae in inganno tutti. L'articolo sostiene che cercare di allineare queste coordinate assolute (la posizione esatta di un "gatto" in uno spazio matematico) sia una battaglia persa quando i dispositivi sono così diversi.

La Soluzione: Condividere la Mappa, non le Coordinate

Invece di cercare di accordarsi su dove si trovi un "gatto" nell'universo, FedTopo suggerisce di condividere semplicemente come le cose si relazionano tra loro. Pensatelo in questo modo:

Immaginate che voi e un amico stiate entrambi cercando di navigare in una città, ma avete mappe diverse. La vostra mappa dice che la biblioteca è a "Nord del parco", mentre la mappa del vostro amico dice che è in "Cima alla collina". Non potete facilmente fondere le vostre mappe perché "Nord" e "Cima" significano cose diverse per ciascuno di voi.

Tuttavia, potete concordare sulle relazioni. Potete entrambi concordare che "La biblioteca è più vicina al parco di quanto lo sia all'aeroporto". Questa è una relazione, non una coordinata.

FedTopo funziona facendo sì che ogni dispositivo costruisca una "mappa di relazioni" (una topologia) delle sue classi. Non dice: "La Classe A si trova alla coordinata (5, 10)". Dice invece: "La Classe A è molto simile alla Classe B, ma molto diversa dalla Classe C". Calcola quanto una "classe gatto" sia simile a una "classe cane" rispetto a una "classe camion" all'interno del proprio cervello locale.

Come Funziona: Il Messaggero Affidabile

Il processo è simile a un gruppo di detective che risolvono un mistero con taccuini diversi:

Lavoro Investigativo Locale: Ogni dispositivo osserva i propri dati e capisce come le sue classi si relazionano tra loro. "Ehi, i miei 'gatti' e i miei 'cani' sembrano un po' simili, ma i miei 'gatti' e i miei 'camion' sono totalmente diversi". Invia questa mappa di relazioni al server.
Il Filtro della Fiducia: Il server sa che alcuni dispositivi potrebbero avere pochissime foto di "camion", quindi la loro opinione su come i "camion" si relazionino con i "gatti" potrebbe essere incerta. FedTopo utilizza un particolare "punteggio di affidabilità" per pesare i messaggi. Se un dispositivo ha molti dati, la sua mappa di relazioni conta di più. Se ha pochissimi dati, il server ignora le sue ipotesi incerte.
La Mappa Globale: Il server combina queste mappe di relazioni pesate in una sing মঞ্চ "Mappa di Relazioni Globale" super affidabile.
La Lezione: Questa mappa globale viene inviata indietro ai dispositivi. Ora, quando un dispositivo sta imparando, non si limita a guardare l'immagine che ha in mano; guarda la mappa globale per vedere quali altre classi sono "confondentemente simili". Successivamente, si esercita con più intensità su quelle specifiche coppie confuse per affinare le proprie abilità.

Cosa Hanno Scoperto

Gli autori hanno testato questa idea su tre diversi dataset (CIFAR-10, CIFAR-100 e Tiny-ImageNet) utilizzando otto tipi completamente diversi di architetture di reti neurali (che vanno dalle semplici CNN alle complesse ResNet). Hanno simulato un mondo caotico in cui i dati erano distribuiti in modo non uniforme (alcuni dispositivi avevano solo gatti, altri solo camion).

I risultati sono stati chiari: FedTopo ha costantemente superato tutti gli altri metodi.

Sul dataset CIFAR-10, ha raggiunto un'accuratezza dell'87,38% nell'impostazione standard non uniforme, superando il secondo miglior metodo con un margine netto.
Nell'impostazione ancora più difficile "patologica" (dove i dispositivi avevano pochissime classi), ha raggiunto l'86,26%, guidando nuovamente la classifica.
Ha funzionato altrettanto bene su dataset più grandi e difficili come CIFAR-100 e Tiny-ImageNet.

Fondamentalmente, l'articolo dimostra che questo metodo è incredibilmente efficiente. Non richiede l'invio di enormi file di modelli avanti e indietro. Invia solo piccole tabelle di relazioni (solo 110 parametri da caricare e 200 da scarare per un problema a 10 classi). Inoltre, aggiunge zero costi extra quando il dispositivo viene effettivamente utilizzato (inferenza), perché la mappa di relazioni viene utilizzata solo durante la fase di addestramento per aiutare il dispositivo a imparare più velocemente.

In Sintesi

FedTopo dimostra che quando i dispositivi sono troppo diversi per concordare sulle esatte "coordinate" della conoscenza, possono comunque imparare insieme concordando sulle "relazioni" tra le idee. Concentrandosi su come le classi si relazionano tra loro piuttosto che su dove si trovino in un vuoto matematico, e filtrando le ipotesi inattendibili, questo metodo permette a un gruppo diversificato di dispositivi di costruire un'intelligenza collettiva più intelligente e robusta senza dover centralizzare i propri dati privati. È un modo più intelligente per imparare insieme, anche quando tutti parlano una lingua leggermente diversa.

Riepilogo Tecnico: FedTopo

Problema

L'Apprendimento Federato (Federated Learning, FL) consente l'addestramento collaborativo attraverso silos di dati decentralizzati senza centralizzare i dati grezzi. Tuttavia, l'FL standard assume architetture dei client identiche, il che è spesso impraticabile a causa delle diverse risorse computazionali e dei vincoli di implementazione. Il FL con modelli eterogenei affronta questo problema permettendo ai client di utilizzare diverse architetture di backbone.

La sfida principale nel FL con modelli eterogenei è il trasferimento della conoscenza globale attraverso spazi di rappresentazione non allineati. I paradigmi esistenti condividono la conoscenza tramite:

Condivisione parziale dei parametri: Richiede spazi di parametri allineati e architetture compatibili.
Distillazione della conoscenza (Knowledge Distillation): Richiede uno spazio di output condiviso o dati pubblici ausiliari per allineare le predizioni.
Condivisione di prototipi: Scambia prototipi per classe (coordinate delle feature).

Tutti e tre i paradigmi codificano la conoscenza in uno spazio assoluto (pesi, logit o coordinate delle feature) che deve essere allineato tra i client. Sotto backbone eterogenei, la stessa dimensione delle feature può codificare fattori semantici diversi tra i client. Di conseguenza, la media diretta di prototipi o parametri porta a una conoscenza globale inaffidabile e può trarre in errore l'addestramento locale.

Metodologia: FedTopo

Gli autori propongono FedTopo (Federated Topology-guided Learning), un framework che sposta l'attenzione dalla condivisione di coordinate assolute alla condivisione della topologia delle relazioni tra classi. Invece di chiedere "dove si trova una classe nello spazio delle feature?", FedTopo chiede "come le classi si relazionano tra loro all'interno dello spazio locale di un client?".

Il framework opera in tre fasi:

1. Costruzione della topologia a livello di relazione (Lato Client)

Ogni client $k$ addestra il proprio modello eterogeneo locale sui dati privati.

Estrazione dei prototipi: Il client calcola i prototipi di classe $p_{k,c}$ (rappresentazioni medie delle feature) per le classi presenti nel suo dataset locale.
Costruzione della matrice di relazione: Invece di caricare i prototipi, il client calcola una matrice di relazione locale $R_k \in [0, 1]^{C \times C}$ . L'elemento $R_k(c, c')$ rappresenta la similarità del coseno tra i prototipi della classe $c$ e della classe $c'$ , riscalata nell'intervallo $[0, 1]$ .
Statistiche: Il client registra il numero di campioni per classe $n_k$ per quantificare il supporto statistico per queste relazioni.
Caricamento (Upload): Vengono caricati solo la matrice di relazione $R_k$ e le statistiche $n_k$ . I prototipi grezzi e le coordinate delle feature rimangono locali.

2. Aggregazione della topologia globale consapevole dell'affidabilità (Lato Server)

Il server aggrega le relazioni locali in una topologia globale $R_g$ e in una matrice di affidabilità $S_g$ .

Mascheramento (Masking): Una maschera binaria $M_k$ esclude le coppie di classi non osservate su un determinato client.
Ponderazione dell'affidabilità: Un peso $w_k(c, c')$ viene calcolato sulla base della media armonica del numero di campioni per le due classi. Le relazioni supportate da pochi campioni vengono penalizzate.
Aggregazione: La relazione globale $\tilde{R}_g$ è una media ponderata dell'affidabilità delle relazioni locali valide.
Matrice di affidabilità: $S_g$ traccia la quantità relativa di evidenza che supporta ogni coppia di relazioni globali.
Smoothing: Viene applicata una Media Mobile Esponenziale (EMA) a $R_g$ per ridurre le fluttuazioni da round a round.
Trasmissione (Broadcast): Il server trasmette $(R_g, S_g)$ ai client.

3. Addestramento locale guidato dalla topologia (Lato Client)

I client utilizzano la topologia globale per affinare i propri confini decisionali locali senza allineare gli spazi delle feature.

Selezione della guida: Per un campione di addestramento con verità di base (ground truth) $y$ , il client seleziona le top- $q$ classi negative che sono topologicamente più simili a $y$ (basandosi su $R_g$ ) e più affidabilmente supportate (basandosi su $S_g$ ).
Modulazione dei Logit: I logit di queste classi negative selezionate vengono aumentati di un fattore $\gamma$ .
Funzione di perdita (Loss function): La perdita locale combina la classica cross-entropy loss con un termine ausiliario che penalizza il modello se non riesce a distinguere la verità di base da queste classi negative "difficili".
Inferenza: La topologia globale viene utilizzata solo durante l'addestramento. Al momento dell'inferenza, i client utilizzano i loro modelli locali originali, incorrendo in zero overhead di inferenza.

Contributi Chiave

Condivisione della conoscenza a livello di relazione: FedTopo è il primo framework che condivide la conoscenza globale come topologia delle relazioni tra classi anziché come parametri, logit o coordinate dei prototipi. Ciò allenta l'assunzione di allineamento tra i client alla necessità di una coerenza intra-client.
Aggregazione consapevole dell'affidabilità: Il metodo introduce un meccanismo per declassare le relazioni inaffidabili causate da dati scarsi o scarso supporto, garantendo che la topologia globale sia robusta alle distribuzioni di dati non-IID.
Addestramento guidato dalla topologia: Un obiettivo di addestramento innovativo che sfrutta la topologia globale per enfatizzare le classi negative confondenti, migliorando la discriminazione locale senza richiedere l'allineamento dello spazio delle feature.
Efficienza: Il framework raggiunge prestazioni allo stato dell'arte con bassi costi di comunicazione (che scalano con $O(C^2)$ invece di $O(C \times d)$ ) e zero overhead di inferenza.

Risultati Sperimentali

Gli autori hanno valutato FedTopo su CIFAR-10, CIFAR-100 e Tiny-ImageNet in scenari non-IID Dirichlet e patologici, utilizzando otto backbone eterogenei (che spaziano da CNN a ResNet-152).

Prestazioni: FedTopo ha superato costantemente i baseline in tutti e tre i paradigmi di condivisione della conoscenza (condivisione di parametri, distillazione e condivisione di prototipi).
- Su CIFAR-10 (Dirichlet $\alpha=0.1$ ), FedTopo ha raggiunto un'accuratezza dell'87,38%, superando il miglior baseline (FedSCE all'86,18%) di 1,2 punti.
- Su CIFAR-100 (Patologico), ha raggiunto il 59,30%, superando il miglior baseline (FedMRL al 57,45%) di 1,85 punti.
Robustezza: Il divario di prestazioni si è ampliato all'aumentare dell'eterogeneità dei modelli e della skew dei dati, dimostrando che la topologia delle relazioni è più trasferibile rispetto alle coordinate assolute.
Studi di Ablazione: Rimuovere qualsiasi componente (ponderazione dell'affidabilità, selezione Top-q, mascheramento consapevole delle assenze o EMA) ha degradato le prestazioni, confermando la necessità dell'intero design.
Costo: FedTopo richiedeva solo 110 parametri da caricare e 200 da scaricare per round su CIFAR-10, significativamente inferiori ai metodi basati su prototipi (5.120 parametri). Ha aggiunto FLOP di addestramento trascurabili e zero FLOP di inferenza.

Significato e Rivendicazioni

Il documento afferma che FedTopo fornisce una soluzione più robusta per il FL con modelli eterogenei cambiando fondamentalmente la natura della conoscenza condivisa. Passando dall'allineamento delle coordinate assolute (che fallisce sotto backbone eterogenei) alla coerenza delle relazioni relative (che è preservata attraverso diversi spazi di feature), il metodo permette una collaborazione efficace senza richiedere architetture condivise, dati ausiliari o allineamento delle feature.

Gli autori sottolineano che questo approccio:

Evita il problema dei "prototipi globali inaffidabili" intrinseco alla condivisione dei prototipi.
Opera efficacemente in contesti data-free (non richiede dati ausiliari pubblici).
Fornisce un trasferimento positivo anche in contesti altamente personalizzati dove i modelli locali sono già forti.
Mantiene bassi costi di comunicazione e computazione, rendendolo pratico per dispositivi edge con risorse limitate.

Il lavoro conclude che la topologia a livello di relazione è un vettore superiore per la conoscenza globale nel FL eterogeneo, offrendo un equilibrio di trasferibilità, robustezza ed efficienza che i paradigmi esistenti non possiedono. Si suggerisce come lavoro futuro l'estensione di questo approccio a scenari multi-modali e open-set.