Riepilogo Tecnico: Verso l'Apprendimento di Grafi Multimodali Federati Robusto sotto Eterogeneità di Modalità

1. Formulazione del Problema

Il documento affronta la sfida dell'apprendimento robusto con modalità mancanti nei grafi multimodali federati (FMG). Nei sistemi distribuiti reali, i dati strutturati a grafo (ad esempio, reti sociali, sistemi di raccomandazione) sono spesso isolati su più client a causa di vincoli di privacy, competizione commerciale o proprietà della piattaforma, rendendo impossibile l'addestramento centralizzato. Inoltre, questi grafi soffrono frequentemente di incompletezza delle modalità, dove i nodi mancano di determinati attributi (ad esempio, testo, immagini, video) a causa di raccolta eterogenea, limiti di archiviazione o comportamento degli utenti.

Gli approcci esistenti non riescono a gestire efficacemente questa intersezione:

• Apprendimento di Grafi Multimodali Centralizzato: I metodi che gestiscono le modalità mancanti presuppongono l'accesso ai dati centralizzati e ignorano le sfide della condivisione della conoscenza e della generalizzazione tra client negli ambienti federati.
• Apprendimento Multimodale Federato: Sebbene maturi per dati non grafo, questi metodi ignorano tipicamente la topologia del grafo e le dipendenze strutturali, trattando i campioni come indipendenti.
• Apprendimento di Grafi Federato: La maggior parte dei metodi esistenti presuppone feature di nodo complete e non modella esplicitamente l'assenza di modalità a più granularità.

Gli autori identificano due colli di bottiglia critici in una pipeline di generazione-aggregazione ingenua per questo problema:

1. Completamento Locale Isolato dalla Topologia: La generazione di modalità lato client si basa esclusivamente sui sottografi locali, faticando a sfruttare la semantica globale. Ciò porta a feature inconsistenti con la semantica strutturale tra client, potenzialmente fuorviando il passaggio di messaggi nel grafo.
2. Aggregazione Globale con Squilibrio di Affidabilità: I client variano per disponibilità di modalità e affidabilità di recupero. L'aggregazione standard basata sulle dimensioni dei dati (ad esempio, FedAvg) può sbilanciare il modello globale verso aggiornamenti provenienti da client con segnali recuperati inaffidabili o pattern di modalità dominanti ma incompleti.

2. Metodologia: FEDMPO

Gli autori propongono FEDMPO, un framework unificato progettato per migliorare l'affidabilità della generazione di modalità locale e la robustezza globale attraverso una pipeline a quattro stadi:

Stadio 1: Codifica del Contesto di Feature e Grafo

• Disaccoppiamento delle Maschere: Il framework distingue tra assenza naturale (non esiste una verità fondamentale) e mascheramento durante l'addestramento (modalità osservate nascoste artificialmente). Solo le modalità osservate naturalmente vengono mascherate artificialmente per fornire target di ricostruzione affidabili.
• Ancore Strutturali: Per affrontare la mancanza di contesto globale, il modello costruisce ancore strutturali specifiche per modalità per le feature mancanti aggregando rappresentazioni dai nodi vicini dove la modalità è visibile. Ciò fornisce un prior derivato dalla topologia per la generazione.
• Codifica del Contesto: I nodi vengono codificati utilizzando un encoder di grafo che incorpora embedding grezzi o ancore strutturali, assicurando che la rappresentazione sia potenziata dal contesto locale del grafo.

Stadio 2: Generazione Cross-Modal Consapevole della Topologia

• Banca del Contesto: Invece di affidarsi solo alle modalità rimanenti del nodo stesso, il generatore interroga una banca del contesto contenente le altre modalità visibili del nodo e le rappresentazioni di modalità visibili dei vicini.
• Meccanismo di Attenzione: Un meccanismo di attenzione multi-testa interroga questa banca per recuperare evidenze cross-modal e di vicinato.
• Strategia di Warmup: Viene impiegato un fattore di warmup lineare ($\gamma_t$). Le prime fasi di addestramento si basano maggiormente su ancore strutturali stabili (priors topologici a bassa varianza) per ridurre l'instabilità del gradiente, spostandosi gradualmente verso la generazione cross-modal appresa man mano che l'addestramento procede.
• Obiettivi: Il generatore è supervisionato tramite una perdita di ricostruzione sulle modalità mascherate artificialmente e una perdita di allineamento cross-modal per garantire la coerenza semantica tra modalità osservate e recuperate.

Stadio 3: Fusione Mixture-of-Experts (MoE) Consapevole delle Assenze

• Stima dell'Incertezza: Il modello stima un punteggio di incertezza di recupero per le feature generate basandosi sulla rappresentazione generata, sul contesto cross-modal e sulle ancore strutturali. Alle modalità osservate viene assegnata incertezza zero.
• Instradamento degli Esperti: Un router pesa dinamicamente due esperti: un Esperto Osservato (semantica grezza affidabile) e un Esperto Recuperato (semantica generata). La decisione di instradamento considera visibilità, incertezza e rapporti di assenza a livello sia di nodo che di client.
• Fusione Consapevole dell'Affidabilità: Le modalità vengono fuse in base ai loro pesi di affidabilità. Crucialmente, viene introdotto un esperto di fallback strutturale. Se un nodo ha un alto rapporto di assenza o un'alta incertezza media, il modello si sposta adattivamente dalla fusione multimodale a una rappresentazione basata solo sulla struttura, prevenendo la propagazione di segnali recuperati rumorosi attraverso il grafo.

Stadio 4: Predizione del Task e Aggregazione Consapevole dell'Affidabilità

• Obiettivo Locale: I client ottimizzano una perdita combinata che include prestazioni del task, ricostruzione, allineamento e regolarizzazione dell'instradamento.
• Aggregazione Consapevole dell'Affidabilità: A differenza del FedAvg standard, il server aggrega gli aggiornamenti utilizzando pesi consapevoli dell'affidabilità. I client caricano statistiche scalari leggere (incertezza media di recupero, errore di ricostruzione e rapporto di assenza a livello di client) insieme ai parametri del modello.
• Meccanismo di Ponderazione: Il server calcola un punteggio di affidabilità che riduce esponenzialmente il peso dei client con alta incertezza, alto errore di ricostruzione o alti rapporti di assenza. Ciò impedisce che aggiornamenti di client inaffidabili dominino il modello globale, mitigando il bias di aggregazione senza escludere completamente i client.

3. Contributi Chiave

1. Nuova Definizione del Problema: Il documento formalizza il problema dell'apprendimento robusto con modalità mancanti per grafi multimodali federati, evidenziando le sfide accoppiate di struttura del grafo, incompletezza delle modalità ed eterogeneità federata.
2. Framework Innovativo (FEDMPO): Introduce un flusso di lavoro unificato che integra:
   • Generazione Cross-Modal Consapevole della Topologia: Sfruttando la struttura del vicinato del grafo per recuperare feature mancanti.
   • Instradamento di Esperti Consapevole delle Assenze: Filtrando segnali recuperati rumorosi tramite stima dell'incertezza e fallback strutturale.
   • Aggregazione Consapevole dell'Affidabilità: Riducendo il peso degli aggiornamenti di client inaffidabili basandosi sulle statistiche di qualità del recupero.
3. Prestazioni Empiriche: Estesi esperimenti su 6 dataset attraverso 3 task (Classificazione di Nodi, Predizione di Link, Recupero di Modalità) dimostrano che FEDMPO supera basi solide (inclusi metodi avanzati FGL e FL multimodali).
   • Raggiunge un guadagno di prestazioni fino al 4,10% in scenari ad alta assenza.
   • Raggiunge un guadagno di prestazioni fino al 5,65% in scenari altamente non-IID.
   • Dimostra robustezza rispetto a tassi di assenza variabili (30%–70%) ed eterogeneità dei client.

4. Significato e Affermazioni

Il documento afferma che FEDMPO è significativo perché va oltre il trattamento del recupero delle modalità, del ragionamento su grafi e dell'ottimizzazione federata come componenti separati. Invece, li accoppia in un singolo ciclo chiuso in cui:

• La Qualità del Recupero è modellata esplicitamente e utilizzata per guidare la fusione.
• Il Contesto del Grafo è utilizzato per informare il completamento delle modalità, affrontando il limite "isolato dalla topologia" dei metodi esistenti.
• Le Statistiche di Affidabilità sono utilizzate per stabilizzare l'aggregazione globale, affrontando il limite "sbilanciato per affidabilità" dell'apprendimento federato standard.

Gli autori sottolineano che, sebbene FEDMPO introduca un sovraccarico computazionale moderato (operando su rappresentazioni nascoste compatte piuttosto che su dati grezzi), raggiunge un compromesso favorevole tra accuratezza, robustezza e costo di comunicazione. Il lavoro suggerisce che modellare esplicitamente l'affidabilità del recupero è essenziale per l'apprendimento di grafi multimodali robusto in ambienti federati, in particolare quando gli aggiornamenti locali sono influenzati da una disponibilità eterogenea delle modalità.

Il documento conclude notando le limitazioni, come la necessità di una modellazione più specializzata per pattern di assenza complessi del mondo reale (ad esempio, mancanti non a caso) e il potenziale per lavori futuri sull'aggregazione che preserva la privacy delle statistiche di affidabilità.