Riepilogo Tecnico: Modelli Basati su Concetti Federati (F-CM)

Enunciato del Problema

I Modelli Basati su Concetti (CM) migliorano l'interpretabilità dell'apprendimento profondo fondando le previsioni su concetti comprensibili all'uomo. Tuttavia, il loro dispiegamento pratico è ostacolato dall'alto costo e dalla scarsità di annotazioni concettuali all'interno di singole fonti di dati. Sebbene l'Apprendimento Federato (FL) offra un paradigma per l'addestramento collaborativo tra proprietari di dati distribuiti senza condividere i dati grezzi, gli attuali framework FL sono inadatti ai CM. Il FL standard presuppone un'architettura di modello fissa e condivisa, mentre i CM si basano su un'architettura esplicitamente legata a un insieme specifico di concetti e alle loro dipendenze. In scenari FL realistici caratterizzati da eterogeneità statistica e non stazionarietà temporale (ad esempio, l'ingresso/uscita di client o deriva dei dati), l'insieme dei concetti disponibili e le loro relazioni strutturali possono evolvere. Ciò crea un disallineamento fondamentale: il FL standard non può accommodare le adattazioni architetturali richieste quando emergono nuovi concetti o dipendenze, portando a una perdita di interpretabilità o alla necessità di costosi riaddestramenti completi.

Metodologia: Modelli Basati su Concetti Federati (F-CM)

Gli autori propongono i Modelli Basati su Concetti Federati (F-CM), un framework progettato per dispiegare CM in ambienti federati in evoluzione. I F-CM affrontano il disallineamento tra le assunzioni statiche del FL e gli spazi concettuali dinamici attraverso tre meccanismi fondamentali:

1. Aggregazione Grafica:
   Invece di assumere una struttura globale predefinita, il server aggrega le informazioni strutturali (Grafici Aciclici Diretti o DAG) fornite dai client. Ogni client $k$ invia una matrice di adiacenza pesata $A^{(k)}$ che rappresenta la sua fiducia locale negli archi tra le variabili supervisionate. Il server costruisce un DAG globale condiviso $G_t$ sommando queste confidenze e applicando una regola di massimo consenso per determinare l'esistenza e la direzione degli archi. Questo processo gestisce strutture locali rumorose o conflittuali e garantisce che il modello globale rifletta la conoscenza collettiva della federazione.

2. Adattamento Dinamico dell'Architettura:
   Il CM condiviso è scomposto in componenti modulari: un encoder latente, encoder specifici per concetto e un decoder di task. Man mano che nuovi client si uniscono o le distribuzioni dei dati si spostano, introducendo concetti o dipendenze precedentemente invisibili, l'architettura si adatta in modo modulare:

   • Espansione: Vengono istanziati nuovi moduli per i nuovi concetti.
   • Riconnessione: Se le dipendenze cambiano (ad esempio, un nuovo arco $C_i \to C_j$), l'input al modulo corrispondente viene aggiornato.
   • Avvio Caldo (Warm-Start): I parametri esistenti per i moduli non interessati vengono preservati, mentre i nuovi parametri vengono inizializzati (ad esempio, inizializzati a zero o casualmente). Questo evita il riaddestramento completo e mantiene la conoscenza appresa in precedenza.

3. Ottimizzazione e Aggregazione Specifiche per Modulo:
   Per gestire la supervisione parziale (dove un client può annotare solo un sottoinsieme di concetti), i F-CM adottano una strategia di ottimizzazione mascherata. Durante l'addestramento locale, i client bloccano i moduli per le variabili che non supervisionano. Di conseguenza, gli aggiornamenti vengono generati solo per i componenti supervisionati. Il server esegue quindi un'aggregazione modulo per modulo, mediando i parametri per ogni specifico modulo solo sul sottoinsieme di client che ha fornito supervisione per quella variabile. Ciò garantisce che il modello globale integri supervisioni eterogenee senza costringere i client a ottimizzare per concetti che non possono osservare.

Contributi Chiave

Il documento introduce i F-CM come la prima metodologia per affrontare spazi concettuali in evoluzione in condizioni di non stazionarietà temporale nel FL, adattando la struttura del modello invece di assumere un'architettura fissa. I contributi specifici sono:

• Nuova Metodologia: Un approccio sistematico al dispiegamento di architetture basate su concetti in scenari federati realistici, gestendo supervisione concettuale eterogenea, parziale e non stazionarietà temporale.
• Flessibilità Architetturale: Superando l'assunzione di architettura fissa del FL standard, i F-CM permettono alla struttura del modello condiviso di adattarsi durante l'addestramento, consentendo l'integrazione dell'interpretabilità architetturale.
• Condivisione della Conoscenza che Preserva la Privacy: Riduzione del carico di annotazione presso le singole istituzioni consentendo l'aggregazione della conoscenza concettuale tra entità senza condividere dati grezzi.
• Validazione Empirica: Istanza dei F-CM con quattro distinte architetture CM (CBM, CEM, CGM, C2BM) e validazione su benchmark di reti bayesiane sintetiche e su due dataset reali di imaging medico (SIIM-Pneumothorax e CheXpert).

Risultati Sperimentali

Gli autori hanno valutato i F-CM confrontandoli con limiti superiori centralizzati, addestramento localizzato, varianti federate statiche (S-F-CM) e baseline federate all'avanguardia per l'apprendimento concettuale (FedCBM, FCL).

• Accuratezza e Copertura: I F-CM hanno raggiunto un'accuratezza del task e una copertura concettuale paragonabili all'addestramento centralizzato con supervisione concettuale completa. Al contrario, le baseline federate statiche e i modelli localizzati hanno subito cali significativi delle prestazioni e non sono riusciti a coprire i concetti introdotti da client arrivati in ritardo.
• Efficacia dell'Intervento: I F-CM hanno permesso inferenze interpretabili e interventi efficaci su concetti non annotati localmente presso specifiche istituzioni. Quando sono stati intervenuti concetti di verità fondamentale, i F-CM hanno mantenuto un'alta accuratezza delle etichette, dimostrando che il modello sfrutta con successo la supervisione raggruppata per ragionare su concetti che non ha osservato direttamente durante l'addestramento locale.
• Efficienza in Condizioni di Non Stazionarietà: In scenari in cui nuovi client hanno introdotto concetti inediti, i F-CM hanno convergito più velocemente e con una perdita inferiore rispetto alle baseline statiche. Crucialmente, i F-CM hanno richiesto l'aggiornamento di solo una piccola frazione di parametri (ad esempio, 8%–61% a seconda dello scenario) rispetto al 100% per una baseline di riaddestramento completo (S-F-CM Reinit), dimostrando un'alta efficienza di adattamento.
• Robustezza: Il framework ha mostrato robustezza al disaccordo semantico inter-client e a perturbazioni grafiche (rumore nei DAG forniti dai client). La strategia proposta di aggregazione grafica ha efficacemente denoizzato proposte locali incoerenti.
• Estensione Multimodale: Un'estensione proof-of-concept ha dimostrato che i F-CM possono gestire modalità di input eterogenee (ad esempio, immagini e testo) condividendo uno spazio concettuale semantico comune.

Significato e Affermazioni

Il documento afferma che i F-CM rappresentano un passo significativo verso il ridimensionamento di modelli interpretabili rispettando vincoli reali come la privacy dei dati, la scarsità di annotazioni e ambienti di dispiegamento dinamici. Colmando il divario tra la natura statica del FL standard e i requisiti strutturali dei CM, i F-CM abilitano:

1. Inferenza Interpretabile su Concetti Inediti: La capacità di effettuare previsioni interpretabili su concetti non annotati presso un client specifico, una capacità assente nelle attuali approcci federati statici.
2. Crescita Sostenibile della Federazione: Un meccanismo per integrare nuove fonti di dati e tipi di supervisione senza scartare la conoscenza appresa in precedenza o sostenere i costi computazionali di un riaddestramento completo.
3. Interpretabilità che Preserva la Privacy: Una via per aggregare conoscenze semantiche di alto livello tra istituzioni, riducendo la necessità di costosi sforzi di annotazione concettuale centralizzata.

Gli autori riconoscono le limitazioni, notando che le attuali architetture CM non erano originariamente progettate per spazi in evoluzione, e che il lavoro futuro potrebbe concentrarsi sullo sviluppo di CM consapevoli della federazione con maggiore modularità. Evidenziano inoltre la necessità di ulteriori analisi sulla privacy riguardo alle potenziali superfici di attacco specifiche per i modelli federati basati su concetti.