Riepilogo Tecnico: Fusione Parziale di Reti Neurali

Enunciato del Problema

Gli ensemble di reti neurali superano tipicamente i modelli singoli combinando le loro uscite, offrendo maggiore robustezza e prestazioni predittive. Tuttavia, gli ensemble comportano costi computazionali significativi, richiedendo l'archiviazione di più modelli in memoria e aumentando il tempo di inferenza. Al contrario, i metodi di aggregazione dei pesi (come la media dei pesi) producono modelli singoli ed efficienti dal punto di vista computazionale, ma spesso soffrono di una ridotta accuratezza, in particolare quando le reti da unire non sono state allineate o sono state addestrate su distribuzioni di dati diverse. Le tecniche esistenti di aggregazione dei pesi si basano spesso su una rigorosa invarianza rispetto alle permutazioni (corrispondenza di strati di dimensioni uguali) o richiedono procedure di allineamento complesse che potrebbero non generalizzarsi ad architetture eterogenee o a dimensioni di strato disuguali.

La sfida centrale affrontata consiste nel trovare un compromesso efficiente tra l'alta prestazione degli ensemble e il basso costo computazionale dell'aggregazione dei pesi. I metodi attuali tendono a essere binari: o aggregare completamente i pesi (potenzialmente perdendo prestazioni) o mantenere un ensemble completo (sostenendo costi elevati). È necessario un meccanismo flessibile per interpolare tra questi estremi.

Metodologia

Il documento introduce la Fusione Parziale, un metodo che interpola tra l'aggregazione dei pesi e gli ensemble fondendo solo i neuroni più simili tra le reti, mantenendo isolati i neuroni rimanenti. Questo approccio consente un compromesso flessibile, a livello di strato, tra dimensioni del modello e prestazioni.

1. Fusione Parziale tramite Trasporto Ottimale Parziale

Il metodo principale proposto estende le tecniche esistenti di aggregazione dei pesi basate sulla similarità a livello di neurone.

• Concetto: Invece di allineare tutti i neuroni tra due reti (come nella Fusione OT standard), la fusione parziale identifica e corrisponde solo i neuroni più simili. I neuroni non corrisposti (i più dissimili) vengono lasciati isolati, preservando i loro pesi originali.
• Meccanismo: Gli autori utilizzano il Trasporto Ottimale Parziale (Partial OT). Date due reti $A$ e $B$, viene calcolato un accoppiamento $\tilde{\pi}$ che corrisponde solo una frazione $(1-\alpha)$ della massa tra i neuroni delle due reti, dove $\alpha \in [0, 1]$ è un parametro che controlla il grado di fusione.
  • $\alpha = 0$: Corrisponde all'aggregazione completa dei pesi (tutti i neuroni corrisposti).
  • $\alpha = 1$: Corrisponde a un ensemble (nessun neurone corrisposto).
• Implementazione: Il metodo codifica gli strati come distribuzioni di probabilità discrete basate sulle caratteristiche dei neuroni (ad esempio, vettori di attivazione o matrici dei pesi). Risolve un problema di OT parziale per trovare la corrispondenza ottimale dei neuroni più simili. La rete fusa risultante $C$ contiene tre componenti per strato: neuroni isolati da $A$, neuroni fusi (pesi mediati) e neuroni isolati da $B$.
• Ottimizzazione Globale: Per migliorare l'allineamento, il metodo incorpora un approccio di iterazione a punto fisso (ispirato a Ainsworth et al., 2023) che ottimizza le permutazioni/corrispondenze globalmente attraverso gli strati invece che strato per strato, tenendo conto delle dipendenze tra gli strati.

2. Potatura Generalizzata

Il documento inquadra la fusione parziale da una prospettiva complementare: la Potatura Generalizzata dei modelli ensemble.

• Concetto: Invece di iniziare con l'aggregazione dei pesi e rilassare il processo, questa visione parte da un ensemble (un modello concatenato di grandi dimensioni) e applica un'operazione di potatura. A differenza della potatura standard che cancella solo i neuroni, la potatura generalizzata permette ai neuroni di essere combinati linearmente.
• Formalizzazione: Ciò viene formalizzato come la trasformazione dei pesi di un grande modello ensemble $E$ in una rete più piccola $S$ tramite trasformazioni lineari (nuclei stocastici).
• Approccio di Clustering: Una realizzazione specifica della potatura generalizzata viene proposta utilizzando il clustering. I neuroni dell'ensemble vengono raggruppati in cluster e i neuroni all'interno di un cluster vengono combinati linearmente. Questo offre più gradi di libertà rispetto alla fusione parziale, poiché non limita le combinazioni a coppie provenienti da reti diverse.
• Bias Induttivo: Gli autori notano che la fusione parziale impone un bias induttivo specifico: combina linearmente i neuroni solo se originano da reti diverse e limita le combinazioni a coppie. Si ipotizza che questo bias sia benefico per le Reti Neurali Convoluzionali (CNN), mentre l'approccio di clustering più flessibile potrebbe essere più adatto ai Perceptron Multistrato (MLP).

Contributi Chiave

1. Framework di Fusione Parziale: L'introduzione di un metodo per interpolare tra l'aggregazione dei pesi e gli ensemble fondendo solo i neuroni più simili, fornendo un compromesso regolabile tra costo computazionale e prestazioni.
2. Prospettiva di Potatura Generalizzata: L'unificazione teorica della fusione parziale e della compressione del modello sotto il concetto di potatura generalizzata, dove i neuroni possono essere combinati linearmente invece di essere semplicemente cancellati. Ciò estende l'applicabilità del metodo alla compressione di singoli modelli.
3. Algoritmi Concreti:
   • Fusione OT Parziale: Un'estensione della fusione di modelli basata su OT che utilizza il trasporto ottimale parziale per gestire corrispondenze disuguali e dimensioni di strato.
   • Potatura basata su Clustering: Un metodo per la potatura generalizzata che utilizza il clustering gerarchico per combinare linearmente i neuroni, offrendo flessibilità nella compressione del modello.
4. Validazione Empirica: Esperimenti su MLP e CNN (VGG11, ResNet18) su vari dataset (MNIST, CIFAR10) che dimostrano come la fusione parziale raggiunga prestazioni vicine a quelle degli ensemble con un numero significativamente inferiore di parametri.

Risultati

Gli esperimenti dimostrano l'efficacia dei metodi proposti in diversi regimi:

• Aggregazione su Dataset Divisi (Dati Eterogenei): Quando si uniscono modelli addestrati su divisioni di dati diverse (ad esempio, uno specializzato, uno generale), la Fusione OT Parziale supera significativamente la fusione OT standard. Aumentare il numero di neuroni isolati (aumentando $\alpha$) porta a miglioramenti monotoni delle prestazioni, colmando il divario tra il modello aggregato e l'ensemble. Ad esempio, un aumento del 20-40% nel numero di neuroni ha prodotto chiari guadagni di accuratezza rispetto alla fusione standard.
• Fine-Tuning: I modelli parzialmente fusi, quando sottoposti a fine-tuning con un piccolo sottoinsieme di dati (1% per MNIST, 5% per CIFAR10), superano costantemente sia i modelli singoli che l'ensemble completo in termini di accuratezza.
• Aggregazione su Stessi Dati: Quando si uniscono modelli addestrati sugli stessi dati con diversi semi casuali, l'aggregazione completa dei pesi spesso performa male per le CNN (come VGG11) ma meglio per le ResNet a causa delle connessioni residue. La fusione parziale fornisce un'interpolazione robusta, recuperando le prestazioni perse nella fusione completa.
• Compressione di Singolo Modello (Potatura Generalizzata):
  • Per gli MLP, la potatura generalizzata tramite clustering supera significativamente sia la potatura non strutturata che la potatura con post-elaborazione (Fusione OT). Gli autori attribuiscono ciò alla capacità del clustering di bilanciare gli errori di "cancellazione" (potatura) e "sfocatura" (combinazione lineare).
  • Per le CNN (VGG11), la Fusione OT Parziale spesso supera il clustering, suggerendo che il bias induttivo di corrispondere coppie specifiche di neuroni è più efficace per gli strati convoluzionali.
• Efficienza dei Parametri: I metodi permettono dimensioni del modello comprese tra quelle di una singola rete e di un ensemble completo. Ad esempio, un modello parzialmente fuso con $\alpha=0.5$ utilizza circa 1,45$\times$ i parametri di una singola rete (rispetto a 2$\times$ per un ensemble) raggiungendo un'accuratezza molto più vicina a quella dell'ensemble.

Significato e Affermazioni

Il documento afferma che l'insight principale è la significatività delle differenze nelle similarità a livello di neurone. I neuroni variano nella loro unicità; alcuni sono altamente simili tra le reti, mentre altri svolgono ruoli unici. I metodi proposti sfruttano queste differenze:

• La Fusione Parziale sfrutta il fatto che mantenere isolati i neuroni più dissimili aumenta la similarità media dei neuroni aggregati rimanenti, portando a una media dei pesi più efficace.
• La Potatura Generalizzata sfrutta il compromesso tra cancellare i neuroni (perdita di informazioni) e combinarli linearmente (sfocatura delle informazioni).

Gli autori posizionano il loro lavoro come un passo verso uno studio strutturato delle operazioni di unione nello spazio dei pesi delle reti neurali. Sottolineano che i metodi offrono un compromesso flessibile ed efficiente tra dimensioni del modello e prestazioni, spesso producendo guadagni di prestazioni sproporzionati per piccoli aumenti delle dimensioni del modello. Il documento rimane modesto riguardo alle implicazioni future, notando che la scalabilità a modelli più grandi e lo sviluppo di criteri principiali per le decisioni a livello di strato (ad esempio, quali strati fondere rispetto a isolare) sono direzioni aperte per lavori futuri. Il codice è reso disponibile per facilitare ulteriori ricerche.