Riepilogo Tecnico: DAMEL – Apprendimento Multi-Esperto su Doppio Asse per l'Apprendimento con Classi Sbilanciate

1. Enunciato del Problema

Le reti neurali profonde (DNN) spesso faticano con l'apprendimento con classi sbilanciate (CIL) presente nelle distribuzioni a coda lunga del mondo reale. Sebbene le tecniche CIL esistenti (ad esempio, ricampionamento, ridistribuzione dei pesi, apprendimento disaccoppiato) riducano con successo il pregiudizio predittivo verso le classi maggioritarie, introducono frequentemente un compromesso: un aumento della varianza predittiva.

Gli algoritmi recenti di apprendimento multi-esperto tentano di mitigare questa varianza addestrando più esperti. Tuttavia, questi metodi si basano tipicamente su procedure complesse e multi-fase che coinvolgono la distillazione della conoscenza o strategie specifiche di divisione dei dati. Inoltre, gli approcci multi-esperto esistenti aggregano generalmente le previsioni di più esperti, il che potrebbe non sfruttare appieno le diverse rappresentazioni delle caratteristiche apprese da ciascun esperto.

2. Metodologia: DAMEL

Gli autori propongono DAMEL (Apprendimento Multi-Esperto su Doppio Asse), un algoritmo concettualmente semplice e in una sola fase che riduce sia il pregiudizio quadratico sia la varianza predittiva sfruttando più esperti lungo due assi distinti: l'asse delle rappresentazioni e l'asse temporale.

Architettura e Addestramento

• Backbone Condiviso: DAMEL utilizza $K$ esperti che condividono un backbone CNN profondo (fino all'ultimo blocco residuo) per minimizzare i costi computazionali. Ogni esperto possiede un proprio ultimo blocco residuo e un livello di classificazione.
• Insieme sull'Asse delle Rappresentazioni:
  • Invece di mediare le rappresentazioni o aggregare le previsioni finali, DAMEL concatena i vettori di rappresentazione ($z_k$) da tutti gli $K$ esperti.
  • Un classificatore ausiliario bilanciato viene addestrato su queste rappresentazioni concatenate utilizzando una funzione di perdita bilanciata per le classi (che ridistribuisce i pesi della perdita cross-entropy inversamente proporzionalmente alla frequenza della classe).
  • Crucialmente, i gradienti derivanti dalla funzione di perdita bilanciata per le classi vengono retropropagati solo al classificatore ausiliario, mentre il backbone e le teste degli esperti individuali vengono addestrati tramite la classica perdita cross-entropy. Ciò permette al classificatore ausiliario di sfruttare caratteristiche complementari da tutti gli esperti senza costringere il backbone ad apprendere una singola rappresentazione, potenzialmente compromessa.
  • L'intero sistema (esperti + classificatore ausiliario) viene addestrato end-to-end, evitando le tendenze di addestramento disaccoppiato osservate in altri metodi CIL.

Insieme sull'Asse Temporale

• Per ridurre ulteriormente la varianza, DAMEL aggrega i pesi della rete attraverso le epoche di addestramento utilizzando una Media Mobile Esponenziale (EMA).
• Aggiornamento a Livello di Epoca: A differenza della convenzionale EMA a livello di iterazione o della Media Ponderata Stocastica dei Pesi (SWA), DAMEL aggiorna i pesi EMA ($\theta_{EMA}$) solo alla fine di ogni epoca. Questa strategia aumenta la diversità dei pesi aggregati garantendo che gli aggiornamenti consecutivi siano meno correlati, catturando stati del modello più distinti.
• Inferenza: Durante la fase di test, le previsioni sono effettuate esclusivamente utilizzando il classificatore ausiliario con i pesi aggregati $\theta_{EMA}$. Le previsioni degli esperti individuali non sono utilizzate per l'output finale.

3. Contributi Chiave

Il documento evidenzia cinque contributi principali:

1. Insieme sull'Asse delle Rappresentazioni: Un meccanismo innovativo che aggrega le rappresentazioni degli esperti tramite concatenazione piuttosto che media delle previsioni, permettendo a un classificatore ausiliario di utilizzare caratteristiche diverse e complementari da più esperti.
2. Preservazione della Diversità: Dimostrazione che la concatenazione delle rappresentazioni non è un semplice aumento della dimensionalità, ma un meccanismo per preservare la diversità delle rappresentazioni specifiche degli esperti e utilizzare congiuntamente indizi discriminativi.
3. Insieme sull'Asse Temporale: L'introduzione di una strategia di aggregazione dei pesi EMA a livello di epoca, distinta dall'EMA a livello di iterazione e dalla SWA, che tratta i pesi aggregati temporalmente come un ulteriore asse di insieme per ridurre la varianza predittiva.
4. Classificatore Ausiliario End-to-End: La progettazione di un classificatore ausiliario bilanciato addestrato su rappresentazioni concatenate con una funzione di perdita bilanciata per le classi, riducendo il pregiudizio verso le classi maggioritarie mentre sfrutta caratteristiche diverse in una singola fase di addestramento.
5. Validazione Empirica: Esperimenti estesi e studi di ablazione che dimostrano come l'approccio su doppio asse riduca congiuntamente il pregiudizio quadratico e la varianza predittiva, superando gli algoritmi multi-esperto e CIL esistenti.

4. Risultati Sperimentali

DAMEL è stato valutato su quattro dataset di riferimento: CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT e iNaturalist2018.

• Prestazioni: DAMEL ha raggiunto prestazioni all'avanguardia su tutti i dataset e sui rapporti di squilibrio ($\gamma = 10, 50, 100$). Ad esempio, su CIFAR-100-LT ($\gamma=100$), DAMEL con 4 esperti ha raggiunto una accuratezza complessiva del 53,1%, superando basi solide come RIDE (49,1%), ACE (49,6%) e TLC (49,8%).
• Compromesso Pregiudizio-Varianza: L'analisi quantitativa del pregiudizio quadratico e della varianza ha mostrato che DAMEL riduce con successo entrambe le metriche simultaneamente. Mentre le tecniche di riequilibrio riducevano il pregiudizio ma aumentavano la varianza, e i metodi multi-esperto riducevano la varianza, l'approccio su doppio asse di DAMEL ha abbassato entrambi.
• Studi di Ablazione:
  • Rimuovere i pesi EMA o la concatenazione delle rappresentazioni ha degradato significativamente le prestazioni.
  • La concatenazione delle rappresentazioni ha superato l'aggregazione delle previsioni.
  • L'EMA a livello di epoca ha superato l'EMA a livello di iterazione e la semplice SWA, confermando l'importanza della frequenza di aggiornamento nella costruzione di un efficace insieme sull'asse temporale.
  • Studi controllati sulla capacità hanno dimostrato che i guadagni di prestazioni derivano dalla diversità degli esperti piuttosto che da un semplice aumento della capacità del modello o della dimensionalità delle caratteristiche.
• Robustezza: Il metodo è rimasto efficace quando combinato con tecniche di aumento dei dati robuste (AutoAugment, Cutout) e ha mostrato stabilità attraverso varie impostazioni di iperparametri (numero di esperti, $\beta$ EMA, scala del classificatore).

5. Significato e Affermazioni

Gli autori affermano che DAMEL offre una soluzione concettualmente semplice ma altamente efficace al compromesso pregiudizio-varianza nell'apprendimento con classi sbilanciate. Evitando distillazioni multi-fase complesse o divisioni dei dati, DAMEL raggiunge un'accuratezza superiore attraverso un processo di addestramento in una sola fase.

Il documento sottolinea che la strategia su doppio asse è l'innovazione centrale:

• L'asse delle rappresentazioni garantisce che il classificatore abbia accesso a un ricco e diversificato insieme di caratteristiche, riducendo il pregiudizio.
• L'asse temporale (tramite EMA a livello di epoca) stabilizza il modello e riduce la varianza mediando i pesi da diversi stati di ottimizzazione.

Gli autori concludono che, sebbene la loro selezione attuale degli iperparametri sia euristica, il framework proposto fornisce un approccio universale e robusto per il CIL, mitigando efficacemente le limitazioni sia delle tecniche tradizionali di riequilibrio sia degli algoritmi multi-esperto esistenti.