Beyond Routing: Characterising Expert Tuning and Representation in Vision Mixture-of-Experts

Riepilogo Tecnico: Oltre l'Instradamento: Caratterizzazione dell'Adattamento degli Esperti e della Rappresentazione nelle Vision Mixture-of-Experts

Enunciato del Problema
I modelli Mixture-of-Experts (MoE) sono sempre più diffusi nell'apprendimento profondo, offrendo interpretabilità attraverso la partizione dei compiti in sottoreti distinte (esperti). Tuttavia, gli attuali sforzi di interpretabilità nelle Vision MoE sono prevalentemente limitati all'analisi delle statistiche di instradamento (ad esempio, pesi di gating, assegnazioni token-esperto o mappe di calore basate sulla classe). Gli autori sostengono che le decisioni di instradamento fungano da proxy per la specializzazione, ma non rivelino ciò che gli esperti codificano effettivamente. La letteratura esistente assume spesso che gli esperti siano adattati a categorie semantiche discrete (ad esempio, "animali" o "veicoli") basandosi esclusivamente sugli input che ricevono. Questo approccio trascura i profili interni di adattamento delle caratteristiche e la geometria rappresentativa degli esperti stessi, lasciando la natura della specializzazione degli esperti scarsamente compresa.

Metodologia
Per affrontare questo problema, gli autori hanno addestrato modelli MoE convoluzionali a gating sparso (MoE-CNN) utilizzando un obiettivo contrastivo auto-supervisionato (perdita NT-Xent) sul dataset non etichettato STL10. Questo regime di addestramento evita di incorporare strutture categoriali predefinite nel segnale di apprendimento, permettendo alla specializzazione delle caratteristiche visive guidata dai dati di emergere naturalmente.

• Architettura: Il modello utilizza una base ResNet in cui i primi tre blocchi sono condivisi. Una rete di gating instrada quindi gli input a $k=2$ esperti selezionati da un pool di $E \in \{4, 8, 16\}$ esperti. Per controllare il numero di parametri, la larghezza dei canali degli esperti è scalata di $1/\sqrt{E}$, garantendo che il numero totale di parametri rimanga costante (~46M) tra le diverse configurazioni.
• Strumenti di Analisi: Lo studio estende l'analisi dal livello di gating al livello di esperto e dal livello di categoria al livello di caratteristica, utilizzando strumenti tratti dalle neuroscienze visive:
  1. Input Più Eccitanti (MEI): Visualizzazione degli input che massimizzano la norma $L_2$ dell'embedding di lettura di un esperto.
  2. Dataset THINGS: Utilizzo del dataset THINGS (1.854 concetti di oggetti) e del suo associato Dataset di Similarità THINGS (66 dimensioni visive e semantiche derivate dal comportamento umano) come sonda fuori distribuzione (OOD).
  3. Analisi di Regressione: Adattamento di regressioni Lasso non negative per prevedere i logit di gating e le magnitudini di lettura dalle 66 dimensioni THINGS, al fine di identificare profili di adattamento continui.
  4. Analisi di Similarità Rappresentativa (RSA): Calcolo della separabilità delle categorie a coppie e RSA del secondo ordine per valutare la stabilità delle geometrie rappresentative su 10 modelli addestrati indipendentemente (semi casuali diversi).

Contributi Chiave

1. Oltre l'Instradamento: Gli autori dimostrano che le statistiche di instradamento caratterizzano erroneamente in modo sistematico la codifica degli esperti. Mostrano che, mentre l'instradamento suggerisce preferenze categoriali sparse, il reale adattamento degli esperti è più ampio e guidato da dimensioni continue.
2. Oltre le Categorie: Sfruttando il dataset THINGS, lo studio disgiunge l'adattamento degli esperti dalla struttura categorica del set di addestramento. Recupera profili di adattamento continui e interpretabili basati su dimensioni semantiche e visive (ad esempio, "metallico", "spinoso", "relativo agli animali") piuttosto che su classi discrete.
3. Stabilità Rappresentativa: Il documento identifica che specifici motivi rappresentativi (in particolare la distinzione animato-inanimato) riemergono in modo affidabile attraverso inizializzazioni di modello indipendenti, suggerendo che questi siano principi organizzativi robusti piuttosto che artefatti casuali.

Risultati

• Divergenza tra Instradamento e Adattamento: Le analisi di instradamento sul set di test STL10 suggerivano che gli esperti si specializzassero in categorie grossolane (ad esempio, camion, uccelli). Tuttavia, l'analisi MEI e la regressione sul dataset THINGS hanno rivelato che gli esperti erano spesso adattati a statistiche di immagine di basso livello (ad esempio, granulosità, frequenza spaziale) o a caratteristiche continue specifiche (ad esempio, "metallico", "ripetitivo/spinoso") che non corrispondevano alle etichette categoriali suggerite dall'instradamento.
• Disallineamento tra Gating e Lettura: Non esisteva una relazione lineare tra i logit di gating (ciò che viene instradato a un esperto) e le magnitudini di attivazione di lettura (ciò che l'esperto codifica effettivamente). Gli esperti trasformano i loro input instradati, scoprendo e amplificando caratteristiche distinte da quelle utilizzate per l'instradamento.
• Dominio dell'Animazione: Nonostante un adattamento delle caratteristiche diversificato, una distinzione binaria animato-inanimato dominava la partizione degli esperti. Questo era evidente nel gating, nella lettura e nella geometria rappresentativa. Questa divisione era stabile in tutte le configurazioni del modello ($E=4, 8, 16$) e nelle inizializzazioni indipendenti.
• Geometria Condivisa, Implementazione Distinta: Sebbene gli esperti mostrassero un adattamento delle caratteristiche distinto (MEI), le loro geometrie rappresentative (separabilità delle categorie) erano sorprendentemente simili. Ciò indica che strutture a livello di categoria funzionalmente equivalenti possono essere realizzate attraverso pattern di risposta distinti a livello di popolazione.

Significato e Affermazioni
Il documento afferma che la specializzazione degli esperti nelle Vision MoE è meglio compresa non come un adattamento sparso a classi categoriali discrete, ma come un adattamento sparso a dimensioni continue e biologicamente rilevanti.

• Riformulazione dell'Interpretabilità: Gli autori sostengono che andare oltre l'instradamento per sondare l'adattamento fine a livello di esperto e la struttura rappresentativa fornisce un quadro più accurato di ciò che le MoE apprendono.
• Parallelo Neuroscientifico: I risultati si allineano con le account contemporanei dell'adattamento distribuito nella corteccia visiva ventrale umana, dove le aree "esperte" (come FFA o PPA) sono ampiamente sensibili a dimensioni continue (ad esempio, animazione, dimensione, texture) piuttosto che essere puramente selettive per categoria.
• Stabilità: Il recupero della partizione animato-inanimato attraverso esecuzioni indipendenti suggerisce che i sistemi visivi (sia biologici che artificiali) sono vincolati dalla struttura statistica delle immagini naturali, portando ad assi organizzativi coerenti.

Gli autori rimangono modesti riguardo alla portata, notando che i loro risultati si basano sull'apprendimento auto-supervisionato su un dataset relativamente piccolo (STL10) e che i risultati potrebbero differire con MoE industriali su larga scala o con obiettivi di addestramento diversi. Tuttavia, ipotizzano che i modelli MoE offrano un quadro computazionale per indagare il motivo per cui le caratteristiche visive sono distribuite nella corteccia come lo sono.