Riepilogo Tecnico: SDG-MoE (Mixture-of-Experts a Grafo di Dibattito Firmato)

Enunciato del Problema

Le architetture Sparse Mixture-of-Experts (MoE) affrontano il costo computazionale del scaling dei Large Language Models (LLM) attivando solo un piccolo sottoinsieme di "esperti" per ogni token. Nel Top-K MoE standard, gli esperti selezionati elaborano i token in modo indipendente e le loro uscite sono combinate tramite una somma pesata. Questa strategia di aggregazione tratta gli esperti come predictor isolati, fallendo nel simulare interazioni o deliberazioni tra di loro prima della generazione dell'output finale. Sebbene lavori precedenti abbiano esplorato fusioni basate sull'attenzione o meccanismi di comunicazione ausiliari, l'interazione diretta e iterativa tra gli esperti instradati attivi rimane poco esplorata. Nello specifico, i metodi esistenti spesso si affidano a nodi di memoria centralizzati o a distillazione durante l'addestramento, piuttosto che permettere all'insieme degli esperti attivi di scambiare segnali conflittuali e raggiungere un consenso durante l'inferenza.

Metodologia: SDG-MoE

Gli autori propongono SDG-MoE, un nuovo strato MoE sparso che inserisce una fase di deliberazione iterativa e leggera tra il passo di instradamento e l'aggregazione finale. L'architettura tratta i $K$ esperti attivi non come unità indipendenti, ma come un piccolo gruppo interattivo capace di supportarsi o criticarsi a vicenda.

Componenti Principali

1. Stati Privati e Condivisi:
   Al momento dell'instradamento, ogni esperto attivo $i$ calcola una rappresentazione nascosta $r_i$. Questa viene suddivisa in due stati distinti:

   • Stato Privato ($h_{i,priv}$): Un vettore ad alta dimensionalità che bypassa completamente il grafo di comunicazione, preservando la conoscenza specializzata dell'esperto.
   • Stato Condiviso ($h_{i,shr}$): Un vettore a bassa dimensionalità ($d_s \ll d$) che partecipa al processo di deliberazione.

2. Grafo di Dibattito Firmato:
   Per ogni round di deliberazione $t$, gli esperti attivi costruiscono due grafi diretti appresi:

   • Grafo di Supporto ($A^+$): Cattura le influenze di rafforzamento tra gli esperti.
   • Grafo di Critica ($A^-$): Cattura le influenze correttive. Per garantire una critica mirata, questo grafo viene diradato per conservare solo i $m^-$ bordi negativi più forti per esperto.
     Questi grafi sono calcolati tramite proiezioni query/key degli stati condivisi, arricchite con embedding di identità dell'esperto appresi.

3. Deliberazione con Cancello e Ancoraggio:
   La forza dell'interazione è controllata dinamicamente da un cancello di disaccordo. Un punteggio di disaccordo $D^{(t)}$ è calcolato basato sulla distanza coseno tra gli stati condivisi normalizzati degli esperti attivi.

   • Dimensione del Passo Adattiva: Il passo di aggiornamento sociale $\lambda^{(t)}$ è una funzione di $D^{(t)}$, aumentando solo quando gli esperti sono in significativo disaccordo.
   • Ancoraggio Friedkin–Johnsen: L'aggiornamento segue un modello dinamico in cui il nuovo stato condiviso è una combinazione pesata dello stato aggiornato e dello stato instradato iniziale ($h^{(0)}_{i,shr}$). Un parametro $\beta$ agisce come coefficiente di "ostinazione", impedendo agli esperti di allontanarsi eccessivamente dalla loro specializzazione iniziale.
   • Contrasto Firmato: L'MLP di aggiornamento riceve lo stato corrente, il messaggio di supporto e un termine di contrasto firmato ($m^+ - \gamma m^-$), distinguendo esplicitamente tra prove confermate e prove contrarie.

4. Aggregazione:
   Dopo $T$ round di deliberazione, l'output finale per l'esperto $i$ è una proiezione sia dello stato privato che dello stato condiviso finale. Questi sono aggregati utilizzando i pesi originali del router.

Analisi Teorica

Il documento fornisce un'analisi teorica che stabilisce la stabilità e l'efficienza delle dinamiche di deliberazione:

• Stabilità: Gli autori dimostrano che, sotto condizioni specifiche (norme di aggiornamento limitate e continuità di Lipschitz del cancello di disaccordo), il processo di deliberazione è una mappa di contrazione. Ciò garantisce che gli stati degli esperti rimangano limitati e convergano a un punto fisso unico, prevenendo derive incontrollate.
• Complessità: L'overhead di comunicazione risulta essere di ordine basso rispetto alla dimensione dell'insieme attivo $K$. Il costo per token è $O(T(Kb^2 + K^2b))$, dove $b$ rappresenta le dimensioni di collo di bottiglia. Per piccoli $K$ e $T$, ciò aggiunge una correzione compatta piuttosto che un intero strato di esperti aggiuntivo.

Risultati Sperimentali

Gli autori hanno valutato SDG-MoE in un setting di pre-addestramento controllato utilizzando un'architettura Transformer solo-decodificatore simile a Qwen.

• Prestazioni: In tre esecuzioni di pre-addestramento con semi diversi, SDG-MoE ha ridotto la perplessità di validazione da 63,14 (MoE Vanilla) a 48,03, un miglioramento significativo rispetto alla baseline più forte.
• Benchmark Esterni: SDG-MoE ha ottenuto la migliore perplessità su dataset esterni (WikiText-103, C4 e Paloma) tra tutti i sistemi confrontati.
• Ablazioni:
  • Semantica Firmata: Rimuovere la distinzione tra supporto e critica (Dual-Unsigned) o rimuovere completamente il canale di critica (Zero-Neg) ha degradato le prestazioni, confermando che la comunicazione firmata è essenziale.
  • Cancello Adattivo: Sostituire il cancello di disaccordo adattivo con un coefficiente fisso ha peggiorato significativamente la perplessità, indicando che il modello deve deliberare selettivamente in base al disaccordo tra gli esperti.
  • Profondità della Deliberazione: Due round di deliberazione ($T=2$) hanno prodotto i migliori risultati; l'aumento a $T=4$ ha degradato le prestazioni, suggerendo che un'iterazione eccessiva porta a una correzione eccessiva.

Significato e Affermazioni

Il documento afferma di introdurre il primo strato MoE sparso che abilita la comunicazione diretta e firmata tra esperti instradati attivi prima dell'aggregazione. Il suo significato risiede in:

1. Meccanismo di Interazione Innovativo: Superare il voto indipendente degli esperti o il coordinamento centralizzato per un modello di deliberazione peer-to-peer ispirato alle dinamiche dell'opinione sociale (in particolare i modelli Friedkin–Johnsen).
2. Deliberazione Strutturata: Dimostrare che permettere agli esperti di supportarsi e criticarsi a vicenda, ancorandoli ai loro stati specializzati iniziali, produce rappresentazioni più ricche senza sacrificare l'efficienza dell'instradamento sparso.
3. Fondamento Teorico: Fornire garanzie di stabilità che mostrano come il processo di deliberazione sia una perturbazione controllata del MoE standard, assicurando stati limitati e basso overhead computazionale.

Gli autori concludono che i guadagni di prestazioni non sono dovuti meramente a una capacità aumentata o a una comunicazione generica, ma risultano specificamente dall'interplay bilanciato di supporto, critica, ancoraggio e cancelli adattivi. Osservano che questo approccio apre un nuovo spazio di progettazione per l'interazione tra esperti post-instradamento, sebbene riconoscano che valutazioni su scala più ampia e l'integrazione in modelli completamente pre-addestrati rimangono lavori futuri.