Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts

Sintesi Tecnica: Revisione degli Algoritmi di Majorization-Minimization Stocastica Incrementale con Applicazioni ai Mixture of Experts

Problematica
L'elaborazione di dati ad alto volume e in streaming ha reso impraticabili gli algoritmi tradizionali in modalità batch, a causa del loro requisito di passaggi ripetuti su interi dataset. Sebbene siano stati sviluppati metodi di stima stocastica incrementale, come l'algoritmo Expectation-Maximization (EM) stocastico incrementale, essi spesso si basano su assunzioni restrittive, in particolare la rappresentazione esplicita delle variabili latenti e l'assunzione che il modello target appartenga alla famiglia esponenziale. Tali vincoli ne limitano l'applicabilità a modelli complessi come il Softmax-Gated Mixture of Experts (MoE), dove la funzione obiettivo (densità predittiva logaritmica negativa) non appartiene generalmente alla famiglia esponenziale e manca di proprietà di regolarità globale come la continuità di Lipschitz, la $L$-smoothness o la convessità. Di conseguenza, le varianti esistenti di EM e MM stocastici incrementali spesso non riescono a fornire surrogati validi o garanzie di convergenza per i modelli MoE con gating softmax.

Metodologia
Gli autori rivisitano e analizzano una variante stocastica incrementale dell'algoritmo di Majorization-Minimization (MM), formulata all'interno del framework di Stochastic Approximation. La metodologia centrale prevede:

1. Framework MM Generalizzato: L'approccio rilassa il requisito che il modello target appartenga alla famiglia esponenziale. Richiede invece che la funzione surrogata maggiorizzante appartenga a una famiglia esponenziale. L'algoritmo costruisce una sequenza di maggiorizzatori definiti da $g(\theta, z; \tau) = -\psi(\theta) + \langle \bar{S}(\tau; z), \phi(\theta) \rangle$, dove $\bar{S}$ è una statistica ausiliaria aggiornata tramite approssimazione stocastica.
2. Struttura Algoritmica: Il proposto Algoritmo MM Stocastico Incrementale (Algoritmo 1) mantiene una sequenza di statistiche ausiliarie $\{s_n\}$ aggiornata dalla ricorsione $s_{n+1} = s_n + \gamma_{n+1}(\bar{S}(\bar{\theta}(s_n); z_{n+1}) - s_n)$. L'iterato del parametro $\theta_{n+1}$ è poi ottenuto deterministicamente minimizzando la funzione surrogata rispetto alla statistica aggiornata: $\theta_{n+1} = \bar{\theta}(s_{n+1})$.
3. Applicazione al Softmax-Gated MoE: Il metodo è applicato specificamente a due varianti di modelli MoE con gating softmax:
   • Output Continuo (SGMoE): Utilizzando esperti gaussiani con regressione polinomiale per il gating e le funzioni di media.
   • Output Discreto: Utilizzando esperti di regressione logistica multinomiale con gating polinomiale.
     Per questi modelli, gli autori derivano specifici surrogati maggiorizzanti della famiglia esponenziale che aggirano la necessità che l'obiettivo originale appartenga alla famiglia esponenziale. Costruiscono maggiorizzatori validi utilizzando vincoli quadratici e specifiche disuguaglianze matriciali (ad esempio, coinvolgendo la matrice $B_{n,K}$) per gestire la non-convessità e la mancanza di regolarità (smoothness) inerenti al gating softmax e ai termini di verosimiglianza gaussiana.
4. Garanzie Teoriche: Sotto un insieme di assunzioni di regolarità (P1–P5) e condizioni di stabilità (Assunzioni 1–8), il documento stabilisce che l'algoritmo genera una sequenza che converge quasi certamente a un punto stazionario della funzione obiettivo (dove il gradiente svanisce). Questo risultato di consistenza si basa sull'esistenza di una funzione di Lyapunov e sulle proprietà dell'approssimazione stocastica.

Contributi Chiave

• Generalizzazione del MM Stocastico Incrementale: Il lavoro generalizza l'algoritmo EM stocastico incrementale, permettendo una maggiore applicabilità a modelli in cui le rappresentazioni esplicite delle variabili latenti sono difficili o dove il modello non si adatta alla struttura della famiglia esponenziale.
• Consistenza Teorica: Gli autori forniscono garanzie teoriche rigorose provando che gli iterati convergono a punti stazionari caratterizzati da un gradiente nullo, una proprietà spesso assente in ottimizzatori stocastici ampiamente utilizzati come SGD, RMSProp, Adam e Sophia quando applicati a modelli latenti complessi.
• Nuova Applicazione al Softmax-Gated MoE: Il documento dimostra che il metodo proposto è il primo algoritmo stocastico incrementale capace di adattare efficacementamente i modelli MoE con gating softmax, un contesto in cui le varianti esistenti di EM e MM incrementali falliscono a causa di restrittive condizioni di regolarità (ad esempio, il fallimento della continuità di Lipschitz e della convessità nell'obiettivo SGMoE).
• Correzione dei Limiti (Bounds): Gli autori rivisitano e correggono un limite presentato nel Lemma 2 di un precedente lavoro [5], fornendo una formulazione più esplicita e rigorosa utilizzata per costruire maggiorizzatori validi per i contesti di regressione logistica multinomiale.

Risultati Sperimentali
Il metodo è stato valutato su dataset sintetici e reali, confrontando le prestazioni con gli ottimizzatori stocastici allo stato dell'arte (SGD, RMSProp, Adam, AdamW, Sophia).

• Dati Sintetici: Su dataset sintetici sia a bassa che ad alta dimensionalità, l'algoritmo MM Stocastico Incrementale ha superato costantemente i metodi di base in termini di errore di stima (MSE, MAPE, NRMSE) ed errore di predizione. Ha dimostrato tassi di convergenza più rapidi e una maggiore stabilità, particolarmente quando viene utilizzato l'averaging di Polyak.
• Dati Reali:
  • Genotipi di Mais Dentato: In uno studio bioinformatico riguardante lo stress da siccità e i dati proteomici, il metodo proposto ha prodotto guadagni stabili nelle prestazioni predittive rispetto ai baseline.
  • Comunità e Criminalità: Sui dati socio-economici relativi alla criminalità, il metodo ha mostrato nuovamente prestazioni superiori o comparabili con una minore varianza tra i fold di cross-validazione.
• Robustezza dell'Inizializzazione: L'algoritmo ha operato in modo robusto sia sotto inizializzazione perturbata della verità di base (ground-truth) sia sotto inizializzazione basata sui dati (tramite K-means), recuperando con successo i parametri reali e minimizzando la log-verosimiglianza.

Significatività e Rivendicazioni
Il documento sostiene che il framework MM Stocastico Incrementale proposto offre un'alternativa robusta e teoricamente fondata per l'ottimizzazione di modelli a variabili latenti complessi in ambienti di dati in streaming. Rilassando le stringenti assunzioni richieste dai metodi basati su EM (come la convessità e le rappresentazioni esplicite delle variabili latenti), l'approccio amplia l'ambito della stima stocastica incrementale. Gli autori sottolineano il ruolo centrale delle architetture MoE con gating softmax nell'apprendimento profondo contemporaneo per la modellazione di dati eterogenei e sostengono che il loro metodo colma una lacuna critica fornendo una strategia di ottimizzazione vitale laddove i precedenti approcci stocastici incrementali erano inapplicabili. Il lavoro suggerisce che questo framework può servire come strumento fondamentale per futuri sviluppi nel learning statistico, in particolare per modelli che richiedono componenti di esperti flessibili, non gaussiani o basati su reti neurali profonde.