Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts

Resumo Técnico: Revisitando Algoritmos de Majoração-Minimização Estocástica Incremental com Aplicações a Mistura de Especialistas (Mixture of Experts)

Definição do Problema
O processamento de dados de alto volume e fluxo contínuo (streaming) tornou os algoritmos tradicionais de modo lote (batch-mode) impraticáveis devido à sua exigência de passagens repetidas sobre conjuntos de dados completos. Embora métodos de estimação estocástica incremental, como o algoritmo Expectativa-Maximização (EM) estocástico incremental, tenham sido desenvolvidos para enfrentar isso, eles frequentemente dependem de suposições restritivas, particularmente a representação explícita de variáveis latentes e a suposição de que o modelo alvo pertence à família exponencial. Essas restrições limitam sua aplicabilidade a modelos complexos como o Mixture of Experts (MoE) com portão Softmax (Softmax-Gated MoE), onde a função objetivo (densidade preditiva de log negativo) geralmente não pertence a uma família exponencial e carece de propriedades de regularidade global, como continuidade de Lipschitz, suavidade $L$ ou convexidade. Consequentemente, variantes existentes de EM estocástico incremental e de MM frequentemente falham em fornecer substitutos (surrogates) válidos ou garantias de convergência para modelos de MoE com portão softmax.

Metodologia
Os autores revisitam e analisam uma variante estocástica incremental do algoritmo de Majoração-Minimização (MM), formulada dentro da estrutura de Aproximação Estocástica. A metodologia central envolve:

1. Estrutura MM Generalizada: A abordagem relaxa o requisito de que o modelo alvo pertença à família exponencial. Em vez disso, exige que o substituto majorizador (majorizer surrogate) pertença a uma família exponencial. O algoritmo constró o uma sequência de majorizadores definidos por $g(\theta, z; \tau) = -\psi(\theta) + \langle \bar{S}(\tau; z), \phi(\theta) \rangle$, onde $\bar{S}$ é uma estatística auxiliar atualizada via aproximação estocástica.
2. Estrutura Algorítmica: O algoritmo proposto de MM Estocástico Incremental (Algoritmo 1) mantém uma sequência de estatísticas auxiliares $\{s_n\}$ atualizada pela recursão $s_{n+1} = s_n + \gamma_{n+1}(\bar{S}(\bar{\theta}(s_n); z_{n+1}) - s_n)$. O iterado do parâmetro $\theta_{n+1}$ é então obtido deterministicamente minimizando a função substituta em relação à estatística atualizada: $\theta_{n+1} = \bar{\theta}(s_{n+1})$.
3. Aplicação ao MoE com Portão Softmax: O método é aplicado especificamente a duas variantes de modelos MoE com portão softmax:
   • Saída Contínua (SGMoE): Utilizando especialistas Gaussianos com regressão polinomial para o portão (gating) e funções de média.
   • Saída Discreta: Utilizando especialistas de regressão logística multinomial com portão polinomial.
     Para esses modelos, os autores derivam substitutos majorizadores específicos da família exponencial que contornam a necessidade de o objetivo original pertencer à família exponencial. Eles constroem majorizadores válidos usando limites quadráticos e desigualdades de matrizes específicas (envolvendo a matriz $B_{n,K}$) para lidar com a não-convexidade e a falta de suavidade inerentes ao portão softmax e aos termos de verossimilhança Gaussiana.
4. Garantias Teóricas: Sob um conjunto de suposições de regularidade (P1–P5) e condições de estabilidade (Suposições 1–8), o artigo estabelece que o algoritmo gera uma sequência que converge quase certamente para um ponto estacionário da função objetivo (onde o gradiente se anula). Essa consistência resulta da existência de uma função de Lyapunov e das propriedades da aproximação estocástica.

Principais Contribuições

• Generalização do MM Estocástico Incremental: O trabalho generaliza o algoritmo EM estocástico incremental, permitindo uma aplicabilidade mais ampla a modelos onde representações explícitas de variáveis latentes são difíceis ou onde o modelo não se ajusta à estrutura da família exponencial.
• Consistência Teórica: Os autores fornecem garantias teóricas rigorosas provando que os iterados convergem para pontos estacionários caracterizados por um gradiente nulo, uma propriedade frequentemente ausente em otimizadores estocásticos amplamente utilizados como SGD, RMSProp, Adam e Sophia quando aplicados a modelos latentes complexos.
• Aplicação Inovadora ao MoE com Portão Softmax: O artigo demonstra que o método proposto é o primeiro algoritmo estocástico incremental capaz de ajustar efetivamente modelos MoE com portão softmax, um cenário onde variantes incrementais de EM e MM falham devido a condições de regularidade restritivas (por exemplo, falha de continuidade de Lipschitz e convexidade no objetivo SGMoE).
• Correção de Limites: Os autores revisitam e corrigem um limite apresentado no Lema 2 de um trabalho anterior [5], fornecendo uma formulação mais explícita e rigorosa usada para construir majorizadores válidos para contextos de regressão logística multinomial.

Resultados Experimentais
O método foi avaliado em conjuntos de dados sintéticos e do mundo real, comparando seu desempenho contra otimizadores estocásticos de última geração (SGD, RMSProp, Adam, AdamW, Sophia).

• Dados Sintéticos: Em conjuntos de dados sintéticos de baixa e alta dimensão, o algoritmo MM Estocástico Incremental superou consistentemente os métodos de referência em termos de erro de estimação (MSE, MAPE, NRMSE) e erro de predição. Demonstrou taxas de convergência mais rápidas e maior estabilidade, particularmente ao utilizar a média de Polyak.
• Dados do Mundo Real:
  • Genótipos de Milho Dentado (Dent Maize): Em um estudo bioinformático envolvendo estresse por seca e proteômica, o método proposto apresentou ganhos estáveis de desempenho preditivo em comparação com as referências.
  • Comunidades e Crime: Em dados socioeconômicos de crime, o método mostrou novamente desempenho superior ou comparável com menor variância entre as dobras (folds) de validação cruzada.
• Robustez de Inicialização: O algoritmo apresentou desempenho robusto tanto sob inicialização perturbada da verdade fundamental (ground-truth) quanto sob inicialização baseada em dados (via K-means), recuperando com sucesso os parâmetros reais e minimizando a log-verossimilhança.

Significância e Alegações
O artigo afirma que o framework MM Estocástico Incremental proposto oferece uma alternativa robusta e teoricamente fundamentada para otimizar modelos de variáveis latentes complexos em ambientes de dados de fluxo contínuo. Ao relaxar as suposições rigorosas exigidas pelos métodos baseados em EM (como convexidade e representações explícitas de variáveis latentes), a abordagem amplia o escopo da estimação estocástica incremental. Os autores destacam o papel central das arquiteturas MoE com portão softmax na aprendizagem profunda contemporânea para modelagem de dados heterogêneos e argumentam que seu método preenche uma lacuna crítica ao fornecer uma estratégia de otimização viável onde abordagens estocásticas incrementais anteriores eram inaplicáveis. O trabalho sugere que este framework pode servir como uma ferramenta fundamental para desenvolvimentos futuros no aprendizado estatístico, particularmente para modelos que exigem componentes de especialistas flexíveis, não-Gaussianos ou baseados em redes neurais profundas.