Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts

Resumen Técnico: Revisitando los Algoritmos de Mayorización-Minimización Estocástica Incremental con Aplicaciones a Mezclas de Expertos

Planteamiento del Problema
El procesamiento de datos de alto volumen y flujo continuo ha hecho que los algoritmos tradicionales en modo lote (batch) resulten impracticables debido a su requerimiento de realizar pasadas repetidas sobre conjuntos de datos completos. Si bien se han desarrollado métodos de estimación estocástica incremental, como el algoritmo de Expectación-Maximización (EM) estocástico incremental, estos suelen depender de supuestos restrictivos, particularmente la representación explícita de variables latentes y el supuesto de que el modelo objetivo pertenece a la familia exponencial. Estas restricciones limitan su aplicabilidad a modelos complejos como la Mezcla de Expertos con Compuerta Softmax (MoE, por sus siglas en inglés), donde la función objetivo (densidad predictiva de logaritmo negativo) generalmente no pertenece a una familia exponencial y carece de propiedades de regularidad global como la continuidad de Lipschitz, la suavidad $L$ o la convexidad. En consecuencia, las variantes existentes de EM y MM estocásticos incrementales a menudo no logran proporcionar sustitutos (surrogates) válidos o garantías de convergencia para los modelos MoE con compuerta softmax.

Metodología
Los autores revisitan y analizan una variante estocástica incremental del algoritmo de Mayorización-Minimización (MM), formulada dentro del marco de Aproximación Estocástica. La metodología central consiste en:

1. Marco de MM Generalizado: El enfoque relaja el requisito de que el modelo objetivo pertenezca a la familia exponencial. En su lugar, requiere que la función sustituta de mayoración (majorizer surrogate) pertenezca a una familia exponencial. El algoritmo construye una secuencia de mayoradores definidos por $g(\theta, z; \tau) = -\psi(\theta) + \langle \bar{S}(\tau; z), \phi(\theta) \rangle$, donde $\bar{S}$ es un estadístico auxiliar actualizado mediante aproximación estocástica.
2. Estructura Algorítmica: El algoritmo propuesto de MM Estocástico Incremental (Algoritmo 1) mantiene una secuencia de estadísticas auxiliares $\{s_n\}$ actualizada mediante la recursión $s_{n+1} = s_n + \gamma_{n+1}(\bar{S}(\bar{\theta}(s_n); z_{n+1}) - s_n)$. El iterado del parámetro $\theta_{n+1}$ se obtiene entonces de forma determinante minimizando la función sustituta con respecto al estadístico actualizado: $\theta_{n+1} = \bar{\theta}(s_{n+1})$.
3. Aplicación a MoE con Compuerta Softmax: El método se aplica específicamente a dos variantes de modelos MoE con compuerta softmax:
   • Salida Continua (SGMoE): Utilizando expertos gaussianos con regresión polinómica para la compuerta y las funciones de media.
   • Salida Discreta: Utilizando expertos de regresión logística multinomial con compuerta polinómica.
     Para estos modelos, los autores derivan sustitutos de mayoración de la familia exponencial específicos que eluden la necesidad de que el objetivo original pertenezca a la familia exponencial. Construyen mayoradores válidos utilizando cotas cuadráticas e desigualdades matriciales específicas (por ejemplo, involucrando la matriz $B_{n,K}$) para manejar la no convexidad y la falta de suavidad inherentes a la compuerta softmax y los términos de verosimilitud gaussiana.
4. Garantías Teóricas: Bajo un conjunto de supuestos de regularidad (P1–P5) y condiciones de estabilidad (Supuestos 1–8), el artículo establece que el algoritmo genera una secuencia que converge casi seguramente a un punto estacionario de la función objetivo (donde el gradiente se anula). Este resultado de consistencia se basa en la existencia de una función de Lyapunov y las propiedades de la aproximación estocástica.

Contribuciones Clave

• Generalización de la MM Estocástica Incremental: El trabajo generaliza el algoritmo EM estocástico incremental, permitiendo una aplicabilidad más amplia a modelos donde las representaciones explícitas de variables latentes son difíciles o donde el modelo no se ajusta a la estructura de la familia exponencial.
• Consistencia Teórica: Los autores proporcionan garantías teóricas rigurosas que demuestran que los iterados convergen a puntos estacionarios caracterizados por un gradiente nulo, una propiedad que suele estar ausente en los optimizadores estocásticos ampliamente utilizados como SGD, RMSProp, Adam y Sophia cuando se aplican a modelos latentes complejos.
• Aplicación Novedosa a MoE con Compuerta Softmax: El artículo demuestra que el método propuesto es el primer algoritmo estocástico incremental capaz de ajustar eficazmente los modelos MoE con compuerta softmax, un escenario donde los métodos incrementales de EM y MM existentes fallan debido a las restrictivas condiciones de regularidad (por ejemplo, la falla de la continuidad de Lipschitz y la convexidad en el objetivo SGMoE).
• Corrección de Cotas: Los autores revisitan y corrigen una cota presentada en el Lema 2 de un trabajo previo [5], proporcionando una formulación más explícita y rigurosa utilizada para construir mayoradores válidos en contextos de regresión logística multinomial.

Resultados Experimentales
El método fue evaluado en conjuntos de datos sintéticos y del mundo real, comparando su rendimiento contra optimizadores estocásticos de vanguardia (SGD, RMSProp, Adam, AdamW, Sophia).

• Datos Sintéticos: En conjuntos de datos sintéticos tanto de baja como de alta dimensión, el algoritmo MM Estocástico Incremental superó consistentemente a los métodos de referencia en términos de error de estimación (MSE, MAPE, NRMSE) y error de predicción. Demostró tasas de convergencia más rápidas y mayor estabilidad, particularmente cuando se utiliza el promedio de Polyak.
• Datos del Mundo Real:
  • Genotipos de Maíz Dentado: En un estudio bioinformático que involucra estrés por sequía y datos proteómicos, el método propuesto produjo ganancias estables en el rendimiento predictivo en comparación con las referencias.
  • Comunidades y Crimen: En datos socioeconómicos de criminalidad, el método mostró nuevamente un rendimiento superior o comparable con una menor varianza a través de las particiones de validación cruzada.
• Robustez de la Inicialización: El algoritmo funcionó de manera robusta bajo una inicialización de la verdad de campo perturbada y una inicialización basada en datos (vía K-means), recuperando con éxito los parámetros reales y minimizando el logaritmo de la verosimilitud.

Significación y Reivindicaciones
El artículo sostiene que el marco de MM Estocástico Incremental propuesto ofrece una alternativa robusta y teóricamente fundamentada para optimizar modelos de variables latentes complejos en entornos de datos de flujo continuo. Al relajar los estrictos supuestos requeridos por los métodos basados en EM (como la convexidad y las representaciones explícitas de variables latentes), el enfoque amplía el alcance de la estimación estocástica incremental. Los autores destacan el papel central de las arquitecturas Mo con compuerta softmax en el aprendizaje profundo contemporáneo para el modelado de datos heterogéneos y argumentan que su método llena un vacío crítico al proporcionar una estrategia de optimización viable donde los enfoques estocásticos incrementales previos eran inaplicables. El trabajo sugiere que este marco puede servir como una herramienta fundacional para futuros desarrollos en el aprendizaje estadístico, particularmente para modelos que requieren componentes de expertos flexibles, no gaussianos o basados en redes neuronales profundas.