Resumen Técnico: Fusión de Expertos mediante el Equilibrio de Nash en Mezclas de Expertos Dispersas

Planteamiento del Problema

Las arquitecturas de Mezcla de Expertos Dispersos (SMoE, por sus siglas en inglés) se han convertido en una piedra angular para escalar redes neuronales de manera eficiente, activando solo un subconjunto de módulos de expertos por cada entrada. Mientras que la investigación significativa se ha centrado en mejorar los mecanismos de enrutamiento (por ejemplo, equilibrio de carga, estabilidad), el problema complementario de la fusión de expertos —combinar todos los parámetros de los expertos en un modelo unificado para despliegue o inferencia— permanece poco explorado.

Las estrategias de fusión existentes suelen depender de esquemas de ponderación heurísticos, como el promedio simple independiente de la entrada o la agregación top-$k$. Estos métodos a menudo ignoran las intrincadas dinámicas cooperativas y competitivas entre expertos. Además, enfoques recientes como la Fusión de Expertos con Conciencia de Curvatura (CAMEx) y su variante dinámica (EP-CAMEx), que utilizan gradientes naturales para alinear expertos, han mostrado limitaciones. Específicamente, EP-CAMEx suele rendir por debajo de su contraparte estática, probablemente debido a una coordinación insuficiente entre las contribuciones de los expertos y una convergencia lenta en la propagación. El desafío central es interpretar la fusión de expertos no simplemente como un promedio lineal, sino como una interacción estructurada que equilibre las contribuciones únicas de diversos expertos.

Metodología: NAMEx

Los autores proponen NAMEx (Fusión de Expertos mediante Nash), un marco que reinterpreta la fusión de expertos a través de la lente de la teoría de juegos, utilizando específicamente la Solución del Equilibrio de Nash (NBS).

1. La Fusión de Expertos como un Juego de Negociación

Los autores enmarcan el proceso de fusión como un juego cooperativo-competitivo entre expertos.

• Jugadores: Cada experto $i$ en la capa SMoE.
• Función de Utilidad: Definida como $u_i(\Delta E) = \tau_i^\top \Delta E$, donde $\tau_i = E_i - E_m$ es el "vector de dominio" que representa la desviación del $i$-ésimo experto respecto al experto base $E_m$. Este vector captura la contribución única del experto.
• Punto de Desacuerdo: Establecido en 0, lo que corresponde a no realizar ninguna actualización al experto base.
• Objetivo: Encontrar una dirección de actualización $\Delta E$ dentro de una bola $B_\epsilon$ que maximice el producto de las ganancias individuales sobre el punto de desacuerdo:
  $$\Delta E^* = \arg\max_{\Delta E \in B_\epsilon} \prod_{i=1}^N (\Delta E^\top \tau_i)$$
  Bajo el supuesto de vectores de dominio linealmente independientes, la solución se deriva como una suma ponderada de los vectores de dominio:
  $$\Delta E = \sum_{i=1}^N \alpha_i \tau_i$$
  donde los pesos $\alpha$ satisfacen la ecuación de negociación de Nash: $G^\top G \alpha = 1/\alpha$, siendo $G$ la matriz de los vectores de dominio y $1/\alpha$ los recíprocos elemento a elemento.

2. Integración con la Propagación de Expertos

NAMEx se integra en el marco de trabajo EP-CAMEx. En lugar de utilizar un paso de descenso de gradiente fijo para la propagación del experto base, NAMEx calcula la dirección de actualización óptima $\Delta E^{(l)}$ en cada capa $l$ utilizando la solución de Nash. El experto base $E_m$ se actualiza como:
$$E_m^{(l+1)} = E_m^{(l)} + \gamma \sum_{i=1}^N \alpha_i^{(l)} \tau_i^{(l)}$$
donde $\gamma$ es el tamaño del paso.

3. Momento Complejo

Para abordar la lenta convergencia observada en EP-CAMEx, los autores integran el momento complejo en el marco de trabajo de NAMEx (NAMEx-Momentum).

• Un búfer de momento complejo $\mu^{(j)} \in \mathbb{C}^d$ acumula actualizaciones direccionales.
• La regla de actualización involucra un coeficiente de momento complejo $\beta \in \mathbb{C}$:
  $$\mu^{(j+1)} = \beta \mu^{(j)} + \Delta E^{(j)}$$
  $$E_m^{(j+1)} = E_m^{(j)} + \Re(\gamma \mu^{(j+1)})$$
• El análisis teórico (Proposición 3.5 y Teorema C.3) proporciona garantías de convergencia, demostrando que, bajo condiciones moderadas, el radio espectral de la matriz del sistema puede mantenerse por debajo de 1, asegurando una convergencia lineal.

Contribuciones Clave

1. Marco de Trabajo NAMEx: Un nuevo método de fusión de expertos que integra el marco de optimización de la Negociación de Nash en la propagación de expertos, tratando los vectores de dominio de los expertos como funciones de utilidad para derivar coeficientes de fusión justos y eficientes.
2. Integración de Momento Complejo: La incorporación de momento complejo en NAMEx para acelerar la convergencia y mejorar la estabilidad, particularmente en escenarios con dinámicas de expertos adversarias o conflictivas. Los autores proporcionan pruebas teóricas para la tasa de convergencia de NAMEx-Momentum.
3. Escalabilidad y Validación Empírica: Demostración de la efectividad de NAMEx a través de diversas tareas (modelado de lenguaje, clasificación de texto, clasificación de imágenes) y su escalabilidad a sistemas de gran escala (Qwen1.5-MoE 14B, DeepSeek-MoE 16B).

Resultados Experimentales

Los autores evaluaron NAMEx frente a líneas de base (SMoE, CAMEx, EP-CAMEx) en múltiples evaluaciones:

• Modelado de Lenguaje (WikiText-103): NAMEx-Full-Mom logró las menores perplejidades de validación y de prueba tanto en el preentrenamiento de pequeña como de mediana escala, superando a todas las líneas de base.
• Clasificación de Texto (GLUE): En el benchmark GLUE utilizando T5-Base, NAMEx-Full-Mom alcanzó los mejores resultados en todas las tareas (SST-2, MRPC, CoLA, etc.), mostrando mejoras consistentes sobre SMoE y los métodos con conciencia de curvatura.
• Clasificación de Imágenes (ImageNet-1k y Robustez): En Swin-MoE, NAMEx-Mom superó a todas las líneas de base en precisión Top-1. Crucialmente, demostró una robustez superior en conjuntos de datos corruptos (ImageNet-A, ImageNet-O, ImageNet-R), con las variantes de momento mostrando las mayores ganancias.
• Modelos de Gran Escala: Al aplicarse a DeepSeek-MoE (16B) y Qwen1.5-MoE (14B), NAMEx-Full superó consistentemente a las líneas de base y a EP-CAMEx tanto en configuraciones zero-shot como en ajustadas (SmolTalk) en los benchmarks MMLU, GSM8K y ARC.
• Estudios de Ablación:
  • Momento: El momento complejo mejoró significativamente la velocidad de convergencia y el rendimiento en comparación con el momento de valores reales.
  • Iteraciones: Se encontró que resolver el sistema de Nash con 2 iteraciones por capa era eficiente y efectivo, con rendimientos decrecientes en conteos de iteraciones más altos.
  • Punto de Desacuerdo: El uso de 0 como punto de desacuerdo resultó ser robusto y estable en comparación con el uso de la media.

Significado y Reivindicaciones

El artículo afirma que NAMEx ofrece una alternativa fundamentada a la fusión de expertos heurística. Al modelar las interacciones de los expertos como un juego de negociación, NAMEx asegura un proceso de fusión Pareto-eficiente que tiene en cuenta tanto la cooperación como la competencia entre expertos. La integración del momento complejo aborda los cuellos de botella de convergencia en los escenarios de fusión dinámica.

Los autores enfatizan que NAMEx:

• Mejora el Rendimiento: Supera consistentemente las estrategias de fusión existentes en tareas de visión y lenguaje.
• Mejora la Robustez: Demuestra una generalización superior bajo corrupción de datos y cambios de distribución.
• Escala Efectivamente: Prueba ser viable para arquitecturas MoE de gran escala (hasta 16B de parámetros) sin comprometer significativamente la eficiencia computacional, ya que los costos de inferencia permanecen inalterados y la sobrecarga de entrenamiento es manejable.
• Fundamentación Teórica: Proporciona garantías de convergencia para la variante mejorada con momento, yendo más allá de las heurísticas puramente empíricas.

El trabajo sugiere que ver la fusión de expertos a través de la teoría de juegos abre nuevos caminos para optimizar los sistemas de aprendizaje profundo modulares, con aplicaciones potenciales en el aprendizaje federado y el aprendizaje por transferencia donde la combinación justa de expertos es crítica.