Resumen Técnico: Los Autovectores de los Expertos son Enrutadores No Colapsantes Libres de Entrenamiento

Planteamiento del Problema

Las arquitecturas de Mezcla de Expertos Dispersos (SMoE, por sus siglas en inglés) se han convertido en una piedra angular para escalar Modelos de Lenguaje Extensos (LLMs) y modelos de visión-lenguaje mediante el enrutamiento de tokens de entrada a un subconjunto de expertos especializados. Sin embargo, estos modelos sufren un problema persistente conocido como colapso de expertos (o colapso de representación), donde expertos distintos convergen para producir salidas similares o redundantes, lo que degrada la capacidad efectiva y el rendimiento del modelo.

Si bien investigaciones previas han intentado mitigar esto mejorando el enrutador (el mecanismo que selecciona los expertos), estos enfoques suelen requerir un entrenamiento desde cero o un ajuste fino (fine-tuning), lo que incurre en altos costos computacionales y de procesamiento de datos. Además, la evidencia empírica presentada en este trabajo demuestra que incluso los modelos SMoE bien preentrenados, incluyendo sistemas de vanguardia como GPT-OSS, Qwen3 y DeepSeek-MoE, continúan exhibiendo un colapso de enrutador significativo a través de diversas capas y escalas de modelos. Esta persistencia sugiere que las mejoras convencionales del enrutador son insuficientes y que es necesario un reexamen fundamental del mecanismo de enrutamiento.

Metodología: SMoE de Descomposición en Valores Singulares (SSMoE)

Los autores proponen SSMOE, un nuevo marco de trabajo libre de entrenamiento que elimina la dependencia de enrutadores aprendidos mediante el aprovechamiento de las propiedades espectrales de las propias matrices de pesos de los expertos.

Percepción Central (Core Insight)

A través de un análisis de modelos SMoE avanzados y preentrenados, los autores observan que los autovectores de las matrices de pesos de los expertos codifican información semántica rica. A diferencia de los embeddings del enrutador aprendidos, que pueden colapsar, estos autovectores mantienen naturalmente la ortogonalidad y capturan la especialización intrínseca del experto.

El Marco de Trabajo SSMoE

El método opera en cuatro pasos principales:

1. Extracción de Autovectores: Para cada experto $i$, los autores computan dos matrices de Gram derivadas de los pesos de la Red Neuronal Feedforward ($FFN_1$ y $FFN_2$) del experto. Luego, extraen los autovectores de estas matrices.
2. Construcción del Embedding Espectral: Para un experto dado, se seleccionan los top-$c$ autovectores más similares al embedding del enrutador del experto de ambas matrices de Gram. Estos se promedian para formar un "embedding espectral" ($C^{(i)}$) que representa la especialización semántica del experto.
3. Enrutamiento: Los embeddings espectrales de todos los expertos se concatenan para formar una matriz de peso de enrutamiento ($W_{EV}$). El token de entrada $x$ se proyecta a través de esta matriz para generar logits basados en autovectores ($f_{EV}(x)$).
4. Enrutamiento Híbrido: Para equilibrar la nueva señal espectral con el enrutador original consciente del contexto, SSMoE emplea una combinación convexa:
   $$V(x) = \alpha f_{EV}(x) + (1 - \alpha) s(x)$$
   donde $s(x)$ son los logits del enrutador aprendido original y $\alpha \in [0, 1]$ es un factor de equilibrio ajustable. Los resultados empíricos sugieren que los valores de $\alpha$ entre 0.5 y 0.9 producen un rendimiento óptimo.

Garantía Teórica

El artículo proporciona un lema teórico que demuestra que el enrutador SSMoE reduce las correlaciones de logit de pares. Específicamente, si los logits de los autovectores son ortogonales a los logits del enrutador aprendido, la covarianza del enrutador combinado se reduce estrictamente por un factor de $(1-\alpha)^2$ en comparación con el enrutador original. Esto demuestra matemáticamente que SSMoE mitiga el problema de colapso inherente a los enrutadores SMoE convencionales.

Principales Contribuciones

1. Identificación del Colapso en Modelos Preentrenados: Los autores demuestran empíricamente que el colapso del enrutador es un problema generalizado en diez modelos basados en MoE de vanguardia (que van desde 4B hasta 120B de parámetros), afectando tanto a arquitecturas de razonamiento como de no-razonamiento.
2. Codificación Semántica en Autovectores: El trabajo revela que los autovectores de las matrices de pesos de los expertos codifican naturalmente información semántica rica, sirviendo como una alternativa robusta a los embeddings de enrutador aprendidos.
3. Marco de Trabajo SSMoE: La introducción de un marco de trabajo eficiente y libre de entrenamiento que utiliza estas propiedades espectrales para mejorar el enrutamiento de tokens y la representación de expertos sin requerir entrenamiento adicional.
4. Estrategia de Poda de Expertos: La propuesta de un método de descarte de expertos basado en SSMoE que mejora el rendimiento mientras reduce significativamente el consumo de memoria.

Resultados Experimentales

Los autores evaluaron SSMoE a través de diversos tipos de tareas y escalas de modelos bajo configuraciones de datos limpios y corruptos (con ruido).

• Grandes Modelos de Razonamiento (GPT-OSS): En GPT-OSS-20B y GPT-OSS-120B, SSMoE superó a los modelos originales y a las estrategias de descarte aleatorio base.
  • Logró una mejora promedio de ~6% sobre los modelos GPT-OSS originales en benchmarks de razonamiento (ARC, GSM8K, etc.) mientras reducía el consumo de memoria en ~23%.
  • En una configuración de 10-shot, SSMoE mejoró el rendimiento en un 21% sobre las bases para el modelo de 20B y un 10% para el de 120B.
  • Crucialmente, los estudios de ablación mostraron que las ganancias de rendimiento fueron impulsadas por el propio mecanismo de enrutamiento, no meramente por la reducción del número de expertos.
• Grandes Modelos de Lenguaje (MTEB): Evaluado en OLMoE, Qwen-MoE y DeepSeekMoE, SSMoE superó consistentemente a las bases (Router, SMoE, MoEE) en el Massive Text Embedding Benchmark (MTEB).
  • Logró un rendimiento de vanguardia en 15/18 tareas en entornos limpios y en 16/18 tareas en entornos corruptos.
  • El método demostró una robustez superior bajo perturbaciones adversarias (datos corruptos), superando a representaciones complejas que sufrieron caídas significativas de rendimiento.
• Modelos de Visión-Lenguaje (CLIP-MoE): En tareas de recuperación imagen-texto zero-shot (COCO, Flickr30k) y tareas de clasificación, SSMoE mejoró el Recall@1 hasta en +1.1% y demostró una mayor robustez al ruido de imagen en comparación con el baseline CLIP-MoE.
• Eficiencia: El marco redujo el uso de memoria aproximadamente en un 23% en tareas de razonamiento y un 5% en GFLOPs para tareas de embedding, manteniendo o mejorando la precisión.

Significado y Reivindicaciones

El artículo afirma que SSMoE representa un cambio de paradigma en la forma en que se pueden optimizar las arquitecturas SMoE. Al desplazar el enfoque del aprendizaje de un enrutador hacia el análisis de las propiedades espectrales intrínsecas de los expertos, los autores demuestran que:

• La optimización libre de entrenamiento es viable: Se pueden lograr mejoras significativas de rendimiento y robustez sin el costo computacional de reentrenar o realizar un ajuste fino.
• La estructura interna importa: Una comprensión más profunda de los componentes internos del modelo (específicamente la ortogonalidad de los autovectores) puede guiar el desarrollo de arquitecturas más efectivas.
• Robustez: La representación basada en autovectores proporciona una señal más estable y semánticamente rica que es menos propensa al colapso y más resiliente a la corrupción de datos que los enrutadores aprendidos tradicionales.

Los autores concluyen que sus hallazgos subrayan la importancia de aprovechar los conocimientos espectrales para crear arquitecturas SMoE más eficientes, efectivas y robustas, ofreciendo una solución práctica al problema de larga data del colapso de expertos.