Resumen Técnico: RotMoLE – Mejora de la Mezcla de Expertos de Bajo Rango mediante Puerta Rotacional

Declaración del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) utilizan arquitecturas de Mezcla de Expertos (MoE) y técnicas de Ajuste Fino Eficiente en Parámetros (PEFT) como LoRA para manejar diversas tareas, los marcos existentes de Mezcla de Expertos de Bajo Rango (MoE-LoRA) enfrentan limitaciones en escenarios complejos, multitarea o multilingües.

El problema central identificado es la limitación de los mecanismos de puerta convencionales en MoE. Los enrutadores estándar aplican únicamente un reponderado escalar (escalado) a los expertos seleccionados. Si bien esto modula la magnitud de la contribución de un experto, carece de la capacidad para realizar transformaciones espaciales complejas en las salidas de los expertos. En consecuencia, el espacio de soluciones formado por la agregación ponderada de expertos se restringe a una combinación lineal a lo largo de direcciones espaciales fijas. Esta limitación es particularmente pronunciada cuando el número de expertos candidatos es limitado en relación con el número de tareas (por ejemplo, en escenarios con recursos restringidos donde los expertos deben compartirse entre múltiples dominios), ya que el enrutador no puede distinguir o especializar suficientemente a los expertos compartidos más allá del simple escalado de magnitud.

Además, la implementación de transformaciones complejas (como transformaciones lineales completas) mediante módulos de puerta típicamente requiere un número prohibitivo de parámetros entrenables (por ejemplo, matrices $d \times d$ para la dimensión oculta $d$), lo que anula la eficiencia de parámetros de PEFT.

Metodología: RotMoLE

Los autores proponen RotMoLE (Mezcla de Expertos de Bajo Rango Rotable), un marco especializado de MoE-LoRA que introduce un mecanismo de puerta rotacional junto a la puerta de escalado tradicional.

Fundamento Teórico

El método se basa en la observación de que cualquier transformación entre dos vectores no nulos puede descomponerse en una operación de escalado puro y una rotación pura dentro del subplano bidimensional (2D) generado por esos vectores. Aprovechando la estructura de bajo rango de LoRA (donde el rango $r \ll d$), RotMoLE aplica estas transformaciones dentro del espacio de $r$ dimensiones de los adaptadores de expertos, en lugar de la dimensión oculta completa.

Componentes de la Arquitectura

La actualización de pesos para el modelo se formula como:
$$W = W_0 + \sum_{i \in TopK(x)} g_i B_i R_i A_i$$
Donde:

• $W_0$ es la matriz de pesos preentrenada.
• $A_i$ y $B_i$ son las matrices de bajo rango para el $i$-ésimo experto.
• $g_i$ es el valor de la puerta de escalado (peso escalar estándar).
• $R_i$ es la matriz de rotación específica para el $i$-ésimo experto.

El marco opera en dos modos basados en el rango de LoRA $r$:

1. Rango $r = 2$ (Rotación 2D):

   • La rotación se modela utilizando un único ángulo entrenable $\theta_i$.
   • La matriz de rotación $R_i$ es una matriz de rotación 2D estándar:
     $$R_i = \begin{pmatrix} \cos \theta_i & -\sin \theta_i \\ \sin \theta_i & \cos \theta_i \end{pmatrix}$$
   • El ángulo $\theta_i$ es generado por una puerta de rotación $\Theta(x)$, que produce valores en $[-\pi, \pi]$ utilizando una normalización basada en Sigmoid para garantizar estabilidad y periodicidad.

2. Rango $r > 2$ (Rotación de Alta Dimensión):

   • Dado que un único ángulo no puede definir una rotación en dimensiones $>2$, el método construye un plano de rotación $P_i$ específico para cada experto.
   • El plano se define mediante dos vectores base:
     1. La incrustación de entrada normalizada al experto ($e_1 = A_i x / |A_i x|$).
     2. Un vector de centro de clúster entrenable $q_i$ específico para el experto, que representa el centro agregado de las entradas enrutadas a ese experto. El segundo vector base $e_2$ se deriva de la componente de $q_i$ ortogonal a $e_1$.
   • La matriz de rotación $R_i$ se construye proyectando la rotación 2D (definida por $\theta_i$) sobre este plano de $r$ dimensiones generado por $e_1$ y $e_2$.

Eficiencia de Parámetros

RotMoLE mantiene una alta eficiencia de parámetros. Los parámetros adicionales introducidos son:

• Para $r=2$: $d \times n$ parámetros (para los pesos de la puerta de rotación).
• Para $r>2$: $(d + r) \times n$ parámetros (para la puerta de rotación y los vectores de centro de clúster $q$).
  Esto es significativamente menor que los $d^2 \times n$ parámetros requeridos para transformaciones lineales completas, manteniendo la sobrecarga comparable a los propios módulos de expertos.

Contribuciones Clave

1. Identificación de Limitaciones: El artículo destaca que los enrutadores MoE existentes se limitan al escalado de norma, careciendo de la capacidad para realizar transformaciones espaciales complejas necesarias para diversos escenarios con conteos limitados de expertos.
2. Marco RotMoLE: La propuesta de un marco especializado de MoE-LoRA que integra una puerta de rotación, permitiendo rotaciones 2D dentro del espacio de bajo rango de los expertos para expandir el espacio de soluciones de las combinaciones ponderadas de expertos.
3. Validación Empírica: Extensos experimentos en escenarios de aprendizaje conjunto multitarea y multilingüe que demuestran que RotMoLE supera las líneas base convencionales de MoE-LoRA y otras variantes recientes.

Resultados Experimentales

Los autores evaluaron RotMoLE en Llama-3.2-3B, Qwen-2.5-3B y GLM-4-9B a través de varias pruebas de referencia:

• Aprendizaje Conjunto Multitarea (QA y GLUE):
  • En una mezcla de tres tareas de preguntas y respuestas (CommonsenseQA, OpenBookQA, SocialIQA), RotMoLE superó consistentemente a la línea base de MoE-LoRA, logrando mejoras promedio en precisión que oscilan entre 1% y 10% (promedio ~5%).
  • Las mejoras fueron más pronunciadas cuando el número de expertos era limitado (por ejemplo, $n=2$), validando la hipótesis de que la rotación ayuda a distinguir expertos compartidos.
  • Se observaron ganancias similares en las tareas de GLUE (SST-2, MRPC, QNLI).
• Aprendizaje Conjunto Multilingüe:
  • En Generación de Texto Multilingüe (MTG) y XNLI (Inferencia de Lenguaje Natural), RotMoLE obtuvo puntuaciones promedio y por idioma más altas en comparación con las líneas base.
  • El análisis de convergencia indicó que RotMoLE exhibe mejores propiedades anti-sobreajuste, convergiendo más lentamente inicialmente pero logrando un mejor rendimiento final sin la saturación temprana observada en las líneas base.
• Comparación con Variantes:
  • RotMoLE superó a otras variantes de MoE-LoRA centradas en el enrutamiento hacia adelante (MoCLE, MoLA, AdaMoLE) en términos de precisión general y por tarea.
• Estudios de Ablación:
  • Los experimentos confirmaron que las ganancias de rendimiento se deben a la estructura rotacional y no simplemente al aumento en la cantidad de parámetros. Una línea base de tamaño equivalente que utilizaba una puerta MLP tuvo un rendimiento inferior, lo que sugiere que el mecanismo de rotación es más efectivo para utilizar parámetros adicionales para la diversidad.

Significado y Afirmaciones

El artículo afirma que RotMoLE proporciona una función de transformación más potente para expertos de bajo rango más allá del simple escalado. Al introducir una puerta de rotación, el marco expande significativamente el espacio de soluciones global de MoE, permitiendo una mejor explotación y especialización de los expertos, particularmente en escenarios donde los expertos se comparten entre múltiples tareas o idiomas.

Los autores enfatizan que este enfoque aborda una brecha específica en la investigación actual de PEFT-MoE: la incapacidad de modelar estrategias diversas de explotación para expertos candidatos cuando el número de expertos es limitado. Los resultados sugieren que RotMoLE ofrece un método robusto y eficiente en parámetros para mejorar la capacidad representacional de los LLM en aplicaciones complejas y multidominio sin incurrir en los costos computacionales de transformaciones de rango completo.