Resumen Técnico: SDG-MoE (Mezcla de Expertos con Gráfico de Debate Firmado)

Enunciado del Problema

Las arquitecturas de Mezcla de Expertos (MoE) dispersas abordan el costo computacional de escalar los Modelos de Lenguaje Grandes (LLM) activando solo un pequeño subconjunto de "expertos" para cada token. En la MoE Top-K estándar, los expertos seleccionados procesan los tokens de forma independiente y sus salidas se combinan mediante una suma ponderada. Esta estrategia de agregación trata a los expertos como predictores aislados, fallando en simular interacciones o deliberaciones entre ellos antes de generar la salida final. Aunque trabajos anteriores han explorado la fusión basada en atención o mecanismos de comunicación auxiliares, la interacción directa e iterativa entre los expertos enrutados activos sigue siendo poco explorada. Específicamente, los métodos existentes a menudo dependen de nodos de memoria centralizados o destilación durante el entrenamiento, en lugar de permitir que el conjunto de expertos activos intercambien señales conflictivas y alcancen un consenso durante la inferencia.

Metodología: SDG-MoE

Los autores proponen SDG-MoE, una nueva capa MoE dispersa que inserta una fase de deliberación iterativa y ligera entre el paso de enrutamiento y la agregación final. La arquitectura trata a los $K$ expertos activos no como unidades independientes, sino como un pequeño grupo interactuante capaz de apoyarse o criticarse mutuamente.

Componentes Principales

1. Estados Privados y Compartidos:
   Tras el enrutamiento, cada experto activo $i$ calcula una representación oculta $r_i$. Esta se divide en dos estados distintos:

   • Estado Privado ($h_{i,priv}$): Un vector de alta dimensión que elude por completo el gráfico de comunicación, preservando el conocimiento especializado del experto.
   • Estado Compartido ($h_{i,shr}$): Un vector de baja dimensión ($d_s \ll d$) que participa en el proceso de deliberación.

2. Gráfico de Debate Firmado:
   Para cada ronda de deliberación $t$, los expertos activos construyen dos gráficos dirigidos aprendidos:

   • Gráfico de Apoyo ($A^+$): Captura las influencias de refuerzo entre expertos.
   • Gráfico de Crítica ($A^-$): Captura las influencias correctivas. Para garantizar una crítica dirigida, este gráfico se esparsifica para retener solo las $m^-$ aristas negativas más fuertes por experto.
     Estos gráficos se calculan mediante proyecciones de consulta/clave de los estados compartidos, aumentadas con incrustaciones de identidad de experto aprendidas.

3. Deliberación con Puerta y Anclaje:
   La fuerza de la interacción se controla dinámicamente mediante una puerta de desacuerdo. Se calcula una puntuación de desacuerdo $D^{(t)}$ basada en la distancia coseno entre los estados compartidos normalizados de los expertos activos.

   • Tamaño de Paso Adaptativo: El paso de actualización social $\lambda^{(t)}$ es una función de $D^{(t)}$, aumentando solo cuando los expertos discrepan significativamente.
   • Anclaje Friedkin–Johnsen: La actualización sigue un modelo de dinámica donde el nuevo estado compartido es una combinación ponderada del estado actualizado y el estado enrutado inicial ($h^{(0)}_{i,shr}$). Un parámetro $\beta$ actúa como un coeficiente de "terquedad", evitando que los expertos se desvíen demasiado de su especialización inicial.
   • Contraste Firmado: El MLP de actualización recibe el estado actual, el mensaje de apoyo y un término de contraste firmado ($m^+ - \gamma m^-$), distinguiendo explícitamente entre evidencia confirmatoria y contraevidencia.

4. Agregación:
   Tras $T$ rondas de deliberación, la salida final para el experto $i$ es una proyección tanto del estado privado como del estado compartido final. Estas se agregan utilizando los pesos originales del enrutador.

Análisis Teórico

El artículo proporciona un análisis teórico que establece la estabilidad y eficiencia de las dinámicas de deliberación:

• Estabilidad: Los autores demuestran que, bajo condiciones específicas (normas de actualización acotadas y continuidad Lipschitz de la puerta de desacuerdo), el proceso de deliberación es una aplicación contractiva. Esto garantiza que los estados de los expertos permanezcan acotados y converjan a un punto fijo único, evitando derivas incontroladas.
• Complejidad: La sobrecarga de comunicación se muestra de bajo orden en relación con el tamaño del conjunto activo $K$. El costo por token es $O(T(Kb^2 + K^2b))$, donde $b$ representa las dimensiones de cuello de botella. Para valores pequeños de $K$ y $T$, esto añade una corrección compacta en lugar de una capa completa de expertos adicional.

Resultados Experimentales

Los autores evaluaron SDG-MoE en un entorno de preentrenamiento controlado utilizando una arquitectura Transformer solo de decodificador similar a Qwen.

• Rendimiento: En tres ejecuciones de preentrenamiento con diferentes semillas, SDG-MoE redujo la perplejidad de validación de 63.14 (MoE Vanilla) a 48.03, una mejora significativa sobre la línea base más fuerte.
• Benchmarks Externos: SDG-MoE logró la mejor perplejidad en conjuntos de datos externos (WikiText-103, C4 y Paloma) entre todos los sistemas comparados.
• Ablaciones:
  • Semántica Firmada: Eliminar la distinción entre apoyo y crítica (Dual-Sin Signo) o eliminar el canal de crítica por completo (Cero-Neg) degradó el rendimiento, confirmando que la comunicación firmada es esencial.
  • Puerta Adaptativa: Reemplazar la puerta de desacuerdo adaptativa con un coeficiente fijo empeoró significativamente la perplejidad, indicando que el modelo debe deliberar selectivamente basándose en el desacuerdo de los expertos.
  • Profundidad de Deliberación: Dos rondas de deliberación ($T=2$) produjeron los mejores resultados; aumentar a $T=4$ degradó el rendimiento, lo que sugiere que una iteración excesiva conduce a una corrección excesiva.

Significado y Afirmaciones

El artículo afirma introducir la primera capa MoE dispersa que permite la comunicación directa y firmada entre expertos enrutados activos antes de la agregación. Su significado radica en:

1. Mecanismo de Interacción Novel: Superar la votación independiente de expertos o la coordinación centralizada hacia un modelo de deliberación entre pares inspirado en dinámicas de opinión social (específicamente modelos Friedkin–Johnsen).
2. Deliberación Estructurada: Demostrar que permitir que los expertos se apoyen y critiquen mutuamente, mientras se les ancla a sus estados especializados iniciales, produce representaciones más ricas sin sacrificar la eficiencia del enrutamiento disperso.
3. Fundamentación Teórica: Proporcionar garantías de estabilidad que muestran que el proceso de deliberación es una perturbación controlada de la MoE estándar, asegurando estados acotados y una sobrecarga computacional baja.

Los autores concluyen que las ganancias de rendimiento no se deben meramente a una mayor capacidad o comunicación genérica, sino que resultan específicamente del equilibrio interjuego de apoyo, crítica, anclaje y puerta adaptativa. Señalan que este enfoque abre un nuevo espacio de diseño para la interacción de expertos posterior al enrutamiento, aunque reconocen que las evaluaciones a mayor escala y la integración en modelos completamente preentrenados siguen siendo trabajo futuro.