ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression

Resumen Técnico de ConMoE: Consolidación del Grupo de Expertos mediante Reasignación de Prototipos para la Compresión de MoE

1. Planteamiento del Problema

Los modelos de lenguaje de Mezcla de Expertos (MoE) logran escalabilidad activando solo un pequeño subconjunto de expertos por token, reduciendo así el cómputo por token. Sin embargo, el grupo completo de expertos enrutados debe seguir almacenándose y sirviéndose, lo que crea un cuello de botella significativo de memoria para el despliegue. Los métodos existentes de compresión post-entrenamiento abordan esto principalmente mediante poda de expertos (eliminación de expertos basada en el uso o la importancia) o fusión de expertos (combinación de múltiples expertos en nuevos módulos fusionados).

Los autores argumentan que estos enfoques a menudo confunden dos decisiones distintas:

1. ¿Qué parámetros de expertos deben conservarse?
2. ¿Cómo deben representarse las referencias originales de los expertos del enrutador después de la compresión?

La poda elimina parámetros, mientras que la fusión construye nuevos pesos, requiriendo a menudo un ajuste fino post-compresión u operadores de fusión complejos. El artículo propone una visión complementaria: Consolidación del Grupo de Expertos. Este enfoque conserva un conjunto más pequeño de expertos preentrenados como prototipos reutilizables y reasigna determinísticamente cada referencia original de experto a uno de estos prototipos seleccionados. Esto separa el almacenamiento del grupo reducido de la estructura de reutilización, permitiendo que la interfaz original del enrutador permanezca sin cambios y sin actualizaciones de pesos.

2. Metodología: ConMoE

El marco propuesto, ConMoE, es un método de compresión de un solo disparo y sin entrenamiento que opera mediante selección de prototipos y reasignación determinista.

A. Formulación del Problema
El método define un ámbito local $G$ que contiene una o más capas de MoE adyacentes. Dado un ratio de reducción $\rho$, el objetivo es construir un grupo de prototipos reducido $P_G$ de tamaño $K$ a partir del grupo original de expertos $E_G$. Se establece un mapa de reasignación $m_G: E_G \to P_G$, donde cada experto original $e$ se mapea a un prototipo seleccionado $p$.
El objetivo ideal es minimizar el costo de reasignación $L_G(P)$, equilibrando la importancia de los expertos retenidos contra el error introducido al reasignar a otros.

B. Puntuación y Selección de Prototipos
En lugar de resolver directamente el problema de optimización combinatoria, ConMoE utiliza una regla de puntuación heurística para seleccionar los $K$ mejores expertos como prototipos. Para cada experto $e$, se calculan dos puntuaciones utilizando datos de calibración:

1. Contribución Condicionada al Enrutamiento ($a_e$): Mide la contribución promedio de un experto cuando es seleccionado por el enrutador, ponderada por las probabilidades de enrutamiento y las normas de salida.
2. Sustituibilidad ($b_e$): Mide la distancia al vecino más cercano dentro del ámbito. Una mayor distancia implica que el experto es más difícil de sustituir.

La puntuación final es el producto de las puntuaciones normalizadas de contribución y sustituibilidad ($s_e = \bar{a}_e \bar{b}_e$). Los $K$ mejores expertos se seleccionan como el grupo de prototipos $P_G$.

C. Reasignación Determinista
Una vez seleccionados los prototipos, cada experto original se asigna a su prototipo más cercano en $P_G$.

• Sin Actualización de Pesos: Los prototipos seleccionados se reutilizan directamente como expertos preentrenados; no ocurre fusión de pesos ni ajuste fino en la tubería predeterminada.
• Preservación del Enrutador: El enrutador original permanece sin cambios. Cuando el enrutador selecciona un conjunto de expertos para un token, el operador consolidado redirige estas llamadas a sus prototipos asignados. Si múltiples expertos enrutados se mapean al mismo prototipo, sus pesos de enrutamiento se agregan en un único coeficiente.

D. Ámbito y Reutilización Inter-Capas
ConMoE soporta compartición local inter-capas. Un ámbito puede contener múltiples capas adyacentes, permitiendo que los prototipos se compartan entre ellas si exhiben redundancia. Sin embargo, el ámbito está acotado para evitar el desajuste de transformaciones específicas de profundidad encontradas en capas distantes.

3. Contribuciones Clave

1. Formulación: El artículo formula la compresión de MoE de un solo disparo como consolidación del grupo de expertos, separando explícitamente la decisión de qué parámetros almacenar de cómo se representan las ranuras originales del enrutador.
2. Marco (ConMoE): Un método de remapeo sin entrenamiento que preserva la interfaz original del enrutador mientras reduce el grupo lógico de expertos enrutados. Se basa en señales de contribución y sustituibilidad basadas en calibración para seleccionar prototipos sin actualizaciones de gradientes.
3. Validación Empírica: Los autores demuestran que la consolidación basada en remapeo es una alternativa viable a la poda y la fusión en múltiples modelos MoE preentrenados (Qwen3, DeepSeekMoE, OLMoE).
4. Insights de Ablación:
   • La reasignación determinista se identifica como el componente más estable del marco.
   • La compartición inter-capas es beneficiosa pero estrictamente local; expandir los ámbitos demasiado ampliamente (por ejemplo, 8–16 capas) degrada el rendimiento debido al desajuste de profundidad.
   • La fusión de pesos post-hoc (por ejemplo, Arcee, promedios ponderados) se muestra menos estable que la reutilización directa de prototipos en este contexto.

4. Resultados Experimentales

Los experimentos se realizaron en tres modelos: Qwen3-30B-A3B, deepseek-moe-16b-base y OLMoE-1B-7B-0125. La compresión se evaluó con ratios de reducción lógica de expertos enrutados del 25% y 50% utilizando seis benchmarks de opción múltiple (WinoGrande, ARC-C, ARC-E, BoolQ, HellaSwag, PIQA).

• Rendimiento: ConMoE iguala o supera a bases de poda fuerte (Frecuencia, REAP) y fusión (M-SMoE, HC-SMoE).
  • En DeepSeekMoE, ConMoE logró la puntuación promedio más alta tanto en reducción del 25% como del 50%.
  • En OLMoE, obtuvo el mejor rendimiento en reducción del 25% y se mantuvo competitivo en el 50%.
  • En Qwen3, aunque la poda fue fuerte (especialmente en el 50%), ConMoE se mantuvo competitivo y preservó un rendimiento sólido en tareas específicas como WinoGrande y BoolQ.
• Ablaciones:
  • Tamaño del Ámbito: Ámbitos pequeños (1–4 capas) produjeron resultados comparables o mejores. Ámbitos más grandes (8–16 capas) causaron caídas significativas de rendimiento, confirmando que la sustituibilidad de expertos es local.
  • Política de Selección: La contribución condicionada al enrutamiento fue la señal dominante. La selección basada solo en distancia tuvo un rendimiento pobre, y la sustituibilidad funcionó mejor como regularizador para la asignación de capacidad.
  • Fusión: El remapeo directo de prototipos superó a los métodos que aplicaban fusión de pesos post-hoc, sugiriendo que las ganancias provienen de la propia estructura de remapeo y no de la fusión de pesos.

5. Significado y Afirmaciones

El artículo afirma que la reasignación determinista de prototipos ofrece una alternativa robusta y sin entrenamiento a la poda y la fusión tradicionales. Al tratar la compresión como una consolidación del grupo de expertos en prototipos reutilizables, ConMoE logra ahorros significativos de memoria (reducción lógica) mientras mantiene la interfaz del enrutador del modelo original y evita la inestabilidad a menudo asociada con la fusión de pesos o el ajuste fino.

Los autores enfatizan que su enfoque es modesto en cuanto a su alcance:

• Es sin entrenamiento, pero depende de datos de calibración para las estadísticas de enrutamiento.
• La reutilización inter-capas es local; no asume intercambiabilidad global de expertos a través de toda la profundidad del modelo.
• Los ahorros reportados son lógicos; realizar ahorros de memoria física en el despliegue requiere un tiempo de ejecución o formato de punto de control compartido de prototipos, no solo un punto de control materializado.

El trabajo se distingue al mostrar que la "estructura de reutilización" puede ser una parte explícita del modelo comprimido en lugar de un subproducto de la eliminación o la fusión, proporcionando una línea base estable para la compresión de MoE.