💬 NLP

Less is MoE: Trimming Experts in Domain-Specialist Language Models

Este artículo presenta Fisher-MoE, un método de compresión que identifica y elimina dimensiones intermedias críticas para la tarea dentro de las capas FFN utilizando la importancia de Fisher, permitiendo ganancias significativas en memoria y rendimiento en modelos de Mixture-of-Experts mientras preserva su desempeño en evaluaciones de propósito general.

Autores originales: Haoze He, Xinkai Zou, Xuan Jiang, Xingyuan Ding, Ao Qu, Juncheng Billy Li, Heather Miller

Publicado 2026-06-05

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Haoze He, Xinkai Zou, Xuan Jiang, Xingyuan Ding, Ao Qu, Juncheng Billy Li, Heather Miller

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un modelo de lenguaje masivo y de alta potencia como una cocina gigante diseñada para cocinar cualquier tipo de comida, desde una simple tostada hasta complejos banquetes de cinco platos.

El Problema: Una cocina demasiado grande para tu casa

Esta cocina (llamada un modelo de Mezcla de Expertos o MoE) es increíblemente inteligente porque tiene cientos de chefs especializados (llamados "expertos"). Cuando haces una pregunta, un gerente inteligente (el "enrutador") elige a los mejores pocos chefs para trabajar en tu tarea específica.

Sin embargo, esta cocina es enorme. Ocupa tanto espacio (memoria) y requiere que tantos chefs estén en espera que es imposible que quepa en una casa normal (una computadora estándar o un teléfono). Necesitas encoger la cocina sin perder la capacidad de cocinar buenas comidas.

La Forma Antigua: Despedir chefs enteros

Los intentos anteriores para encoger esta cocina fueron como despedir chefs enteros.

Si un chef no cocinaba con frecuencia, o si su delantal era pequeño, los gerentes lo despedían.
El Resultado: Esto fue un desastre. Aunque conservaste a los "mejores" chefs, accidentalmente despediste a la única persona que conocía el ingrediente secreto para hacer problemas matemáticos perfectos. De repente, la cocina aún podía contarte un chiste (conocimiento), pero ya no podía hacer aritmética básica. Todo el sistema colapsó.

El Nuevo Descubrimiento: No es el chef, es el cuchillo

Los autores de este artículo descubrieron algo sorprendente: el problema no es qué chefs conservas; es qué herramientas específicas usan.

Dentro de la estación de cada chef hay miles de herramientas diminutas (llamadas dimensiones intermedias).

La mayoría de las herramientas están simplemente allí, acumulando polvo.
Pero un pequeño puñado de herramientas específicas es absolutamente crítico. Por ejemplo, un "cuchillo" específico podría ser lo único que permite a la cocina resolver problemas matemáticos, mientras que otra "cuchara" es vital para escribir código.

Los métodos antiguos eran como tirar a la basura la estación de trabajo de un chef entero porque usaba una "cuchara polvorienta", sin darse cuenta de que ese mismo chef también sostenía el "cuchillo matemático crítico".

La Solución: "Fisher-MoE" (El escalpelo de precisión)

Los autores proponen un nuevo método llamado Fisher-MoE. En lugar de despedir chefs, encogen las estaciones de trabajo. No despiden a nadie. En su lugar, reducen físicamente las estaciones de trabajo. Eliminan las "cucharas polvorientas" y las "espátulas no utilizadas" (las herramientas de baja puntuación) pero conservan los "cuchillos críticos" (las herramientas de alta puntuación).

El Escáner: Mide cuánto cae el rendimiento de la cocina si eliminas una herramienta específica.
- Analogía: Imagina probar cada cuchillo en la cocina. Si eliminas el "Cuchillo A", la cocina aún puede hacer tostadas. Pero si eliminas el "Cño B", la cocina ya no puede cortar un tomate. El escáner identifica el "Cuchillo B" como crítico.
El Recorte: No despiden a nadie. En su lugar, reducen físicamente las estaciones de trabajo. Eliminan las "cucharas polvorientas" y las "espátulas no utilizadas" (las herramientas de baja puntuación) pero conservan los "cuchillos críticos" (las herramientas de alta puntuación).
El Resultado: Pueden encoger la cocina en un 50% (eliminando la mitad de las herramientas) y la cocina sigue funcionando casi perfectamente.
- Todavía puede resolver problemas matemáticos difíciles.
- Todavía puede escribir código.
- Todavía puede responder preguntas de cultura general.
- Bonus: Como la cocina es más pequeña, cocina más rápido (21% más rápido) y cabe en un espacio mucho menor (45% menos de memoria).

Por qué esto es importante

Precisión sobre brutalidad: La forma antigua era un mazo (despedir personas enteras). Esta nueva forma es un escalpelo (eliminar solo las partes inútiles de las herramientas).
El "Misterio de las Matemáticas": Descubrieron que si eliminas solo 12 herramientas específicas de 1.35 millones, la cocina olvida instantáneamente cómo hacer matemáticas, aunque recuerde todo lo demás. Esto demuestra que las habilidades complejas están ocultas en rincones diminutos y específicos del modelo, no distribuidas uniformemente.
Compatibilidad: Este método de encogimiento funciona perfectamente con otros trucos para ahorrar espacio (como la "cuantización"), lo que significa que puedes encoger el modelo aún más sin romperlo.

En pocas palabras

El artículo dice: No despidas a los expertos; solo recorta sus kits de herramientas. Al usar un escáner inteligente para identificar y eliminar solo las "herramientas" inútiles dentro de los expertos, podemos hacer que estos modelos de IA gigantes sean la mitad de grandes, dos veces más rápidos y tan inteligentes como antes.

Resumen Técnico: Less is MoE: Trimming Experts in Domain-Specialist Language Models

Declaración del Problema

Los modelos de Mezcla de Expertos (MoE) se han convertido en un paradigma dominante para escalar la capacidad de los modelos de lenguaje manteniendo una inferencia eficiente mediante computación condicional. Sin embargo, su masiva huella total de parámetros crea barreras significativas para el despliegue en términos de memoria, almacenamiento y costos de servicio.

Los enfoques previos para comprimir modelos MoE suelen operar al nivel del experto, eliminando o fusionando expertos enteros basados en métricas de importancia heurísticas como la frecuencia de activación, las puntuaciones del router o las magnitudes de los pesos. Los autores observan que estos métodos sufren un colapso catastrófico de rendimiento cuando se evalúan en benchmarks de propósito general más allá del razonamiento de sentido común (por ejemplo, razonamiento matemático, generación de código y tareas de razonamiento complejo). El artículo hipotetiza que este fallo se debe a dos factores:

Métricas de Importancia Inexactas: Las heurísticas existentes no logran estimar correctamente la importancia de los parámetros.
Granularidad Gruesa: La compresión al nivel del experto asume que las capacidades están localizadas en expertos específicos. En realidad, el artículo argumenta que las capacidades están distribuidas entre los expertos pero concentradas en un pequeño subconjunto de dimensiones intermedias dentro de las Redes de Alimentación hacia Adelante (FFN). Eliminar un experto completo descarta simultáneamente dimensiones redundantes y críticas.

Metodología

1. Atribución de Importancia: Información de Fisher Empírica

Los autores proponen utilizar la Información de Fisher Empírica como una métrica superior para clasificar parámetros. A diferencia de las proporciones de activación, las puntuaciones del router o las magnitudes de los pesos, la información de Fisher mide la sensibilidad de la distribución predictiva del modelo ante perturbaciones en parámetros específicos.

Derivación: El método aproxima la Matriz de Información de Fisher ( $F_\theta$ ) utilizando datos de verdad fundamental de un conjunto de calibración. Para un experto MoE $E_i$ con pesos $W^{gate}_i, W^{up}_i, W^{down}_i$ , la puntuación de Fisher se calcula para cada dimensión intermedia $j$ .
Granularidad: Los autores extienden esta puntuación al nivel de la dimensión intermedia (filas de $W^{gate}/W^{up}$ y columnas de $W^{down}$ ), en lugar del nivel de experto o de router completo.
Validación: La evidencia empírica muestra que la importancia de Fisher supera a todas las líneas base. Crucialmente, anular solo 12 de las aproximadamente 1.35 millones de dimensiones intermedias identificadas como "principales" por las puntuaciones de Fisher colapsa el rendimiento del razonamiento matemático (GSM8K/MATH) a casi cero, mientras preserva ampliamente el conocimiento factual. Esto confirma que Fisher identifica con éxito un conjunto minúsculo de dimensiones críticas para la tarea.

2. Estrategia de Compresión: Fisher-MoE

Basándose en el análisis de atribución, los autores proponen Fisher-MoE, un método de compresión de grano fino que opera dentro de la FFN de cada experto en lugar de eliminar expertos por completo.

Mecanismo: Para cada experto, las dimensiones intermedias se clasifican por sus puntuaciones de Fisher. La fracción de menor puntuación (por ejemplo, el 50%) se elimina físicamente redimensionando las matrices de pesos ( $W^{gate}, W^{up}, W^{down}$ ).
Reglas de Asignación: El artículo explora tres estrategias de asignación de presupuesto:
- IntDim-E: Mantiene las mejores $(1-p)$ dimensiones dentro de cada experto.
- IntDim-L: Agrupa las dimensiones de todos los expertos en una capa y mantiene las mejores $(1-p)$ por capa.
- IntDim-G: Agrupa las dimensiones de todo el modelo y mantiene las mejores $(1-p)$ globalmente.
Preservación: Este enfoque preserva el comportamiento de enrutamiento del modelo y el número de expertos activos por token, pero reduce la dimensionalidad interna ( $d_{ff}$ ) de los expertos activos.

Contribuciones Clave

Perspectiva Estructural: El artículo identifica una propiedad estructural de los modelos MoE donde las capacidades no están localizadas al nivel del experto, sino que están concentradas en un pequeño subconjunto de dimensiones intermedias distribuidas en todos los expertos. Esto explica el fallo de la compresión a nivel de experto.
La Información de Fisher como Herramienta de Atribución: Los autores definen la dimensión intermedia como la unidad atribuible y demuestran que la Información de Fisher Empírica es una herramienta robusta para distinguir dimensiones críticas de las redundantes, superando a las métricas basadas en activación, router y magnitud.
Algoritmo Fisher-MoE: Proponen un método de compresión de grano fino que redimensiona físicamente las matrices FFN basándose en los rankings de Fisher. Este método logra altas tasas de compresión sin el fallo catastrófico observado en la poda a nivel de experto.

Resultados

Los autores evalúan Fisher-MoE en Qwen1.5-MoE-A2.7B, OLMoE-1B-7B y modelos de frontera más grandes (Qwen3-30B-A3B, Qwen3.5-35B-A3B) a través de ocho benchmarks de propósito general (Conocimiento, Código, Razonamiento, Matemáticas).

Preservación del Rendimiento: Con una tasa de compresión MoE del 50% (eliminando el 50% de los parámetros FFN enrutados):
- Los métodos a nivel de experto (incluso aquellos que usan puntuaciones de Fisher) sufren caídas catastróficas en GSM8K, HumanEval y MATH.
- Fisher-MoE (IntDim-E) preserva el rendimiento en tareas posteriores, reteniendo capacidades en razonamiento matemático y de código que los métodos a nivel de experto pierden. En algunos casos (por ejemplo, CEval, MultiArith), iguala o supera ligeramente al modelo base sin comprimir.
- Escalabilidad: La ventaja se mantiene para modelos más grandes (30B+ parámetros) y tareas de razonamiento de cadena de pensamiento (CoT) largas.
Recuperación Post-Entrenamiento: Cuando se sigue de un Ajuste Fino Supervisado (SFT) en datos de dominio, Fisher-MoE recupera el rendimiento a niveles competitivos con el techo de Base + SFT sin comprimir, mientras que los métodos a nivel de experto permanecen significativamente degradados.
Eficiencia de Despliegue:
- Memoria: Reduce la memoria de pesos en aproximadamente un 45%.
- Throughput: Mejora el rendimiento de inferencia en un 21% (velocidad de 1.21x) en GPUs H100.
- KV Cache: El VRAM liberado permite un incremento del 33.7% en el presupuesto de KV cache, aumentando la capacidad de solicitudes.
Compatibilidad: Fisher-MoE se compone eficazmente con la cuantización de 4 bits (AWQ), reduciendo aún más la huella de despliegue a aproximadamente 1/8 del tamaño original sin amplificar la sensibilidad a la cuantización.
Generalización: Los modelos comprimidos usando puntuaciones de Fisher calibradas con matemáticas (GSM8K) mantienen un fuerte rendimiento en tareas fuera de dominio (Conocimiento, Código, Razonamiento), lo que indica que el método no se especializa excesivamente en el dominio de calibración.

Significado y Reivindicaciones

El artículo afirma que la granularidad de la dimensión intermedia es la unidad efectiva tanto para la compresión como para el análisis de capacidades en modelos MoE. El significado del trabajo radica en:

Redefinición de la Granularidad de Compresión: Desafía la suposición prevaleciente de que la compresión de MoE debe ocurrir al nivel del experto, demostando que el recorte de grano fino dentro de los expertos es necesario para preservar las capacidades de razonamiento complejo.
Atribución Superior: Establece la Información de Fisher Empírica como una herramienta crítica para comprender dónde "viven" las capacidades dentro de los modelos MoE, revelando que los parámetros críticos son dispersos y distribuidos.
Despliegue Práctico: Ofrece una vía práctica para desplegar grandes modelos MoE con requisitos de memoria y latencia significativamente reducidos sin sacrificar el rendimiento requerido para tareas de alto nivel como la generación de matemáticas y código.

Los autores señalan modestamente las limitaciones, específicamente que no exploraron backbones de más de 100B de parámetros debido a restricciones computacionales, ni realizaron estudios extensos de recuperación post-entrenamiento en diversos corpora para caracterizar completamente la brecha residual respecto a los modelos sin comprimir. Estos se identifican como direcciones para trabajos futuros.