🤖 machine learning

Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models

Este artículo propone un método sin necesidad de entrenamiento para reducir a la mitad el coste computacional de los modelos de Mezcla de Expertos de grano fino durante la inferencia, mediante el desacoplamiento de la selección de expertos de la renormalización de probabilidades, preservando así el rendimiento al normalizar frente a un conjunto de referencia de expertos más grande en lugar de frente al conjunto activo reducido.

Autores originales: Xing Chen, Hengshuai Yao

Publicado 2026-09-07✓ Author reviewed ⓘ

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xing Chen, Hengshuai Yao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los sistemas de inteligencia artificial modernos que generan texto suelen basarse en un diseño que separa la cantidad total de conocimiento que poseen de la cantidad de pensamiento que realizan para cada palabra. Imagine una biblioteca masiva que contiene miles de libros especializados, pero que, por cada oración escrita, el sistema solo abre un puñado de ellos para encontrar la información correcta. Este enfoque, conocido como modelo de Mezcla de Expertos (Mixture-of-Experts), permite que las computadoras almacenen enormes cantidades de datos sin ralentizarse cada vez que hablan. El sistema utiliza un pequeño guía interno para decidir qué libros específicos abrir para cada palabra, asegurando que solo se consulte una fracción diminuta de la biblioteca total en cualquier momento. Esto crea una situación única: la computadora debe mantener todos los libros en sus estantes para estar lista para cualquier tema, pero solo lee unas pocas páginas a la vez.

Debido a que la computadora debe mantener todas estas secciones especializadas en su memoria, los investigadores han buscado durante mucho tiempo formas de hacer que el sistema sea más rápido obligándolo a leer incluso menos páginas. El método estándar para hacer esto es simple: decirle al sistema que abra menos libros por oración. Sin embargo, este enfoque directo ha causado históricamente que el sistema se confunda y cometa más errores. La confusión surge no porque al sistema le falten los libros adecuados, sino porque la forma en que pondera la información de esos libros cambia inesperadamente cuando se reduce el número de libros. Un nuevo estudio de Xing Chen y Hengshuai Yao revela que esta confusión es causada por un ajuste matemático oculto que el sistema realiza automáticamente, y descubrieron una forma de desactivar ese ajuste sin necesidad de reentrenar el sistema ni añadir nuevos componentes.

Los investigadores se centraron en dos modelos de lenguaje muy grandes, uno con 35 mil millones de parámetros y otro con casi 400 mil millones. Estos modelos están diseñados con cientos de pequeñas secciones especializadas, o expertos, para cada capa de procesamiento. En su operación estándar, el sistema selecciona ocho de estos expertos para cada palabra que procesa. Cuando los investigadores intentaron acelerar el sistema reduciendo este número a la mitad, obligándolo a usar solo cuatro expertos, el rendimiento cayó significativamente. En una prueba estándar de conocimiento general, la precisión descendió casi cinco puntos. Esta pérdida fue tan severa que muchos habían asumido que reducir el número de expertos activos era simplemente demasiado costoso para ser útil. Los investigadores sospechaban que el problema no era la pérdida de los expertos en sí mismos, sino cómo el sistema recalibraba la importancia de los restantes.

En la configuración estándar, cuando el sistema elige sus mejores expertos, ajusta su influencia para que su importancia combinada siempre sume un total fijo. Este es un mecanismo de seguridad para mantener el sistema estable. Sin embargo, en estos modelos de grano fino, los ocho mejores expertos suelen poseer solo una pequeña fracción de la importancia total posible. Cuando el sistema se ve obligado a elegir solo cuatro expertos, el ajuste estándar multiplica su influencia por un factor grande para compensar la diferencia. Este aumento repentino empuja al sistema a un estado que no fue entrenado para manejar, causando que reaccione de forma exagerada y cometa errores. Los investigadores se dieron cuenta de que el sistema no estaba realmente perdiendo información; simplemente se le estaba diciendo que gritara más fuerte de lo que debería.

Para solucionar esto, el equipo introdujo un cambio simple que no requiere entrenamiento ni potencia de cómputo adicional. Separaron la decisión de qué expertos usar de la decisión de cómo ponderar su peso. Permitieron que el sistema eligiera solo cuatro expertos para realizar el trabajo, pero le ordenaron calcular los pesos de importancia basados en los dieciséis mejores expertos en lugar de solo en los cuatro mejores. Al hacer esto, el sistema mantuvo el mismo volumen de información que estaba acostumbrado a escuchar, aunque solo utilizaba la mitad del número de secciones activas. Este pequeño ajuste, que implica cambiar un único valor entero, cambió completamente el resultado. En el modelo de 35 mil millones de parámetros, reducir los expertos activos de ocho a cuatro con este nuevo ajuste causó que la precisión cayera solo 0,35 puntos, una diferencia tan pequeña que es estadísticamente indistinguible del sistema original, más lento.

El estudio también probó este método en el modelo mucho más grande de 400 mil millones de parámetros, donde los resultados fueron igualmente dramáticos. Reducir el número de expertos activos a la mitad con el método estándar causó una pérdida significativa de rendimiento, pero usar el nuevo método de ponderación redujo la pérdida a solo 0,55 puntos. Los investigadores descubrieron que la mejor configuración para este nuevo pesaje dependía de la tarea específica. Por ejemplo, una configuración que hacía que el sistema sonara mejor al leer texto no siempre hacía que funcionara mejor en acertijos lógicos o pruebas de conocimiento. Este hallazgo sugiere que medir simplemente qué tan bien un modelo comprimido lee texto no es suficiente para garantizar que funcionará bien en otras tareas. Los investigadores concluyeron que, para reducir de forma segura la potencia de cómputo necesaria para estos modelos, uno debe ajustar cuidadosamente esta configuración de pesaje utilizando pruebas de rendimiento reales en lugar de confiar únicamente en la fluidez del texto.

El artículo también exploró por qué eliminar los expertos adicionales de forma permanente, en lugar de simplemente usarlos menos temporalmente, es difícil. Descubrieron que estos modelos están altamente especializados, con diferentes expertos que manejan diferentes tipos de contenido, como código o escritura general. Debido a que los expertos son tan especializados y el sistema está tan bien equilibrado, hay muy poco margen para eliminar permanentemente estos expertos sin perder la capacidad de manejar temas diversos. El camino más efectivo hacia adelante, por lo tanto, no es desechar partes del modelo, sino simplemente decirle que use menos partes a la vez mientras mantiene constante el volumen total de información que procesa. Este enfoque ofrece una forma de hacer que estos poderosos sistemas sean más rápidos y eficientes sin sacrificar su inteligencia, simplemente corrigiendo un error de calibración oculto que ocurre cuando las reglas de interacción cambian.

Resumen Técnico: Reducción sin Entrenamiento de Expertos Activados en Modelos de Mezcla de Expertos de Grano Fino

Planteamiento del Problema

Los modelos modernos de Mezcla de Expertos (MoE) de grano fino, como la serie Qwen3, utilizan cientos de subredes de expertos pequeñas por capa, dirigiendo cada token a un pequeño subconjunto ( $k$ ) de ellos. Si bien esta arquitectura desacopla el recuento de parámetros del cómputo por token, crea una asimetría entre memoria y cómputo: todos los expertos deben residir en la memoria, pero solo una fracción está activa.

Un enfoque común para reducir el cómputo de inferencia es disminuir el número de expertos activados ( $k$ ) en tiempo de ejecución. Sin embargo, las implementaciones estándar renormalizan implícitamente las probabilidades del router de los expertos seleccionados para que sumen uno. En los routers de grano fino, las probabilidades del top- $k$ suelen sumar una fracción pequeña de la masa de probabilidad total (por ejemplo, 0.182 para un top-8 de 256). En consecuencia, la renormalización aplica una ganancia significativa (factor de amplificación) a las salidas de los expertos seleccionados.

El artículo identifica que reducir $k$ en la inferencia sin ajustar este proceso de renormalización combina dos efectos:

Pérdida de Capacidad: La eliminación de expertos.
Miscalibración de la Ganancia: Los expertos restantes son amplificados por un factor mayor al que el modelo fue entrenado, empujando la contribución de la rama del experto más allá de su régimen calibrado en la corriente residual.

Esta miscalibración conduce a una degradación severa del rendimiento (por ejemplo, una caída de 4.65 puntos en la precisión de MMLU al reducir a la mitad los expertos de 8 a 4 en un modelo de 35B), lo que hace que la simple reducción de $k$ parezca inasequible.

Metodología

Los autores proponen un método sin entrenamiento para desacoplar la selección de los expertos de la normalización (calibración de la ganancia) de sus salidas.

La Renormalización Desacoplada

En lugar de normalizar por la masa de los top- $k_1$ expertos seleccionados, el método normaliza por la masa de un conjunto de referencia de los top- $k_2$ expertos:

$w_i = \frac{p_i}{\sum_{j \in T_{k_2}} p_j}, \quad i \in T_{k_1}$

Donde:

$k_1$ : El número de expertos realmente activados (controla el cómputo).
$k_2$ : El tamaño del conjunto de referencia utilizado para el denominador (controla la ganancia).
$T_{k_1}$ : El conjunto de índices para los top- $k_1$ expertos.
$T_{k_2}$ : El conjunto de índices para los top- $k_2$ expertos.

Propiedades Clave

Cero Entrenamiento/Parámetros: Esto requiere solo cambiar un entero ( $k_2$ ) en la inferencia. No se modifican los pesos y no se realiza ningún ajuste fino (fine-tuning).
Sobrecarga Despreciable: El router ya computa las probabilidades para todos los $E$ expertos. Seleccionar un $k_2$ más grande para el denominador implica una selección de top- $k$ ligeramente más amplia sobre los logits ya computados, lo cual es despreciable comparado con el costo de evaluar las FFN de los expertos.
Escalado Adaptativo: Cuando $k_2 > k_1$ , los pesos suman menos de 1, lo que resulta en un escalado descendente adaptativo a la entrada de la rama del experto, anclando efectivamente la ganancia a la distribución de entrenamiento.

Contribuciones y Hallazgos Clave

1. El Conjunto de Referencia es una Variable Libre

El artículo demuestra que el denominador de la renormalización no necesita coincidir con el recuento de activación. Al establecer $k_2$ como el $k$ entrenado del modelo (o un valor en $[k, 2k]$ ) mientras se reduce $k_1$ , la ganancia se preserva.

Resultado: En Qwen3.6-35B-A3B, reducir los expertos activados de 8 a 4 ( $k_1=4$ ) con la renormalización estándar ( $k_2=4$ ) provoca una caída de 4.65 puntos en MMLU. Con el método propuesto ( $k_2=16$ ), la caída es de solo 0.35 puntos, lo cual es estadísticamente indistinguible del baseline.
Resultado: En el modelo 11 $\times$ más grande Qwen3.5-397B-A17B, reducir de 10 a 5 expertos ( $k_1=5$ ) pierde solo 0.55 puntos con $k_2=10$ , comparado con una pérdida de 2.10 puntos con la renormalización estándar.

2. Identidad del Experto vs. Ponderación

El estudio analiza si el modelo es más sensible a cuáles expertos se eligen o a cuánto se ponderan.

Hallazgo: La identidad del experto es sustancialmente más importante que la ponderación. Reemplazar los pesos del router con pesos uniformes (manteniendo la misma selección top-8) aumenta la perplejidad en un 49.7%. La selección aleatoria de expertos la aumenta en un 1667%.
Implicación: Esto valida el método propuesto: siempre que se seleccionen los expertos correctos ( $k_1$ ), el modelo puede tolerar una distorsión significativa en la magnitud de sus pesos (mediante la corrección de $k_2$ ).

3. Perplejidad vs. Precisión en Tareas de Destino (Downstream)

El artículo advierte contra el uso de la perplejidad por sí sola para seleccionar hiperparámetros de compresión.

Hallazgo: En el modelo de 35B, la perplejidad se minimiza en $k_2=8$ (el $k$ entrenado), pero la precisión de MMLU se maximiza en $k_2=16$ . La configuración óptima de perplejidad resulta en una caída de 1.10 puntos en MMLU respecto a la configuración óptima de precisión.
Implicación: Seleccionar $k_2$ basándose en texto no etiquetado (perplejidad) puede conducir a configuraciones subóptimas para tareas de destino. La validación debe realizarse mediante pruebas de tareas de destino utilizando pruebas de significancia pareadas.

4. Límites de la Poda de Expertos (Expert Pruning)

Los autores analizan la viabilidad de eliminar expertos por completo (poda) frente a simplemente reducir la activación.

Hallazgo: El router está bien equilibrado con casi ningún experto "muerto". Además, la especialización de los expertos es altamente dependiente del dominio (por ejemplo, WikiText vs. Code tienen una baja superposición de expertos).
Implicación: La poda de expertos para un modelo de propósito general ofrece poco margen, ya que la unión de los expertos top específicos de cada dominio cubre casi todo el conjunto. La palanca del lado del cómputo (reducir $k_1$ con $k_2$ corregido) es más efectiva que la poda estructural para estos modelos de grano fino.

Significancia y Reivindicaciones

El artículo sostiene que el compromiso percibido entre la reducción de cómputo y la precisión en los modelos MoE de grano fino es en gran medida un artefacto de la miscalibración de la ganancia implícita causada por la renormalización estándar.

Eficiencia sin Entrenamiento: El método permite reducir a la mitad el cómputo de los expertos activados con una pérdida insignificante en la precisión de las tareas de destino, requiriendo ningún entrenamiento, destilación o modificación de parámetros.
Reevaluación de Trabajos Previos: Los autores sugieren que los informes previos de degradación "precipitada" al reducir $k$ en modelos de grano fino pueden ser excesivamente pesimistas porque no desacoplaron el conjunto de referencia.
Cambio Metodológico: El artículo aboga por escanear $k_2 \in \{k_1, k, 2k\}$ y validar mediante pruebas pareadas en tareas de destino en lugar de confiar en la perplejidad o en los ajustes de renormalización por defecto.

El trabajo está limitado a modelos específicos de la serie Qwen y dominios de inglés/Python, y los autores señalan que el efecto escala con la planitud (flatness) del router, lo que sugiere que los MoE de grano grueso (por ejemplo, 8 expertos, top-2) podrían beneficiarse menos.