Resumen Técnico: SHAPE – Poda de Expertos Consciente de Coaliciones para LLMs de Mezcla de Expertos Dispersos

1. Planteamiento del Problema

Las arquitecturas de Mezcla de Expertos (MoE) dispersas se han vuelto fundamentales para escalar los Modelos de Lenguaje de Gran Escala (LLMs) a cientos de miles de millones o billones de parámetros, manteniendo costos de entrenamiento sublineales y una baja latencia de inferencia por token. Sin embargo, el despliegue de estos modelos masivos enfrenta un "Muro de Memoria" crítico. Si bien la computación condicional asegura que solo un subconjunto disperso de expertos esté activo por token, todo el conjunto de expertos debe permanecer residente en la memoria GPU para soportar decisiones de enrutamiento dinámicas dependientes del token. Este requisito crea huellas de memoria prohibitivas (por ejemplo, terabytes de VRAM para modelos como DeepSeek-V3.2), limitando su usabilidad en entornos con recursos restringidos.

Las estrategias de compresión existentes, como la poda de expertos, buscan reducir la huella de parámetros eliminando expertos redundantes. Sin embargo, las metodologías de poda actuales sufren de una brecha de modelado fundamental: adoptan predominantemente una perspectiva por experto, calificando a los expertos de forma independiente basándose en métricas como la frecuencia de activación o la magnitud de la compuerta (gating). Este enfoque pasa por alto la naturaleza inherentemente coalicional de la inferencia MoE, donde la salida del modelo es generada por una composición no lineal de una coalición específica de top-$k$ expertos. En consecuencia, la calificación independiente corre el riesgo de desmantelar colaboraciones de expertos de alta utilidad, lo que conduce a una degradación desproporcionada del rendimiento en tareas complejas, incluso si los expertos individuales parecen redundantes de forma aislada.

2. Metodología: Marco de Trabajo SHAPE

Los autores proponen SHAPE (Poda de Expertos Guiada por Shapley y Consciente de Coaliciones), un marco de trabajo impulsado por tareas que modela explícitamente la cooperación intra-capa de los expertos. SHAPE opera sin reentrenamiento, apoyándose en un pequeño conjunto de calibración para guiar las decisiones de poda. La metodología consta de tres componentes principales:

A. Calibración Impulsada por Tareas y Trazas de Enrutamiento

SHAPE realiza una pasada fuera de línea (offline) en un pequeño conjunto de datos de calibración específico de la tarea ($D_{cal}$) utilizando el modelo sin podar. Registra las decisiones de enrutamiento (selecciones de expertos top-$k$) para cada token a través de todas las capas MoE. Esto genera un conjunto de combinaciones de expertos observadas (coaliciones) y sus frecuencias de activación, que sirven como estadísticas empíricas que caracterizan la cooperación de expertos condicionada por la tarea.

B. Utilidad Basada en Coaliciones y Valoración Estilo Shapley

En lugar de tratar a los expertos como unidades independientes, SHAPE formula el proceso de inferencia como un juego cooperativo empírico.

• Definición de Utilidad: La utilidad de una coalición (un conjunto específico de $k$ expertos) se define por su frecuencia de activación observada en el conjunto de calibración.
• Contribución Marginal: Para determinar el valor de un experto, SHAPE estima su contribución marginal a la utilidad de la coalición. Dado que eliminar un experto de una coalición top-$k$ resulta en un subconjunto $(k-1)$ que no se observa directamente bajo el enrutamiento top-$k$, SHAPE aproxima la utilidad de estos sub-coaliciones utilizando estadísticas de co-ocurrencia.
• Aproximación Estilo Shapley: El marco calcula una puntuación de estilo Shapley ($\phi$) para cada experto. Esta puntuación promedia la contribución marginal del experto a través de todas las coaliciones en las que participa, ponderada por el tamaño de la coalición.
• Corrección de Monotonía: Para asegurar que la aproximación respete el requisito de monotonía de los juegos cooperativos (es decir, que la utilidad de una coalición no sea menor que la de sus sub-coaliciones), SHAPE introduce un factor de escala conservador ($\alpha$) derivado de las frecuencias observadas. Esto evita sobreestimar la sustituibilidad de los expertos.

C. Selección de Cobertura de Calidad Shapley

Para determinar qué expertos retener, SHAPE emplea una regla de selección de cobertura de calidad en lugar de un simple umbral basado en conteo.

• Cobertura por Capa: Para cada capa, el marco ordena los expertos por sus puntuaciones de Shapley no negativas. Selecciona el subconjunto mínimo de expertos tal que su masa de Shapley acumulada cubra una fracción $\alpha$ de la contribución total de la capa.
• Igualación de Presupuesto Global: Se utiliza una búsqueda binaria (bisección) para encontrar el umbral de cobertura óptimo $\alpha$ que satisfaga una tasa de retención global objetivo (por ejemplo, retener el 60% u 80% de los expertos).
• Preservación Estructural: Este enfoque asegura que las capas con valores altamente concentrados retengan menos expertos, mientras que las capas con contribuciones difusas retengan más, evitando el "colapso de capa" donde la poda afecta desproporcionadamente a capas específicas.

3. Contribuciones Clave

1. Valoración de Expertos Coalicionales: El artículo redefine la poda de MoE de una estimación de importancia independiente a un modelado de contribución consciente de las coaliciones. Introduce un mecanismo principista utilizando valores de Shapley para atribuir las contribaciones de los expertos condicionadas a las coaliciones enrutadas, distinguiendo entre expertos seleccionados frecuentemente y aquellos esenciales para colaboraciones de alta utilidad.
2. Estrategia de Poda de Preservación de la Estructura: SHAPE propone un mecanismo de selección sensible a la topología que preserva la capacidad cooperativa por capa. Al imponer una restricción de cobertura de calidad basada en el valor de Shapley acumulado, evita los desequilibrios estructurales causados por el ranking global o los conteos fijos por capa.
3. Validación Empírica: Experimentos extensos demuestran que preservar la cooperación de los expertos es crítico para una compresión efectiva. El marco logra una poda significativa (hasta un 40%) con una degradación de rendimiento insignificante en benchmarks de razonamiento intensivo, superando tanto a los baselines heurísticos como a los métodos de poda sin entrenamiento de última generación.

4. Resultados Experimentales

Los autores evaluaron SHAPE en tres backbones de MoE modernos: Qwen3-30B-A3B, GPT-OSS-20B y DeepSeek-V2-Lite. La evaluación cubrió diversos benchmarks incluyendo razonamiento matemático (GSM8K, MATH-500), generación de código (HumanEval), QA de conocimiento (GPQA-Diamond) y QA médica.

• Retención de Rendimiento: Bajo una tasa de poda del 20%, SHAPE mantuvo un rendimiento comparable a, y en algunos casos ligeramente superior a, los baselines sin podar. Con una tasa de poda del 40%, SHAPE superó consistentemente a los métodos base (incluyendo poda aleatoria, basada en frecuencia, basada en compuerta, RAEP y EASY-EP), particularmente en tareas de razonamiento intensivo donde la cooperación de expertos es crítica.
• Robustez: Mientras que las tareas de razonamiento (por ejemplo, GSM8K, GPQA-Diamond) mostraron una mayor sensibilidad a la poda, el enfoque de SHAPE consciente de las coaliciones preservó la precisión significativamente mejor que las heurísticas basadas en expertos. Los modelos más grandes (Qwen3, GPT-OSS) demostraron mayor resiliencia, pero SHAPE siguió siendo efectivo incluso en el más compacto DeepSeek-V2-Lite.
• Eficiencia de Memoria: La poda redujo directamente la huella de memoria GPU pico. El estudio destacó que servir el conjunto completo de expertos incurre en un gasto de memoria sustancial independientemente de la dispersidad de activación. SHAPE permitió reducciones claras en el uso de VRAM (proporcionales a la tasa de poda) sin necesidad de entrenamiento adicional o cambios arquitectónicos.
• Estudios de Ablación: Las comparaciones con el ranking global y la poda independiente por capa confirmaron que la restricción de cobertura de calidad es vital. La poda global llevó al desequilibrio estructural, mientras que la poda por capa no tuvo en cuenta la distribución de capacidad específica de la tarea. El enfoque equilibrado de SHAPE produjo el rendimiento más estable a través de todas las tasas de poda.

5. Significado y Reivindicaciones

El artículo afirma que SHAPE aborda una limitación crítica en la compresión actual de MoE: la falla al no considerar la naturaleza cooperativa de la inferencia de expertos. Al cambiar el enfoque de las métricas de expertos individuales hacia la utilidad de la coalición, SHAPE proporciona una solución robusta y sin entrenamiento para desplegar modelos MoE masivos en entornos con restricciones de memoria.

Los autores enfatizan que su trabajo no requiere reentrenamiento ni modificaciones arquitectónicas, lo que lo convierte en una optimización práctica orientada al despliegue. Los resultados sugieren que una parte significativa del conjunto de expertos en los modelos MoE modernos contribuye con una utilidad marginal limitada cuando se consideran de forma aislada, pero la estructura de su colaboración es lo que sostiene el rendimiento del modelo. SHAPE identifica y preserva con éxito estas estructuras colaborativas críticas, permitiendo un intercambio favorable entre la capacidad del modelo y la huella de recursos. El código de código abierto se proporciona para facilitar la investigación y aplicación adicional en este dominio.