Resumen Técnico: HodgeCover

Enunciado del Problema

Las capas de Mezcla de Expertos (MoE) dispersas enrutan los tokens a través de un pequeño subconjunto de expertos, creando una redundancia significativa de parámetros que puede comprimirse sin reentrenamiento. Los métodos existentes de compresión sin aprendizaje (por ejemplo, REAP, REAM, STUN) dependen de señales por pares para clasificar y fusionar expertos. Sin embargo, estos métodos adolecen de un punto ciego estructural fundamental: tres expertos pueden ser compatibles por pares (barreras de fusión bajas entre A-B, B-C y C-A) y, sin embargo, formar colectivamente un ciclo irreducible donde fusionar los tres conlleva una barrera alta e impredecible.

Los enfoques actuales que intentan utilizar información de tripletes (por ejemplo, cortes espectrales de hipergrafos, penalizaciones por pérdida de tripletes) suelen agregar estas señales en un sustituto de suma de pares o un veto binario. No logran aislar el residuo topológico específico que surge cuando las compatibilidades por pares no suman una fusibilidad global coherente. Este trabajo identifica dicho residuo como el núcleo armónico del Laplaciano simplicial sobre un 2-complejo construido a partir de la capa MoE.

Metodología: HodgeCover

Los autores proponen HodgeCover, un objetivo de selección de expertos sin aprendizaje que aborda explícitamente esta obstrucción de orden superior.

1. El Complejo de Fusibilidad

Para una capa con $n$ expertos, los autores construyen un 2-complejo simplicial abstracto $K = (V, E, T)$:

• Vértices ($V$): Los $n$ expertos.
• Aristas ($E$): Todas las combinaciones por pares, que transportan una señal $b_{ij}$ definida como la divergencia KL (barrera de fusión) entre la capa original y la capa donde los expertos $i$ y $j$ están fusionados.
• Caras ($T$): Un conjunto curado de triángulos (tripletes), que transportan una señal $b_{ijk}$ definida análogamente para la fusión de tres expertos.

2. Descomposición de Hodge

La señal de barrera por pares $b \in C_1(K)$ se descompone utilizando la Descomposición Discreta de Hodge a través del Laplaciano de Hodge 1 $L_1 = \partial_1^\top \partial_1 + \partial_2 \partial_2^\top$:
$$b = b_{\text{grad}} + b_{\text{curl}} + b_{\text{harm}}$$

• Gradiente ($b_{\text{grad}}$): Representa el potencial a nivel de experto (¿es el experto $i$ ampliamente fusible?). Este es el único componente capturado por los métodos existentes por pares.
• Rotacional ($b_{\text{curl}}$): Representa ciclos coherentes alrededor de triángulos (correcciones de frontera de triángulo).
• Armónico ($b_{\text{harm}}$): El residuo irreducible. Se encuentra en el núcleo de $L_1$ y representa barreras de fusión que no pueden explicarse mediante ninguna combinación de potenciales de vértice o fronteras de triángulo. Este componente captura la obstrucción del "ciclo irreducible".

3. Objetivo de Selección

HodgeCover selecciona un conjunto superviviente $S$ de tamaño $k$ maximizando codiciosamente un objetivo submodular $\Phi(S)$ que cubre las características topológicas más críticas:
$$\Phi(S) = \sum_{i \in S} \text{sal}(i) + \lambda_e \frac{|C_E(S)|}{|E^*|} + \lambda_t \frac{|C_T(S)|}{|T^*|}$$

• Saliencia: Una puntuación estándar por experto (adaptada de REAP).
• Cobertura de Arista Armónica: Cubre el top-$p\%$ de aristas con la mayor masa armónica ($|b_{\text{harm}, e}|$).
• Cobertura de Triángulo-Triplete: Cubre el top-$q_T\%$ de triángulos con las mayores barreras de fusión conjuntas.
• Redirección de Enrutador: Los no supervivientes son redirigidos al superviviente más cercano, aplicándose una penalización si la ruta involucra una arista que transporta una masa armónica significativa, evitando la reintroducción de la obstrucción.

4. Variante Híbrida (HodgeCover+Wanda)

Para lograr una compresión agresiva, los autores combinan HodgeCover (Etapa 1: reducción de la cantidad de expertos) con Wanda (Etapa 2: poda de pesos no estructurada) sobre los expertos supervivientes. Esto compone dos ejes de compresión ortogonales dentro de una única tubería sin aprendizaje.

Contribuciones Clave

1. Identificación de Obstrucción de Orden Superior: El trabajo define formalmente el complejo simplicial de fusibilidad y demuestra que el componente armónico de la descomposición de Hodge es el único objeto de álgebra lineal que captura ciclos de fusibilidad irreducibles que los métodos por pares pasan por alto.
2. Validación Empírica de la No Trivialidad: Los diagnósticos en tres familias de MoE de producción (OLMoE, Qwen 3.5-35B, Qwen 3.5-122B) muestran que la fracción de energía armónica es no trivial (29–62% de la energía de barrera por capa), confirmando que esta obstrucción es una propiedad estructural significativa de los MoE aprendidos.
3. Algoritmo HodgeCover: Un objetivo de selección práctico y sin aprendizaje que cubre codiciosamente aristas críticas armónicas y triángulos críticos de tripletes, logrando una garantía de aproximación $(1 - 1/e)$ mediante optimización submodular.
4. Rendimiento de Vanguardia: El método híbrido HodgeCover+Wanda logra la mejor perplejidad y precisión en tareas posteriores en regímenes de compresión agresiva (reducción del 66% de expertos) en comparación con las líneas base existentes.

Resultados Experimentales

El método fue evaluado en tres backbones MoE dispersos de pesos abiertos con tasas de reducción de expertos del 33% y 66%:

• OLMoE-1B-7B (64 expertos/capa)
• Qwen 3.5-35B-A3B (256 expertos/capa)
• Qwen 3.5-122B-A10B (256 expertos/capa)

Hallazgos Clave:

• Compresión Agresiva (66%): HodgeCover+Wanda supera consistentemente a la línea base más fuerte (STUN+Wanda). En Qwen 3.5-35B con una reducción del 66%, mejora el promedio de tareas posteriores (DS-Avg) en +12.6 puntos porcentuales (74.6% vs. 62.0%), impulsado en gran medida por ganancias en GSM8K (85.5% vs. 22.1%).
• Perplejidad: Logra la mejor perplejidad en C4 en cada celda de modelo/tasa y la mejor perplejidad en WikiText con una reducción del 66%.
• Estudios de Ablación:
  • Eliminar la descomposición de Hodge (reemplazándola con una penalización suave de tripletes) cuesta -5.74 pp en DS-Avg en Qwen 3.5-35B con una compresión del 66%.
  • Eliminar el término de triángulo por completo cuesta -11.5 pp.
  • Usar un veto binario de tripletes (restricción dura) provoca un colapso de -30.5 pp, destacando la necesidad de la formulación suave y basada en cobertura.
• Análisis de Mecanismos: A diferencia de otros métodos que intercambian la retención de masa armónica por masa rotacional/de triplete (o viceversa), HodgeCover mantiene una retención equilibrada de los cuatro componentes de Hodge (armónico, gradiente, rotacional, barrera de triplete), coincidiendo estrechamente con la descomposición previa a la compresión del modelo original.

Significado y Afirmaciones

El trabajo afirma que exponer el núcleo armónico de una estructura MoE aprendida cambia fundamentalmente el panorama de la compresión. Al ir más allá de las señales por pares para abordar obstrucciones topológicas de orden superior, HodgeCover habilita una nueva frontera de compresión agresiva y sin aprendizaje que preserva la capacidad del modelo donde los métodos anteriores fallan.

Los autores enfatizan que este enfoque:

• No requiere reentrenamiento: Opera completamente sobre un pequeño corpus de calibración sin ajuste fino, destilación de conocimiento ni LoRA.
• Está motivado estructuralmente: Trata el paisaje de fusibilidad como un objeto topológico en lugar de un problema simple de clasificación.
• Equilibra la retención: Equilibra de manera única la retención de masa a través de todos los componentes de Hodge, evitando los sesgos estructurales introducidos por métodos que solo optimizan sumas por pares o de tripletes.

El trabajo posiciona al núcleo armónico no solo como una herramienta de diagnóstico, sino como un criterio de ingeniería práctico para seleccionar parámetros en modelos a gran escala.