Résumé Technique : HodgeCover

Énoncé du Problème

Les couches Sparse Mixture-of-Experts (MoE) acheminent les jetons à travers un petit sous-ensemble d'experts, créant une redondance paramétrique significative qui peut être compressée sans réentraînement. Les méthodes de compression sans apprentissage existantes (par exemple, REAP, REAM, STUN) s'appuient sur des signaux par paires pour classer et fusionner les experts. Cependant, ces méthodes souffrent d'un angle mort structurel fondamental : trois experts peuvent être compatibles par paires (faibles barrières de fusion entre A-B, B-C et C-A) tout en formant collectivement un cycle irréductible où la fusion des trois entraîne une barrière élevée et imprévisible.

Les approches actuelles tentant d'utiliser des informations de triplets (par exemple, coupes spectrales d'hypergraphes, pénalités de perte triplet) agrègent généralement ces signaux en un substitut somme de paires ou un veto binaire. Elles échouent à isoler le résidu topologique spécifique qui surgit lorsque les compatibilités par paires ne s'additionnent pas en une fusionnabilité globale cohérente. Cet article identifie ce résidu comme le noyau harmonique du Laplacien simplicial sur un 2-complexe construit à partir de la couche MoE.

Méthodologie : HodgeCover

Les auteurs proposent HodgeCover, un objectif de sélection d'experts sans apprentissage qui cible explicitement cette obstruction d'ordre supérieur.

1. Le Complexe de Fusionnabilité

Pour une couche comportant $n$ experts, les auteurs construisent un 2-complexe simplicial abstrait $K = (V, E, T)$ :

• Sommets ($V$) : Les $n$ experts.
• Arêtes ($E$) : Toutes les combinaisons par paires, portant un signal $b_{ij}$ défini comme la divergence de KL (barrière de fusion) entre la couche originale et la couche où les experts $i$ et $j$ sont fusionnés.
• Faces ($T$) : Un ensemble curaté de triangles (triplets), portant un signal $b_{ijk}$ défini de manière analogue pour la fusion de trois experts.

2. Décomposition de Hodge

Le signal de barrière par paires $b \in C_1(K)$ est décomposé en utilisant la Décomposition de Hodge Discrète via le Laplacien de Hodge 1 $L_1 = \partial_1^\top \partial_1 + \partial_2 \partial_2^\top$ :
$$b = b_{\text{grad}} + b_{\text{curl}} + b_{\text{harm}}$$

• Gradient ($b_{\text{grad}}$) : Représente le potentiel au niveau de l'expert (l'expert $i$ est-il globalement fusionnable ?). C'est la seule composante capturée par les méthodes par paires existantes.
• Rotation ($b_{\text{curl}}$) : Représente les cycles cohérents autour des triangles (corrections de frontière de triangle).
• Harmonique ($b_{\text{harm}}$) : Le résidu irréductible. Il réside dans le noyau de $L_1$ et représente les barrières de fusion qui ne peuvent être expliquées par aucune combinaison de potentiels de sommets ou de frontières de triangles. Cette composante capture l'obstruction du "cycle irréductible".

3. Objectif de Sélection

HodgeCover sélectionne un ensemble survivant $S$ de taille $k$ en maximisant de manière gloutonne un objectif sous-modulaire $\Phi(S)$ qui couvre les caractéristiques topologiques les plus critiques :
$$\Phi(S) = \sum_{i \in S} \text{sal}(i) + \lambda_e \frac{|C_E(S)|}{|E^*|} + \lambda_t \frac{|C_T(S)|}{|T^*|}$$

• Saillance : Un score standard par expert (adapté de REAP).
• Couverture d'Arêtes Harmoniques : Couvre les $p\%$ d'arêtes les plus élevées ayant la masse harmonique la plus forte ($|b_{\text{harm}, e}|$).
• Couverture de Triangles-Triplets : Couvre les $q_T\%$ de triangles les plus élevés ayant les barrières de fusion conjointes les plus fortes.
• Redirection du Routeur : Les non-survivants sont redirigés vers le survivant le plus proche, avec une pénalité appliquée si le chemin implique une arête portant une masse harmonique significative, empêchant la réintroduction de l'obstruction.

4. Variante Hybride (HodgeCover+Wanda)

Pour atteindre une compression agressive, les auteurs combinent HodgeCover (Étape 1 : réduction du nombre d'experts) avec Wanda (Étape 2 : élagage de poids non structuré) sur les experts survivants. Cela compose deux axes de compression orthogonaux au sein d'un seul pipeline sans apprentissage.

Contributions Clés

1. Identification de l'Obstruction d'Ordre Supérieur : L'article définit formellement le complexe simplicial de fusionnabilité et prouve que la composante harmonique de la décomposition de Hodge est l'objet algébrique linéaire unique capturant les cycles de fusionnabilité irréductibles que les méthodes par paires manquent.
2. Validation Empirique de la Non-Trivialité : Les diagnostics sur trois familles de MoE de production (OLMoE, Qwen 3.5-35B, Qwen 3.5-122B) montrent que la fraction d'énergie harmonique est non triviale (29–62 % de l'énergie de barrière par couche), confirmant que cette obstruction est une propriété structurelle significative des MoE appris.
3. Algorithme HodgeCover : Un objectif de sélection pratique et sans apprentissage qui couvre de manière gloutonne les arêtes critiques harmoniques et les triangles critiques triplets, obtenant une garantie d'approximation $(1 - 1/e)$ via l'optimisation sous-modulaire.
4. Performances de l'État de l'Art : La méthode hybride HodgeCover+Wanda atteint la meilleure perplexité et la meilleure précision en aval dans des régimes de compression agressive (réduction de 66 % des experts) par rapport aux bases de référence existantes.

Résultats Expérimentaux

La méthode a été évaluée sur trois épine dorsales MoE clairsemées à poids ouverts avec des taux de réduction d'experts de 33 % et 66 % :

• OLMoE-1B-7B (64 experts/couche)
• Qwen 3.5-35B-A3B (256 experts/couche)
• Qwen 3.5-122B-A10B (256 experts/couche)

Résultats Clés :

• Compression Agressive (66 %) : HodgeCover+Wanda surpasse constamment la base de référence la plus forte (STUN+Wanda). Sur Qwen 3.5-35B à 66 % de réduction, il améliore la moyenne des tâches en aval (DS-Avg) de +12,6 points de pourcentage (74,6 % contre 62,0 %), principalement grâce aux gains sur GSM8K (85,5 % contre 22,1 %).
• Perplexité : Il atteint la meilleure perplexité C4 sur chaque cellule modèle/taux et la meilleure perplexité WikiText à 66 % de réduction.
• Études d'Ablation :
  • Supprimer la décomposition de Hodge (remplacer par une pénalité triplet douce) coûte -5,74 pp en DS-Avg sur Qwen 3.5-35B à 66 % de compression.
  • Supprimer entièrement le terme triangle coûte -11,5 pp.
  • Utiliser un veto triplet binaire (contrainte dure) provoque un effondrement de -30,5 pp, soulignant la nécessité de la formulation douce basée sur la couverture.
• Analyse Mécanique : Contrairement à d'autres méthodes qui échangent le maintien de la masse harmonique contre la masse de rotation/triplet (ou vice versa), HodgeCover maintient une rétention équilibrée de tous les quatre composantes de Hodge (harmonique, gradient, rotation, barrière triplet), correspondant étroitement à la décomposition pré-compression du modèle original.

Importance et Revendications

L'article revendique que l'exposition du noyau harmonique d'une structure MoE apprise change fondamentalement le paysage de la compression. En allant au-delà des signaux par paires pour aborder les obstructions topologiques d'ordre supérieur, HodgeCover ouvre une nouvelle frontière de compression agressive et sans apprentissage qui préserve la capacité du modèle là où les méthodes précédentes échouent.

Les auteurs soulignent que cette approche :

• Ne nécessite pas de réentraînement : Elle opère entièrement sur un petit corpus d'étalonnage sans fine-tuning, distillation de connaissances ou LoRA.
• Est motivée structurellement : Elle traite le paysage de fusionnabilité comme un objet topologique plutôt que comme un simple problème de classement.
• Équilibre la rétention : Elle équilibre de manière unique la rétention de masse à travers toutes les composantes de Hodge, évitant les biais structurels introduits par les méthodes qui optimisent uniquement pour les sommes par paires ou triplets.

Ce travail positionne le noyau harmonique non seulement comme un outil de diagnostic, mais comme un critère d'ingénierie pratique pour la sélection de paramètres dans les modèles à grande échelle.