Technische Samenvatting: HodgeCover

Probleemstelling

Sparse Mixture-of-Experts (MoE)-lagen routeren tokens via een klein subset van experts, wat aanzienlijke parameterredundantie creëert die gecomprimeerd kan worden zonder opnieuw te trainen. Bestaande leervrije compressiemethoden (bijv. REAP, REAM, STUN) vertrouwen op paarsgewijze signalen om experts te rangschikken en te samenvoegen. Deze methoden lijden echter aan een fundamenteel structureel blinde vlek: drie experts kunnen paarsgewijs compatibel zijn (lage samenvoegingsbarrières tussen A-B, B-C en C-A) en toch collectief een onherleidbare cyclus vormen waarbij het samenvoegen van alle drie een hoge, onvoorspelbare barrière met zich meebrengt.

Huidige benaderingen die proberen drietupel-informatie te gebruiken (bijv. hypergrafische spectrale sneden, drietupel-verliesstraffen) aggregeren deze signalen doorgaans tot een som-van-paren-surrogaat of een binaire veto. Ze falen erin om het specifieke topologische residu te isoleren dat ontstaat wanneer paarsgewijze compatibiliteiten niet optellen tot een coherent globale samenvoegbaarheid. Dit artikel identificeert dit residu als de harmonische kern van de simpliciale Laplaciaan op een 2-complex dat is geconstrueerd vanuit de MoE-laag.

Methodologie: HodgeCover

De auteurs stellen HodgeCover voor, een leervrije expert-selectiedoelstelling die expliciet deze hogere-orde obstructie aanpakt.

1. Het Samenvoegbaarheidscomplex

Voor een laag met $n$ experts construeren de auteurs een abstract simpliciaal 2-complex $K = (V, E, T)$:

• Hoekpunten ($V$): De $n$ experts.
• Randen ($E$): Alle paarsgewijze combinaties, met een signaal $b_{ij}$ gedefinieerd als de KL-divergentie (samenvoegingsbarrière) tussen de originele laag en de laag waarin experts $i$ en $j$ zijn samengevoegd.
• Vlakken ($T$): Een gecureerde set driehoeken (drietupels), met een signaal $b_{ijk}$ analoog gedefinieerd voor het samenvoegen van drie experts.

2. Hodge-decompositie

Het paarsgewijze barrièresignaal $b \in C_1(K)$ wordt gedecomposeerd met behulp van de Discrete Hodge-decompositie via de 1-Hodge-Laplaciaan $L_1 = \partial_1^\top \partial_1 + \partial_2 \partial_2^\top$:
$$b = b_{\text{grad}} + b_{\text{curl}} + b_{\text{harm}}$$

• Gradiënt ($b_{\text{grad}}$): Vertegenwoordigt expertniveau-potentieel (is expert $i$ breed samenvoegbaar?). Dit is het enige component dat door bestaande paarsgewijze methoden wordt vastgelegd.
• Curl ($b_{\text{curl}}$): Vertegenwoordigt coherente cycli rond driehoeken (driehoeksgrens-correcties).
• Harmonisch ($b_{\text{harm}}$): Het onherleidbare residu. Het ligt in de kern van $L_1$ en vertegenwoordigt samenvoegingsbarrières die niet kunnen worden verklaard door enige combinatie van hoekpunt-potentieel of driehoeksgrenzen. Dit component vangt de "onherleidbare cyclus"-obstructie op.

3. Selectiedoelstelling

HodgeCover selecteert een overlevende set $S$ van grootte $k$ door een submodulaire doelstelling $\Phi(S)$ gretig te maximaliseren die de meest kritieke topologische kenmerken dekt:
$$\Phi(S) = \sum_{i \in S} \text{sal}(i) + \lambda_e \frac{|C_E(S)|}{|E^*|} + \lambda_t \frac{|C_T(S)|}{|T^*|}$$

• Saliëntie: Een standaard score per expert (geadaptieerd van REAP).
• Harmonische-Randdekking: Dekt de top-$p\%$ randen met de hoogste harmonische massa ($|b_{\text{harm}, e}|$).
• Drietupel-Driehoekdekking: Dekt de top-$q_T\%$ driehoeken met de hoogste gezamenlijke samenvoegingsbarrières.
• Router-omleiding: Niet-overlevenden worden omgeleid naar de dichtstbijzijnde overlevende, met een straf toegepast als het pad een rand met significante harmonische massa omvat, waardoor de herintroductie van de obstructie wordt voorkomen.

4. Hybride Variant (HodgeCover+Wanda)

Om agressieve compressie te bereiken, combineren de auteurs HodgeCover (Fase 1: vermindering van het aantal experts) met Wanda (Fase 2: ongestructureerde gewichtspruning) op de overlevende experts. Dit componeert twee orthogonale compressie-assen binnen een enkele leervrije pijplijn.

Belangrijkste Bijdragen

1. Identificatie van Hogere-Orde Obstructie: Het artikel definieert formeel het simpliciale samenvoegbaarheidscomplex en bewijst dat het harmonische component van de Hodge-decompositie het unieke lineair-algebraïsche object is dat onherleidbare samenvoegbaarheidscycli vastlegt die door paarsgewijze methoden worden gemist.
2. Empirische Validatie van Non-trivialiteit: Diagnostiek over drie productie-MoE-families (OLMoE, Qwen 3.5-35B, Qwen 3.5-122B) toont aan dat het harmonische energiedeel niet triviaal is (29–62% van de per-laag barrière-energie), wat bevestigt dat deze obstructie een significante structurele eigenschap is van geleerde MoE's.
3. HodgeCover-algoritme: Een praktische, leervrije selectiedoelstelling die gretig harmonisch-kritieke randen en drietupel-kritieke driehoeken dekt, en een $(1 - 1/e)$-benaderingsgarantie bereikt via submodulaire optimalisatie.
4. State-of-the-Art Prestaties: De hybride HodgeCover+Wanda-methode bereikt de beste perplexiteit en downstream-accuraatheid over agressieve compressieregimes (66% expertreductie) in vergelijking met bestaande baselines.

Experimentele Resultaten

De methode werd geëvalueerd op drie open-gewicht sparse MoE-backbones bij reductiesnelheden van 33% en 66%:

• OLMoE-1B-7B (64 experts/laag)
• Qwen 3.5-35B-A3B (256 experts/laag)
• Qwen 3.5-122B-A10B (256 experts/laag)

Belangrijkste Bevindingen:

• Agressieve Compressie (66%): HodgeCover+Wanda presteert consequent beter dan de sterkste baseline (STUN+Wanda). Op Qwen 3.5-35B bij 66% reductie verbetert het de downstream-taakgemiddelde (DS-Avg) met +12,6 procentpunten (74,6% versus 62,0%), grotendeels gedreven door winsten in GSM8K (85,5% versus 22,1%).
• Perplexiteit: Het bereikt de beste C4-perplexiteit op elke model/rate-cel en de beste WikiText-perplexiteit bij 66% reductie.
• Ablatiestudies:
  • Het verwijderen van de Hodge-decompositie (vervangen door een zachte drietupel-straf) kost -5,74 pp in DS-Avg op Qwen 3.5-35B bij 66% compressie.
  • Het volledig verwijderen van het driehoeksterm kost -11,5 pp.
  • Het gebruik van een binaire drietupel-veto (harde constraint) veroorzaakt een ineenstorting van -30,5 pp, wat de noodzaak van de zachte, op dekking gebaseerde formulering benadrukt.
• Mechanisme-analyse: In tegenstelling tot andere methoden die een afweging maken tussen het behouden van harmonische massa voor curl/drietupel-massa (of omgekeerd), handhaaft HodgeCover een gebalanceerd behoud van alle vier Hodge-componenten (harmonisch, gradiënt, curl, drietupel-barrière), wat nauw overeenkomt met de pre-compressie decompositie van het originele model.

Betekenis en Claims

Het artikel beweert dat het blootleggen van de harmonische kern van een geleerde MoE-structuur het landschap van compressie fundamenteel verandert. Door verder te gaan dan paarsgewijze signalen om hogere-orde topologische obstructies aan te pakken, stelt HodgeCover een nieuw grensgebied mogelijk van agressieve, leervrije compressie die modelcapaciteit behoudt waar eerdere methoden falen.

De auteurs benadrukken dat deze aanpak:

• Geen hertraining vereist: Het werkt volledig op een klein kalibratie-corpus zonder fine-tuning, kennisdistillatie of LoRA.
• Structureel gemotiveerd is: Het behandelt het samenvoegbaarheidslandschap als een topologisch object in plaats van een eenvoudig rangschikkingsprobleem.
• Behoud balanceert: Het uniek balanceert het behoud van massa over alle Hodge-componenten, waardoor structurele biases worden vermeden die worden geïntroduceerd door methoden die alleen optimaliseren voor paarsgewijze of drietupel-sommen.

Het werk positioneert de harmonische kern niet alleen als een diagnostisch hulpmiddel, maar als een praktisch engineeringcriterium voor het selecteren van parameters in grootschalige modellen.