Riepilogo Tecnico: HodgeCover

Enunciato del Problema

I livelli Sparse Mixture-of-Experts (MoE) instradano i token attraverso un piccolo sottoinsieme di esperti, creando una significativa ridondanza parametrica che può essere compressa senza riaddestramento. I metodi esistenti di compressione senza apprendimento (ad es. REAP, REAM, STUN) si basano su segnali pairwise per classificare e fondere gli esperti. Tuttavia, questi metodi soffrono di un punto cieco strutturale fondamentale: tre esperti possono essere pairwise compatibili (basse barriere di fusione tra A-B, B-C e C-A) eppure collettivamente formare un ciclo irriducibile in cui fondere tutti e tre comporta una barriera alta e imprevedibile.

Gli approcci attuali che tentano di utilizzare informazioni sui triplet (ad es. tagli spettrali su ipergrafi, penalità con triplet-loss) aggregano tipicamente questi segnali in un surrogato somma-di-pairs o in un veto binario. Non riescono a isolare il residuo topologico specifico che sorge quando le compatibilità pairwise non sommano a una fusibilità globale coerente. Questo lavoro identifica tale residuo come il nucleo armonico del Laplaciano simpliciale su un 2-complesso costruito dal livello MoE.

Metodologia: HodgeCover

Gli autori propongono HodgeCover, un obiettivo di selezione degli esperti senza apprendimento che mira esplicitamente a questo ostacolo di ordine superiore.

1. Il Complesso di Fusibilità

Per un livello con $n$ esperti, gli autori costruiscono un complesso simpliciale astratto 2-dimensionale $K = (V, E, T)$:

• Vertici ($V$): I $n$ esperti.
• Spigoli ($E$): Tutte le combinazioni pairwise, che trasportano un segnale $b_{ij}$ definito come la divergenza KL (barriera di fusione) tra il livello originale e il livello in cui gli esperti $i$ e $j$ sono fusi.
• Facce ($T$): Un insieme curato di triangoli (tripletti), che trasportano un segnale $b_{ijk}$ definito analogamente per la fusione di tre esperti.

2. Decomposizione di Hodge

Il segnale di barriera pairwise $b \in C_1(K)$ viene decomposto utilizzando la Decomposizione di Hodge Discreta tramite il Laplaciano di Hodge 1 $L_1 = \partial_1^\top \partial_1 + \partial_2 \partial_2^\top$:
$$b = b_{\text{grad}} + b_{\text{curl}} + b_{\text{harm}}$$

• Gradiente ($b_{\text{grad}}$): Rappresenta il potenziale a livello di esperto (l'esperto $i$ è ampiamente fusibile?). Questo è l'unico componente catturato dai metodi pairwise esistenti.
• Rotore ($b_{\text{curl}}$): Rappresenta cicli coerenti attorno ai triangoli (correzioni al bordo del triangolo).
• Armonico ($b_{\text{harm}}$): Il residuo irriducibile. Si trova nel nucleo di $L_1$ e rappresenta barriere di fusione che non possono essere spiegate da alcuna combinazione di potenziali sui vertici o bordi dei triangoli. Questo componente cattura l'ostacolo del "ciclo irriducibile".

3. Obiettivo di Selezione

HodgeCover seleziona un insieme di sopravvissuti $S$ di dimensione $k$ massimizzando avidamente un obiettivo submodulare $\Phi(S)$ che copre le caratteristiche topologiche più critiche:
$$\Phi(S) = \sum_{i \in S} \text{sal}(i) + \lambda_e \frac{|C_E(S)|}{|E^*|} + \lambda_t \frac{|C_T(S)|}{|T^*|}$$

• Salienza: Un punteggio standard per esperto (adattato da REAP).
• Copertura degli Spigoli Armonici: Copre il top-$p\%$ degli spigoli con la massa armonica più alta ($|b_{\text{harm}, e}|$).
• Copertura dei Triangoli-Tripletto: Copre il top-$q_T\%$ dei triangoli con le barriere di fusione congiunte più alte.
• Reindirizzamento del Router: I non-sopravvissuti vengono reindirizzati al sopravvissuto più vicino, con una penalità applicata se il percorso coinvolge uno spigolo che trasporta una massa armonica significativa, prevenendo la reintroduzione dell'ostacolo.

4. Variante Ibrida (HodgeCover+Wanda)

Per ottenere una compressione aggressiva, gli autori combinano HodgeCover (Fase 1: riduzione del numero di esperti) con Wanda (Fase 2: pruning non strutturato dei pesi) sugli esperti sopravvissuti. Questo compone due assi di compressione ortogonali all'interno di un'unica pipeline senza apprendimento.

Contributi Chiave

1. Identificazione dell'Ostacolo di Ordine Superiore: Il lavoro definisce formalmente il complesso simpliciale di fusibilità e dimostra che la componente armonica della decomposizione di Hodge è l'unico oggetto algebrico lineare che cattura i cicli di fusibilità irriducibili che i metodi pairwise mancano.
2. Validazione Empirica della Non Banalità: Le diagnosi su tre famiglie MoE di produzione (OLMoE, Qwen 3.5-35B, Qwen 3.5-122B) mostrano che la frazione di energia armonica è non banale (29–62% dell'energia di barriera per livello), confermando che questo ostacolo è una proprietà strutturale significativa dei MoE appresi.
3. Algoritmo HodgeCover: Un obiettivo di selezione pratico e senza apprendimento che copre avidamente spigoli critici per l'armonico e triangoli critici per i tripletto, ottenendo una garanzia di approssimazione $(1 - 1/e)$ tramite ottimizzazione submodulare.
4. Prestazioni all'Avanguardia: Il metodo ibrido HodgeCover+Wanda ottiene la migliore perplessità e accuratezza a valle in regimi di compressione aggressiva (riduzione del 66% degli esperti) rispetto alle baseline esistenti.

Risultati Sperimentali

Il metodo è stato valutato su tre backbones MoE sparsi open-weight con tassi di riduzione degli esperti del 33% e del 66%:

• OLMoE-1B-7B (64 esperti/livello)
• Qwen 3.5-35B-A3B (256 esperti/livello)
• Qwen 3.5-122B-A10B (256 esperti/livello)

Risultati Chiave:

• Compressione Aggressiva (66%): HodgeCover+Wanda supera costantemente la baseline più forte (STUN+Wanda). Su Qwen 3.5-35B con una riduzione del 66%, migliora la media delle attività a valle (DS-Avg) di +12.6 punti percentuali (74.6% vs 62.0%), guidato in gran parte da guadagni in GSM8K (85.5% vs 22.1%).
• Perplessità: Ottiene la migliore perplessità C4 su ogni cella modello/tasso e la migliore perplessità WikiText con una riduzione del 66%.
• Studi di Ablazione:
  • Rimuovere la decomposizione di Hodge (sostituendola con una penalità soft sui tripletto) costa -5.74 pp in DS-Avg su Qwen 3.5-35B con compressione al 66%.
  • Rimuovere interamente il termine triangolo costa -11.5 pp.
  • Utilizzare un veto binario sui tripletto (vincolo rigido) causa un crollo di -30.5 pp, evidenziando la necessità della formulazione soft basata sulla copertura.
• Analisi del Meccanismo: A differenza di altri metodi che scambiano il mantenimento della massa armonica con quella del rotore/tripletto (o viceversa), HodgeCover mantiene un mantenimento equilibrato di tutti e quattro i componenti di Hodge (armonico, gradiente, rotore, barriera-tripletto), corrispondendo strettamente alla decomposizione pre-compressione del modello originale.

Significato e Affermazioni

Il lavoro afferma che esporre il nucleo armonico di una struttura MoE appresa cambia fondamentalmente il panorama della compressione. Spostandosi oltre i segnali pairwise per affrontare ostacoli topologici di ordine superiore, HodgeCover abilita una nuova frontiera di compressione aggressiva e senza apprendimento che preserva le capacità del modello dove i metodi precedenti falliscono.

Gli autori sottolineano che questo approccio:

• Non richiede riaddestramento: Opera interamente su un piccolo corpus di calibrazione senza fine-tuning, distillazione della conoscenza o LoRA.
• È motivato strutturalmente: Tratta il panorama della fusibilità come un oggetto topologico piuttosto che un semplice problema di classificazione.
• Bilancia il mantenimento: Bilancia in modo unico il mantenimento della massa su tutti i componenti di Hodge, evitando i bias strutturali introdotti da metodi che ottimizzano solo per somme pairwise o tripletto.

Il lavoro posiziona il nucleo armonico non solo come strumento diagnostico, ma come criterio ingegneristico pratico per la selezione dei parametri in modelli su larga scala.