Technische Samenvatting: GLASS – Global-Local Aggregatie voor Sparsificatie tijdens Inference van LLM's

1. Probleemstelling

Het implementeren van Large Language Models (LLM's) op randapparatuur met beperkte middelen vereist het verminderen van het dataverkeer en de rekenkundige vraag. Waar statische pruning permanent parameters verwijdert, biedt dynamische pruning (het overslaan van berekeningen op basis van invoer) een flexibel alternatief. Echter, bestaande trainingsvrije methoden voor dynamische pruning voor Feedforward Networks (FFN's) vertrouwen uitsluitend op van de prompt afgeleide signalen (lokale activaties tijdens de prefill-fase) om de belangrijkheid van neuronen te schatten.

De auteurs identificeren een kritieke faalmodus in deze "alleen-prompt"-benaderingen:

• Onbetrouwbaarheid bij korte prompts: Bij korte prompts is het lokale activatiesignaal onvoldoende om nauwkeurig te voorspellen welke neuronen cruciaal zijn voor de daaropvolgende generatie van lange teksten.
• Maskerdrift: Activatiepatronen tijdens de decode-fase wijken vaak aanzienlijk af van het prefill-masker, wat leidt tot onnauwkeurige pruning-masks.
• Verslechterde Fideliteit: Deze drift resulteert in een slechte generatiekwaliteit (hoge perplexiteit en KL-divergentie) tijdens het decoderen van lange teksten, met name wanneer de prompt kort is.

Het online bijwerken van masks om deze drift te corrigeren is mogelijk, maar introduceert rekenkundige overhead en tenietdoet de voordelen van het behouden van een vaste, compacte subset van gewichten in snel geheugen (een sleutelvoordeel voor implementatie op randapparatuur).

2. Methodologie: GLASS

De auteurs stellen GLASS (Global-Local Aggregatie voor Sparsificatie) voor, een plug-and-play, trainingsvrij kader dat dynamische FFN-pruning stabiliseert door twee complementaire perspectieven op de belangrijkheid van neuronen te aggregeren: lokale prompt-specifieke activaties en een globaal, model-intrinsiek prior.

2.1 Schatting van Globale Prior via Null-Prompt Stimulation (NPS)

In plaats van te vertrouwen op externe datasets (bijv. Wikipedia) die corpusbias kunnen introduceren, berekent GLASS een globale prior met behulp van Null-Prompt Stimulation (NPS).

• Mechanisme: Het model genereert tekst vanuit zichzelf met behulp van een null-prompt (bijv. een lege string of BOS-token) onder typische sampling-instellingen.
• Voordeel: Dit onderzoekt het intrinsieke gebruik van neuronen door het model zonder bias van externe data.
• Twee Variantenvan Globale Belangrijkheid ($M^g$):
  1. A-GLASS (Activatiegrootte): Berekent de gemiddelde $\ell_2$-genormaliseerde activatiegrootte van neuronen over de NPS-sequenties.
  2. I-GLASS (Neuraal Impact): Berekent de impact van het verwijderen van een neuron op de cross-entropy-verliesfunctie met behulp van een Taylor-ontwikkeling van de eerste orde (vergelijkbaar met Taylor-pruning). Gradienten worden berekend via teacher-forcing op de zelfgegenereerde NPS-sequentie.

2.2 Rangschikking Aggregatie

GLASS fuseert het lokale signaal ($A^l$, afgeleid van de invoer-prompt) en het globale signaal ($M^g$, afgeleid van NPS) met behulp van een gewogen rangschikking-aggregatie regel.

• Rangschikking: Zowel lokale als globale belangrijkheidsscores worden omgezet in rangschikkingen ($R^{(l)}$ en $R^{(g)}$) om verschillen in schaal en verdeling te hanteren.
• Probabilistische Interpretatie: De auteurs interpreteren GLASS als het vinden van de Maximum-A-Posteriori (MAP) consensusrangschikking onder een op permutaties gebaseerd probabilistisch model (specifiek, een Mallows-type model met kwadratische Spearman-rangschikking-afstand).
• Fusieformule: De uiteindelijke score voor neuron $j$ is een gewogen som van zijn rangschikkingen:
  $$GLASS_j = (1 - \lambda)R^{(l)}_j + \lambda R^{(g)}_j$$
  Waar $\lambda$ de betrouwbaarheid van lokaal versus globaal bewijs in evenwicht brengt. De standaardinstelling is $\lambda = 0.5$, waarbij gelijke betrouwbaarheid wordt aangenomen.
• Selectie: De top-$k$ neuronen met de hoogste GLASS-scores worden geselecteerd om het pruning-masker te vormen, dat vervolgens tijdens de decode-fase wordt toegepast.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Identificatie van Faalmodi: De auteurs tonen aan dat trainingsvrije sparsificatie die alleen op prompts vertrouwt, faalt in scenario's met korte prompts en lange generaties door activatiedrift, wat leidt tot een verslechterde generatiefideliteit.
2. GLASS Kader: Introductie van een plug-and-play, trainingsvrij kader dat lokale prompt-bewijzen fuseert met een globaal, model-intrinsiek prior (berekend via NPS) om robuuste masks te produceren.
3. Theoretische Fundament: Een probabilistische interpretatie van GLASS als een MAP-consensusrangschikking onder een Mallows-type model, wat een principiële rechtvaardiging biedt voor de gewogen rangschikking-aggregatieregel.
4. Empirische Prestaties: Demonstratie van aanzienlijke verbeteringen ten opzichte van eerdere trainingsvrije baselines (specifiek GRIFFIN) in uitdagende scenario's, met tot 45,10% lagere perplexiteit en 25,73% lagere KL-divergentie bij 50% sparsiteit, naast aanzienlijke snelheidswinsten op het apparaat.

4. Experimentele Resultaten

De auteurs evalueerden GLASS op een diverse set open-source LLM's (waaronder de Gemma, Llama, Mistral, OPT, Qwen en Phi-families) over classificatie-, kort-generatie- en lang-generatie-benchmarks.

• Generatie van Lange Teksten (Alpaca Benchmark): GLASS presteert aanzienlijk beter dan de sterkste trainingsvrije baseline (GRIFFIN).
  • Gemma 3n E2B: Bereikte 45,10% lagere perplexiteit en 25,73% lagere KL-divergentie in vergelijking met GRIFFIN.
  • Gemma 2 27B: Bereikte 12,48% lagere perplexiteit en 22,80% lagere KL-divergentie.
  • Llama 3 8B: Bereikte 23,28% lagere perplexiteit en 21,98% lagere KL-divergentie.
• Korte Tekst en Classificatie: GLASS presteert vergelijkbaar met GRIFFIN op standaard classificatie- en kort-generatietaken, wat aangeeft dat het globale prior het meest kritiek is voor stabiliteit bij lange generaties.
• Oracle Overlap Analyse: Experimenten tonen aan dat de Global-Local aggregatie masks produceert die aanzienlijk dichter bij een "oracle"-set van cruciale neuronen liggen (Jaccard-similariteit steeg van ~0,52 naar ~0,60) in vergelijking met het gebruik van alleen lokale of globale signalen.
• NPS versus WikiText: Het gebruik van NPS voor globale prior-schatting presteert consequent beter dan het gebruik van op WikiText gebaseerde statistieken, wat bevestigt dat NPS betrouwbaardere, bias-vrije belangrijkheidsschattingen biedt.
• Prestaties op het Apparaat: Gedevalueerd op een Samsung Galaxy S25 Ultra.
  • Voor Gemma 7B maakte de 50% FFN-reductie het mogelijk dat het model volledig in RAM resideerde, wat resulteerde in een ~11x versnelling in decoding in vergelijking met de dichte baseline (die last had van memory swapping).
  • Voor Llama 3 8B werd een 42% versnelling waargenomen.

5. Betekenis en Claims

Het artikel claimt dat GLASS betrouwbare snelheidswinsten voor randapparatuur ontsluit, met name voor werklasten die gekenmerkt worden door korte prompts en lange generaties, wat gebruikelijk is in consumententoepassingen.

• Robuustheid: Door stabiele, model-intrinsieke globale kennis te fuseren met context-specifiek lokaal bewijs, mitigeert GLASS het "drift"-probleem dat methoden die alleen op prompts vertrouwen, teistert.
• Efficiëntie: Het behoudt de voordelen van statische masks (vaste gewichtsresidencie in snel geheugen) terwijl het dynamisch aanpast aan invoercontexten zonder de overhead van het trainen van extra voorspellers of het per token opnieuw berekenen van masks.
• Generaliteit: De methode is model-onafhankelijk en trainingsvrij, waardoor deze toepasbaar is op een breed scala aan voorgeöefende LLM's zonder fine-tuning.
• Theoretische Soundness: De methode is geen ad-hoc heuristiek, maar is gebaseerd op een probabilisch consensusrangschikkingsmodel.

De auteurs concluderen dat model-intrinsieke globale kennis een cruciale, tot nu toe onderbenutte bron is voor het verbeteren van prompt-gedreven sparsificatie, wat efficiënte inferentie op hardware met beperkte middelen mogelijk maakt.