💬 NLP

GLASS: Global-Local Aggregation for Inference-time Sparsification of LLMs

GLASS ist ein trainingsfreies Framework, das die Inferenzzeit-Verdünnung für große Sprachmodelle verbessert, indem es lokale prompt-spezifische Aktivierungen und globale modell-intrinsische Priors über eine Rangaggregation zusammenführt, wodurch die dynamische FFN-Beschneidung stabilisiert und die Generierungstreue sowie die Dekodiergeschwindigkeit erheblich gesteigert werden, insbesondere bei kurzen Prompts in langen Texten.

Ursprüngliche Autoren: Amirmohsen Sattarifard, Sepehr Lavasani, Kunlin Zhang, Amirhossein Rajabpour, Hanlin Xu, Fengyu Sun, Negar Hassanpour, Chao Gao

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amirmohsen Sattarifard, Sepehr Lavasani, Kunlin Zhang, Amirhossein Rajabpour, Hanlin Xu, Fengyu Sun, Negar Hassanpour, Chao Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige, unglaublich intelligente Bibliothek (ein Large Language Model, oder LLM), die Geschichten schreiben, Fragen beantworten und Probleme lösen kann. Doch diese Bibliothek ist so massiv, dass sie nicht auf Ihr Smartphone oder Ihren Laptop passt. Sie ist zu schwer, zu langsam und benötigt zu viel Energie zum Betrieb.

Um sie auf Ihrem Gerät zum Laufen zu bringen, müssen Sie sie „beschneiden" – im Wesentlichen müssen Sie ihr befehlen, 50 % seiner inneren Gehirnzellen (Neuronen) zu ignorieren, während es denkt, damit es schneller läuft und weniger Speicher verbraucht.

Das Problem: Das „Raten-Spiel" bei kurzen Eingabeaufforderungen
Bestehende Methoden versuchen zu entscheiden, welche Gehirnzellen erhalten bleiben sollen, indem sie auf das allererste schauen, was Sie eingeben (die „Prompt"). Sie sagen: „Okay, Sie haben eine kurze Frage gestellt, also halten wir diese spezifischen Neuronen aktiv."

Die Arbeit argumentiert, dass dies wie der Versuch ist, eine ganze Roadtrip-Planung nur auf Basis des ersten Schritts zu erstellen, den Sie aus der Tür hinaus tun.

Kurze Eingabeaufforderungen: Wenn Sie eine kurze Frage stellen, hat das Modell nicht genügend Informationen, um zu wissen, welche Neuronen für die lange Antwort, die es gleich generieren wird, tatsächlich wichtig sind.
Lange Antworten: Während das Modell beginnt, eine lange Geschichte zu schreiben, ändert sich die „Bedeutung" der Neuronen. Diejenigen, die für die kurze Frage wichtig schienen, könnten für den Rest der Geschichte nutzlos sein.
Das Ergebnis: Das Modell gerät in Verwirrung, macht Fehler, und die Qualität des Schreibens sinkt, weil es die falschen Neuronen beibehielt und die richtigen ausschaltete.

Die Lösung: GLASS (Global-Local Aggregation)
Die Autoren schlagen eine neue Methode namens GLASS vor. Stellen Sie sich GLASS als einen klugen Manager vor, der Entscheidungen auf Basis zweier verschiedener Informationsquellen trifft, anstatt nur einer.

Die lokale Sicht (das „Jetzt"-Signal): Dies betrachtet, was Sie gerade eingegeben haben. Es fragt: „Basierend auf dieser spezifischen Frage, welche Neuronen leuchten gerade auf?" Dies ist gut für den Kontext, aber bei kurzen Fragen unzuverlässig.
Die globale Sicht (das „Intrinsische"-Signal): Dies ist die große Innovation der Arbeit. Bevor das Modell Ihre Frage überhaupt sieht, führten die Forscher einen speziellen Test durch, bei dem sie das Modell mit einer leeren Eingabeaufforderung (nur ein leerer Raum) mit sich selbst sprechen ließen. Sie fragten: „Welche Neuronen nutzt dieses Modell immer, egal was passiert?" Dies erstellt eine „Spickzettel" der wichtigsten, zuverlässigsten Gehirnzellen des Modells.

Wie GLASS funktioniert: Die „Rangfolge"-Analogie
GLASS wählt nicht einfach das eine oder das andere aus. Es verwendet ein cleveres Abstimmungssystem namens Rank Aggregation.

Stellen Sie sich vor, Sie wählen ein Team für ein Sportspiel aus:

Der lokale Trainer sagt: „Spieler A ist großartig für dieses spezifische Spiel."
Der globale Trainer sagt: „Spieler A ist der beste Spieler, den wir haben, Punkt, basierend auf seiner gesamten Karriere."

Wenn Sie nur auf den lokalen Trainer hören, wählen Sie vielleicht einen Spieler, der für einen einzelnen Spielzug gut ist, aber für das gesamte Spiel schlecht. Wenn Sie nur auf den globalen Trainer hören, wählen Sie vielleicht einen Star-Spieler, der nicht zur spezifischen Strategie passt.

GLASS kombiniert beides. Es nimmt die „lokale" Liste und die „globale" Liste und verschmilzt sie. Wenn ein Neuron von beiden Trainern hoch eingestuft wird, bleibt es definitiv erhalten. Wenn ein Trainer unsicher ist (wie bei einer kurzen Eingabeaufforderung), rettet die Meinung des anderen Trainern den Tag.

Der Trick „Null-Prompt-Stimulation" (NPS)
Um diesen „globalen" Spickzettel zu erhalten, ohne einen massiven Datensatz aus Büchern oder Wikipedia-Artikeln zu benötigen, verwendeten die Autoren einen Trick namens Null Prompt Stimulation.

Anstatt dem Modell ein Buch zum Lesen vorzulegen, ließen sie es Text aus dem Nichts generieren (eine „null"-Eingabeaufforderung).
Dies zwingt das Modell, sich vollständig auf seine eigene interne Verkabelung zu verlassen. Es ist, als würde man einen Musiker bitten, eine Tonleiter ohne Noten zu spielen, um zu sehen, welche Finger er natürlich am häufigsten verwendet. Dies liefert eine reine, unvoreingenommene Karte der kritischsten Neuronen des Modells.

Die Ergebnisse: Schneller und intelligenter
Die Arbeit testete GLASS an vielen verschiedenen Modellen (wie Llama, Gemma und Mistral) und fand heraus:

Bessere Qualität: Wenn es gebeten wurde, lange Geschichten aus kurzen Eingabeaufforderungen zu schreiben, machte GLASS weit weniger Fehler als frühere Methoden. Es war der Qualität des vollständigen, unbeschnittenen Modells viel näher.
Schnellere Geschwindigkeit: Auf einem Samsung Galaxy S25 Ultra (ein High-End-Smartphone) ließ GLASS das Modell in einigen Fällen bis zu 11-mal schneller laufen. Dies geschah, weil das Modell klein genug wurde, um vollständig in den schnellen Speicher des Telefons zu passen, wodurch der langsame Prozess des ständigen Austauschs von Daten hinein und heraus vermieden wurde.

In Kürze
GLASS ist ein „Plug-and-Play"-Tool, das große KI-Modelle auf kleinen Geräten zum Laufen bringt. Es behebt das Problem des „falschen Ratens" bei kurzen Fragen, indem es kombiniert, was das Modell gerade jetzt tut, mit dem, wofür das Modell natürlich gut ist, und stellt sicher, dass die KI intelligent und schnell bleibt, selbst wenn sie mit begrenzten Ressourcen arbeitet.

Technische Zusammenfassung: GLASS – Global-Local Aggregation for Inference-time Sparsification of LLMs

1. Problemstellung

Der Einsatz von Large Language Models (LLMs) auf ressourcenbeschränkten Edge-Geräten erfordert eine Reduzierung des Speicherverkehrs und des Rechenaufwands. Während statisches Pruning Parameter dauerhaft entfernt, bietet dynamisches Pruning (das Überspringen von Berechnungen basierend auf der Eingabe) eine flexible Alternative. Bestehende trainingsfreie Methoden für dynamisches Pruning bei Feedforward-Netzwerken (FFNs) verlassen sich jedoch ausschließlich auf aus dem Prompt abgeleitete Signale (lokale Aktivierungen während der Prefill-Phase), um die Wichtigkeit von Neuronen zu schätzen.

Die Autoren identifizieren einen kritischen Fehlermodus in diesen „nur-Prompt"-Ansätzen:

Unzuverlässigkeit bei kurzen Prompts: Bei kurzen Prompts ist das lokale Aktivierungssignal unzureichend, um genau vorherzusagen, welche Neuronen für die nachfolgende Generierung langer Texte kritisch sind.
Masken-Drift: Aktivierungsmuster während der Decodierungsphase weichen häufig erheblich von der Prefill-Maskierung ab, was zu ungenauen Pruning-Masken führt.
Verminderte Fidelity: Diese Drift führt zu einer schlechten Generierungsqualität (hohe Perplexität und KL-Divergenz) während der Decodierung langer Texte, insbesondere wenn der Prompt kurz ist.

Das Online-Aktualisieren von Masken zur Korrektur dieser Drift ist möglich, führt jedoch zu einem Rechenaufwand und hebt die Vorteile auf, einen festen, kompakten Teil der Gewichte im schnellen Speicher vorzuhalten (ein entscheidender Vorteil für das Edge-Deployment).

2. Methodik: GLASS

Die Autoren schlagen GLASS (Global-Local Aggregation for Sparsification) vor, ein Plug-and-Play-Framework ohne Training, das dynamisches FFN-Pruning stabilisiert, indem es zwei komplementäre Ansichten der Neuronenkritikalität aggregiert: lokale prompt-spezifische Aktivierungen und einen globalen, modellintrinsicen Prior.

2.1 Schätzung des globalen Priors via Null-Prompt Stimulation (NPS)

Anstatt sich auf externe Datensätze (z. B. Wikipedia) zu verlassen, die Korpus-Bias einführen können, berechnet GLASS einen globalen Prior mittels Null-Prompt Stimulation (NPS).

Mechanismus: Das Modell generiert Text aus sich selbst unter Verwendung eines Null-Prompts (z. B. eine leere Zeichenkette oder ein BOS-Token) unter typischen Sampling-Einstellungen.
Vorteil: Dies untersucht die intrinsische Neuronennutzung des Modells ohne Bias durch externe Daten.
Zwei Varianten der globalen Wichtigkeit ( $M^g$ ):
1. A-GLASS (Aktivierungsstärke): Berechnet die durchschnittliche $\ell_2$ -normalisierte Aktivierungsstärke der Neuronen über die NPS-Sequenzen.
2. I-GLASS (Neuronale Auswirkung): Berechnet die Auswirkung des Entfernens eines Neurons auf den Cross-Entropy-Verlust unter Verwendung einer Taylor-Entwicklung erster Ordnung (ähnlich wie Taylor-Pruning). Gradienten werden via Teacher-Forcing auf der selbstgenerierten NPS-Sequenz berechnet.

2.2 Rang-Aggregation

GLASS fusioniert das lokale Signal ( $A^l$ , abgeleitet vom Eingabeprompt) und das globale Signal ( $M^g$ , abgeleitet aus NPS) unter Verwendung einer gewichteten Rang-Aggregationsregel.

Ranking: Sowohl lokale als auch globale Wichtigkeitsscores werden in Ränge ( $R^{(l)}$ und $R^{(g)}$ ) umgewandelt, um Unterschiede in Skalierung und Verteilung zu handhaben.
Probabilistische Interpretation: Die Autoren interpretieren GLASS als Finden des Maximum-A-Posteriori (MAP)-Konsens-Rankings unter einem permutationsbasierten probabilistischen Modell (speziell ein Mallows-artiges Modell mit quadratischer Spearman-Rangdistanz).
Fusionsformel: Der endgültige Score für Neuron $j$ ist eine gewichtete Summe seiner Ränge:
$GLASS_j = (1 - \lambda)R^{(l)}_j + \lambda R^{(g)}_j$
Dabei balanciert $\lambda$ die Zuverlässigkeit lokaler versus globaler Evidenz. Die Standardeinstellung ist $\lambda = 0.5$ , unter der Annahme gleicher Zuverlässigkeit.
Auswahl: Die Top- $k$ -Neuronen mit den höchsten GLASS-Scores werden ausgewählt, um die Pruning-Maske zu bilden, die dann während der Decodierungsphase angewendet wird.

3. Hauptbeiträge

Die Arbeit skizziert vier primäre Beiträge:

Identifikation von Fehlermodi: Die Autoren zeigen, dass prompt-only trainingsfreie Sparsifikation in Szenarien mit kurzen Prompts und langen Generierungen aufgrund von Aktivierungsdrift versagt, was zu einer verschlechterten Generierungsqualität führt.
GLASS-Framework: Einführung eines Plug-and-Play-Frameworks ohne Training, das lokale Prompt-Evidenz mit einem globalen, modellintrinsicen Prior (berechnet via NPS) fusioniert, um robuste Masken zu erzeugen.
Theoretische Grundlage: Eine probabilistische Interpretation von GLASS als MAP-Konsens-Ranking unter einem Mallows-artigen Modell, die eine fundierte Begründung für die gewichtete Rang-Aggregationsregel liefert.
Empirische Leistung: Demonstration erheblicher Verbesserungen gegenüber vorherigen trainingsfreien Baselines (speziell GRIFFIN) in herausfordernden Szenarien, mit bis zu 45,10 % niedrigerer Perplexität und 25,73 % niedrigerer KL-Divergenz bei 50 % Sparsität, neben signifikanten Geschwindigkeitssteigerungen auf dem Gerät.

4. Experimentelle Ergebnisse

Die Autoren evaluierten GLASS an einer Vielzahl von Open-Source-LLMs (einschließlich der Familien Gemma, Llama, Mistral, OPT, Qwen und Phi) über Klassifizierungs-, Kurzgenerierungs- und Langgenerierungs-Benchmarks hinweg.

Langform-Generierung (Alpaca-Benchmark): GLASS übertrifft die stärkste trainingsfreie Baseline (GRIFFIN) signifikant.
- Gemma 3n E2B: Erzielte 45,10 % niedrigere Perplexität und 25,73 % niedrigere KL-Divergenz im Vergleich zu GRIFFIN.
- Gemma 2 27B: Erzielte 12,48 % niedrigere Perplexität und 22,80 % niedrigere KL-Divergenz.
- Llama 3 8B: Erzielte 23,28 % niedrigere Perplexität und 21,98 % niedrigere KL-Divergenz.
Kurzform und Klassifizierung: GLASS schneidet bei Standard-Klassifizierungs- und Kurzgenerierungsaufgaben vergleichbar mit GRIFFIN ab, was darauf hindeutet, dass der globale Prior für die Stabilität bei langen Generierungen am kritischsten ist.
Oracle-Überlappungsanalyse: Experimente zeigen, dass die Global-Local-Aggregation Masken erzeugt, die signifikant näher an einer „Oracle"-Menge kritischer Neuronen liegen (Jaccard-Ähnlichkeit stieg von ~0,52 auf ~0,60) im Vergleich zur alleinigen Nutzung lokaler oder globaler Signale.
NPS vs. WikiText: Die Verwendung von NPS zur Schätzung des globalen Priors übertrifft konsistent die Verwendung von WikiText-basierten Statistiken, was bestätigt, dass NPS zuverlässigere, bias-freie Wichtigkeitsschätzungen liefert.
Geräteleistung: Evaluiert auf einem Samsung Galaxy S25 Ultra.
- Für Gemma 7B ermöglichte die 50%ige FFN-Reduktion, dass das Modell vollständig im RAM reside, was eine ~11-fache Beschleunigung der Decodierung im Vergleich zur dichten Baseline (die unter Memory-Swapping litt) ergab.
- Für Llama 3 8B wurde eine 42%ige Beschleunigung beobachtet.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass GLASS zuverlässige Geschwindigkeitssteigerungen für Edge-Geräte freischaltet, insbesondere für Workloads, die durch kurze Prompts und lange Generierungen gekennzeichnet sind, was in Verbraucheranwendungen üblich ist.

Robustheit: Durch die Fusion stabiler, modellintrinsicer globaler Kenntnisse mit kontextspezifischen lokalen Evidenzen mildert GLASS das „Drift"-Problem, das prompt-only-Methoden plagt.
Effizienz: Es bewahrt die Vorteile statischer Masken (feste Gewichtsresidenz im schnellen Speicher), passt sich gleichzeitig dynamisch an Eingabekontexte an, ohne den Overhead des Trainings zusätzlicher Prädiktoren oder der Neuberechnung von Masken pro Token.
Allgemeingültigkeit: Die Methode ist modellagnostisch und trainingsfrei, was sie auf eine breite Palette vortrainierter LLMs ohne Feinabstimmung anwendbar macht.
Theoretische Fundiertheit: Die Methode ist kein ad-hoc-Heuristikum, sondern basiert auf einem probabilistischen Konsens-Ranking-Modell.

Die Autoren schließen, dass modellintrinsic globales Wissen eine entscheidende, bisher untergenutzte Ressource zur Verbesserung prompt-getriebener Sparsifikation ist, die eine effiziente Inferenz auf ressourcenbeschränkter Hardware ermöglicht.