When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning

Stellen Sie sich vor, Sie sind der Kapitän eines massiven, hochtechnologischen Raumschiffs namens „Large Language Model“. Dieses Schiff wurde gebaut, um die menschliche Sprache zu verstehen und zu generieren, aber es ist so schwer und komplex, dass es zu langsam ist, um durch die engen Canyons einer realen Anwendung zu fliegen. Um es flugfähig zu machen, müssen Sie „Pruning“ (Beschneidung) durchführen: Dabei werden Teile des Triebwerks sorgfältig entfernt, um es leichter zu machen, ohne dass es abstürzt.

Das Schwierige dabei ist, dass das Schiff nicht nur eine Art von Fracht transportiert; es trägt viele verschiedene Gruppen von Passagieren, wie etwa „allgemeine Reisende“, „Experten für seltenen Code“ oder „Sicherheitsinspektoren“. Wenn Sie einen Teil des Triebwerks herausschneiden, auf den die „Experten für seltenen Code“ angewiesen sind, fliegt das Schiff für alle anderen vielleicht problemlos weiter, aber die Experten bleiben jedoch stranden. Die große Frage in diesem Bereich der Informatik lautet: Wie wissen Sie, welche Teile Sie wegschneiden dürfen, damit jede Gruppe von Passagieren sicher bleibt, selbst wenn Sie nicht jeden einzelnen möglichen Schnitt testen können? Wissenschaftler nutzen „Kompressionsstatistiken“ – mathematische Werte, die versuchen vorherzusagen, welche Teile nutzlos sind. Aber diese Arbeit stellt eine beängstigende Frage: Was ist, wenn der Wert besagt, dass ein Teil sicher weggeschnitten werden kann, er aber tatsächlich das Schiff für eine bestimmte Gruppe von Passagieren zerstört?

Diese Arbeit mit dem Titel „When Compression Scores Cannot Decide“ untersucht die verborgenen Grenzen dieser Vorhersagewerte. Der Autor, unter der Leitung von Andrew Zhang, argumentt, dass ein einzelner, durchschnittlicher Wert wie der Blick auf eine verschwommene Karte ist: Er mag zeigen, dass das Schiff im Allgemeinen in Ordnung ist, aber er verbirgt die Tatsache, dass in einer ganz bestimmten Ecke ein Feuer ausgebrochen ist. Er fand heraus, dass diese Werte oft nicht in der Lage sind, den Worst-Case-Schaden für spezifische Gruppen vorherzusagen. Anstatt sich auf einen einzigen „magischen Wert“ zu verlassen, um zu entscheiden, was man wegschneidet, schlägt das Papier eine neue Strategie vor: Nutzen Sie lokale Hinweise, um eine kurze Liste von Kandidaten zu erstellen, und testen Sie dann diese spezifischen Kandidaten tatsächlich darauf, wie sie für jede einzelne Gruppe abschneiden, bevor Sie den endgültigen Schnitt vornehmen.

Das Problem mit dem „Durchschnittswert“

Stellen Sie sich einen Kompressionswert wie einen Lehrer vor, der eine Klasse bewertet. Wenn der Lehrer nur auf den Klassendurchschnitt schaut, denkt er vielleicht, dass alle großartige Leistungen erbringen. Aber was ist, wenn ein einzelner Schüler kläglich versagt, während alle anderen die Prüfung mit Bravour bestehen? Der Durchschnitt verbirgt das Versagen. In der Welt der KI nutzen Forscher „Pruning-Scores“, um zu entscheiden, welche Neuronen (die winzigen Verarbeitungseinheiten innerhalb der KI) entfernt werden sollen. Diese Werte betrachten oft das „durchschnittliche“ Verhalten der KI über alle ihre Daten hinweg.

Der Autor entdeckte, dass dieser Ansatz gefährlich ist. Er fand einen spezifischen Pruning-Score, der sehr zuverlässig war (mit einer „Split-Half-Reliabilität“ von 0,906, was bedeutet, dass er bei zwei Tests konsistent das gleiche Ergebnis lieferte). Dieser Score sagte voraus, dass ein bestimmter Schnitt die Leistung der KI um 16,1 % verbessern würde. Doch als er den Schnitt tatsächlich durchführte, war das Ergebnis eine Katastrophe: Die KI schnitt um 6,0 % bis 7,7 % schlechter ab als die Kontrollgruppen. Der Score hatte recht bezüglich des Durchschnitts, aber er übersah völlig, dass er das Erlebnis für spezifische Nutzergruppen ruinieren würde.

Die „Informationsgrenze“ und die verborgene Lücke

Um zu erklären, warum dies geschieht, verwendet der Autor das Konzept einer „Informationsgrenze“. Stellen Sie sich vor, Sie versuchen, die Form eines verborgenen Objekts zu erraten, indem Sie auf seinen Schatten schauen. Wenn der Schatten nur ein einfacher Durchschnitt ist, könnten Sie denken, das Objekt sei eine perfekte Kugel. Aber das Objekt könnte tatsächlich ein Würfel sein, der eine scharfe Ecke hat, die auf dem Schatten nicht sichtbar ist.

Das Papier argumentet, dass Standard-Pruning-Methoden nur den „Schatten“ (den gepoolten Durchschnitt) sehen. Sie verpassen die „scharfen Ecken“ (den spezifischen Schaden für einzelne Gruppen). Der Autor nennt die Lücke zwischen dem, was der Score sieht, und dem, was tatsächlich passiert, die „Observation Fiber“. Es ist wie ein nebliges Fenster: Man kann die allgemeine Form erkennen, aber man kann die Details nicht sehen, die am wichtigsten sind.

Er bewies mathematisch, dass man, wenn man nur auf den Durchschnitt schaut, um den Faktor der Anzahl der Gruppen dane liegen könnte. Wenn Sie 4 Gruppen haben, könnte der Worst-Case-Schaden 4-mal schlimmer sein, als der Durchschnitt vermuten lässt. Dies ist ein „konischer Gesetzmäßigkeit“ (conic law), die er hergeleitet hat, welche wie ein physikalisches Gesetz für das AI-Pruning wirkt: Durchschnittsbildung verbirgt immer das Worst-Case-Szenario, es sei denn, man unternimmt etwas Besonderes, um die Gruppen separat zu betrachten.

Die Lösung: Ein zweistufiger Tanz

Wenn der Durchschnittswert also ein Lügner ist, was sollen wir dann tun? Das Papier schlägt einen zweistufigen Prozess vor, den es „Propose“ (Vorschlagen) und „Decide“ (Entscheiden) nennt.

Schritt 1: Propose (Die lokalen Hinweise)
Zuerst nutzen Sie lokale Hinweise, um eine kurze Liste von Kandidaten zu erstellen. In den dichten KI-Modellen (den großen, schweren Modellen) verwendeten sie eine „gruppenaufgelöste diagonale“ Methode (group-resolved diagonal). Dies ist vergleichbar mit dem Prüfen der Triebwerksteile für jede spezifische Gruppe von Passagieren separat, anstatt nur das gesamte Triebwerk zu betrachten. Diese Methode war sehr gut darin, die allgemeine Schwere des Schadens zu erkennen (sie hatte eine Korrelation von 0,9239 mit dem tatsächlichen Worst-Case-Schaden). Sie konnte Ihnen sagen: „Hey, diese Gruppe von Passagieren ist in großer Gefahr, wenn wir diesen Teil herausschneiden.“ Sie konnte jedoch nicht genau sagen, welcher Schnitt unter denjenigen, die okay aussah, der beste war. Sie war gut darin, die Gefahr zu finden, aber schlecht darin, den Gewinner auszuwählen.

Schritt 2: Decide (Der echte Test)
Sobald Sie eine kurze Liste von Kandidaten (ein „endliches Menü“) haben, müssen Sie aufhören zu raten und anfangen zu testen. Der Autor fand heraus, dass man sich nicht auf einen einzelnen Score verlassen kann, um diese Kandidaten zu ranken. Stattdessen müssen Sie die tatsächliche Leistung jedes Kandidaten auf den spezifischen Gruppen messen.

Dies wurde an drei verschiedenen KI-Modellen (Llama, SmolLM3 und Qwen) getestet. Durch die Verwendung eines „zielangepassten“ Ansatzes (target-matched approach) – bei dem sie die tatsächliche Leistung der Kandidaten auf den spezifischen Gruppen gemessen haben, um die es ihnen ging – fanden sie reale Verbesserungen.

• Beim Llama-Modell reduzierten sie die „Worst-Group Perplexity Inflation“ (ein Maß dafür, wie verwirrt die KI wird) um 7,96 %.
• Bei Qwen reduzierten sie sie um 2,80 %.
• Bei SmolLM3 reduzierten sie sie um 2,68 %.

Dies waren keine bloßen Vermutungen; es waren gemessene Verbesserungen, die sich auch bei der Anwendung auf neue, ungesehene Daten bewährten.

Der MoE-Twist: Die geheime Karte des Routers

Das Papier untersuchte auch einen anderen Typ von KI namens „Mixture of Experts“ (MoE). Stellen Sie sich diese Modelle als ein Team von Spezialisten vor. Anstatt eines riesigen Gehirns gibt es viele kleine Experten, und ein „Router“ entscheidet, welchen Experten er für jede Frage nutzt.

In diesem Setup hinterlässt der Router eine „Spur“ oder eine Karte, die zeigt, welche Experten von welchen Gruppen genutzt werden. Der Autor fand heraus, dass diese Karte unglaublich nützlich war. Sie konnte vorhersagen, welchen einzelnen Experten man entfernen sollte, besser als der Zufall (sie traf es 114 von 192 Malen, im Vergleich zu 81 von 192 bei einer Standardmethode).

Dennoch war die Karte, genau wie bei den großen Modellen, nicht perfekt. Sie konnte zwar sagen, welcher einzelne Experte der gefährlichste zum Behalten war, aber sie konnte nicht die beste Kombination von Experten bestimmen, die man entfernen sollte. Um dies zu lösen, mussten sie die vollständigen Kombinationen testen. Als sie dies taten, fanden sie zwei spezifische Schritte, die die Leistung der KI bei den Worst-Case-Gruppen um 13,7 % und 7,2 % verbesserten.

Die wichtigste Erkenntnis

Die zentrale Lehre dieses Papers ist, dass man sich nicht auf eine einzige, durchschnittliche Zahl verlassen darf, um lebenswichtige Entscheidungen für KI-Gruppen zu treffen. Wenn man eine KI bauen möchte, die für alle fair und robust ist, muss man vorsichtiger sein.

1. Lokale Hinweise sind gut, um Gefahr zu erkennen: Nutzen Sie gruppenspezifische Scores, um die großen Risiken zu identifizieren.
2. Aber man muss die Gewinner testen: Sobald Sie eine kurze Liste von Optionen haben, müssen Sie tatsächlich messen, wie sie für die spezifischen Gruppen abschneiden, um die es Ihnen geht.
3. Der „Einheitsansatz“ scheitert: Eine Pruning-Strategie, die für ein Modell oder eine Gruppe funktioniert, kann für eine andere völlig versagen. Der Autor fand heraus, dass „Feinrichtungen“ (fine directions – spezifische Schneidemuster), die für ein Modell funktionierten, nicht für ein anderes funktionierten.

Das Papier kommt zu dem Schluss, dass wir zwar bessere Karten und Listen von Kandidaten erstellen können, die endgültige Entscheidung jedoch immer eine direkte Messung des Ergebnisses erfordert. Man kann sich nicht einfach durch Berechnungen in Sicherheit bringen; man muss das Triebwerk nach jedem Schnitt tatsächlich überprüfen. Dies stellt sicher, dass, wenn Sie mit Ihrem KI-Raumschiff fliegen, keine Gruppe von Passagieren in der Dunkelheit zurückgelassen wird.