🤖 machine learning

HORST: Composing Optimizer Geometries for Sparse Transformer Training

Das Papier stellt HORST vor, einen modularen Optimierer, der nicht-kommutative Operator-Schritte kombiniert, um die Stabilität adaptiver Methoden mit einem $L_1$ -Sparsity-Bias über eine hyperbolische Spiegelabbildung zu vereinen und dabei AdamW beim Training spärlicher Transformer-Modelle in visuellen und sprachlichen Aufgaben deutlich zu übertreffen.

Ursprüngliche Autoren: Tom Jacobs, Rohan Jain, Rebekka Burkholz

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tom Jacobs, Rohan Jain, Rebekka Burkholz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „schwere" KI-Roboter

Stellen Sie sich vor, Sie haben einen massiven, unglaublich intelligenten Roboter (einen Transformer) gebaut. Er kann Geschichten schreiben, Sprachen übersetzen und Bilder erkennen. Doch dieser Roboter ist so schwer und sperrig, dass er nur mit einem riesigen Lagerhaus (enormer Speicherbedarf) und einem gewaltigen Kraftwerk (enorme Rechenkosten) betrieben werden kann.

Um diesen Roboter praktikabel zu machen, wollen wir das Fett abschneiden. Wir wollen die unnötigen Muskeln und Zahnräder (Gewichte) entfernen, damit er leicht und schnell wird. Dies nennt man Verdünnung (Sparsification).

Das Problem ist, dass dieser spezifische Roboter beim Versuch, ihn zu beschneiden, oft auseinanderfällt. Er verliert seine Intelligenz. Warum? Weil der „Trainer", den wir verwenden, um den Roboter zu lehren (der Optimierer), ihn versehentlich zu ausgewogen lehrt.

Die zwei Trainer: Der „Ausgleicher" vs. der „Selektor"

Das Paper argumentiert, dass die Art und Weise, wie wir diese Roboter trainieren, eine versteckte Verzerrung erzeugt. Stellen Sie sich vor, es gibt zwei verschiedene Trainer, die einen Athleten unterrichten:

Der „Ausgleicher"-Trainer (Standard-Optimierer wie AdamW):
- Wie sie arbeiten: Dieser Trainer glaubt, dass für Stabilität und Sicherheit jeder Muskel ungefähr die gleiche Größe haben sollte. Wenn ein Muskel zu groß wird, verkleinert ihn der Trainer; wenn ein anderer zu klein wird, vergrößert er ihn.
- Das Ergebnis: Der Roboter landet mit einem Körper, bei dem jeder Teil leicht aktiv ist. Er ist sehr stabil, aber schwer. Es gibt keine „Null"-Muskeln. Man kann nichts leicht herausschneiden, weil alles ein wenig Arbeit verrichtet.
- Der Begriff des Papers: Dies ist eine $L_\infty$ -Verzerrung (alles gleicht sich aus).
Der „Selektor"-Trainer (Spiegelabstieg / Verdünnungs-Verzerrung):
- Wie sie arbeiten: Dieser Trainer glaubt an Spezialisierung. Er möchte, dass der Roboter ein paar superstarke Muskeln auswählt und den Rest komplett abschaltet. Er zwingt den Roboter, seine gesamte Energie auf ein winziges paar Teile zu konzentrieren.
- Das Ergebnis: Der Roboter wird sehr leicht und verdünnt. Wenn Sie jedoch nur diesen Trainer verwenden, kann der Roboter während des Trainings instabil werden oder abstürzen, weil er zu aggressiv ist.
- Der Begriff des Papers: Dies ist eine $L_1$ -Verzerrung (Konzentration der Masse).

Der Konflikt: Das Standard-KI-Training verwendet den „Ausgleicher", weil er stabil ist. Aber um die KI klein (verdünnt) zu machen, brauchen wir den „Selektor". Man kann die Trainer nicht einfach austauschen; der „Selektor" ist zu riskant für den komplexen Roboter, und der „Ausgleicher" lässt Sie das Fett nicht abschneiden.

Die Lösung: Der „zusammengesetzte" Trainer (HORST)

Die Autoren, Tom Jacobs und sein Team, erkannten, dass man nicht einen Trainer wählen muss. Man kann eine hybride Trainingsroutine erstellen, die beide verwendet, aber in einer sehr spezifischen Reihenfolge.

Sie nennen ihre neue Methode HORST (Hyperbolic Operator for Robust Sparse Training).

Die Analogie: Der Bildhauer und der Meißel
Stellen Sie sich vor, Sie hauen eine Statue aus einem riesigen Marmorblock (dem neuronalen Netzwerk).

Schritt 1 (Der Ausgleicher/Adam): Zuerst verwenden Sie ein breites, flaches Werkzeug, um die rauen Kanten zu glätten und sicherzustellen, dass die Statue aufrecht steht, ohne zu wackeln. Dies hält die Struktur stabil.
Schritt 2 (Der Selektor/Hyperbolischer Spiegel): Unmittelbar nach dem Glätten verwenden Sie einen scharfen, präzisen Meißel, um den überschüssigen Stein wegzuhauen und die Form dünn und verdünnt zu machen.

Das Geheimnis: Die Reihenfolge ist entscheidend!

Wenn Sie zuerst meißeln und dann glätten, füllt das Glättwerkzeug die Löcher, die Sie gerade gemacht haben, wieder auf. Die Verdünnung verschwindet.
Wenn Sie zuerst glätten und dann meißeln, kann der Meißel an der stabilen Form arbeiten und erfolgreich das zusätzliche Gewicht entfernen.

Das Paper beweist mathematisch, dass diese spezifische Reihenfolge (Stabiler Schritt $\rightarrow$ Verdünnungsschritt) es dem Roboter ermöglicht, stabil zu bleiben, während er unglaublich leicht wird.

Was sie fanden (Die Ergebnisse)

Das Team testete diesen neuen „zusammengesetzten Trainer" (HORST) an zwei Arten von Robotern:

Vision Transformer: Roboter, die Bilder betrachten (wie das Erkennen von Katzen oder Autos).
Language Transformer: Roboter, die Text verstehen (wie die, die diese Zusammenfassung schreiben).

Das Ergebnis:

Als sie versuchten, 80 % bis 90 % des Gewichts des Roboters abzuschneiden (ihn sehr verdünnt zu machen), ließ der Standardtrainer (AdamW) den Roboter schrecklich abschneiden. Er vergaß, wie man sieht oder spricht.
Der HORST-Trainer hielt die Leistung des Roboters fast so gut wie bei der vollen, schweren Version, selbst nachdem das meiste Gewicht entfernt worden war.
Einfach ausgedrückt: HORST fand einen Weg, den Roboter winzig zu machen, ohne sein Gehirn zu zerstören.

Zusammenfassung

Das Paper löst ein Rätsel: „Wie machen wir KI-Modelle klein, ohne sie dumm zu machen?"

Alter Weg: Verwenden Sie einen stabilen Trainer, aber er lässt Sie das Modell nicht klein machen.
Neuer Weg (HORST): Kombinieren Sie einen stabilen Trainer mit einem Verdünnungstrainer in der richtigen Reihenfolge.
Ergebnis: Sie erhalten eine leichte, effiziente KI, die auch dann perfekt funktioniert, wenn Sie 90 % ihrer Teile entfernen.

Die Autoren erfanden keine neue Art, die Gewichte zu schneiden (wie beim Beschneiden/Pruning); sie erfanden eine neue Art, das Modell zu trainieren, sodass die Gewichte natürlich geschnitten werden wollen, ohne dass das Modell dabei auseinanderfällt.

Technische Zusammenfassung: HORST: Zusammensetzung von Optimierer-Geometrien für das Training spärlicher Transformer

Problemstellung

Die Verspärung von Transformer-Modellen bleibt eine fundamentale Herausforderung. Während die Netzwerkverspärung (Entfernung redundanter Gewichte) einen vielversprechenden Weg zur Modellkomprimierung und effizienten Inferenz bietet, führt sie bei Transformern konsequent zu erheblichen Leistungseinbußen, insbesondere bei hohen Verspärungsgraden, wo Komprimierung am wertvollsten ist. Im Gegensatz dazu lassen sich Faltungsnetzwerke effektiver verspären.

Die Autoren argumentieren, dass diese Diskrepanz auf den impliziten Bias der während des Trainings verwendeten Optimierer zurückzuführen ist. Standard-Transformer verlassen sich auf adaptive Optimierer wie AdamW, die einen $L_\infty$ -impliziten Bias aufweisen. Dieser Bias fördert Stabilität, indem er die Gewichtsgrößen über alle Parameter ausgleicht, eine Geometrie, die grundlegend im Widerspruch zum für Verspärung erforderlichen $L_1$ -Bias steht, der eine Konzentration der Gewichtsmasse auf eine kleine Teilmenge von Parametern bei gleichzeitiger Reduktion der übrigen auf Null erfordert. Umgekehrt induziert der Standard-Gradientenabstieg (in CNNs verwendet) einen $L_2$ -Bias, und der Koordinatenabstieg (ein $L_1$ -basierter steilster Abstieg) ist theoretisch ideal für Verspärung, aber für große tiefe Netze rechnerisch nicht durchführbar.

Bestehende Versuche, Verspärung durch Spiegelschrittabstieg (z. B. unter Verwendung hyperbolischer Entropie) zu induzieren, scheitern im Transformer-Kontext oft, da sie den Gradienten direkt ersetzen und dabei die durch adaptive Methoden bereitgestellte Stabilität verlieren. Das Kernproblem ist eine geometrische Spannung: Die Stabilität adaptiver Optimierer ( $L_\infty$ ) steht im Konflikt mit den Anforderungen an Verspärung ( $L_1$ ).

Methodik

Die Arbeit schlägt HORST (Hyperbolic Operator for Robust Sparse Training) vor, einen modularen Optimierer, der diese Spannung auflöst, indem er Optimierungsschritte als nicht-kommutative funktionale Operatoren zusammensetzt.

1. Rahmenwerk der Operator-Zusammensetzung

Die Autoren behandeln Optimierungs-Updates als Operatoren, die auf Parametervektoren und Gradienten wirken. Sie identifizieren zwei verschiedene Klassen von Operatoren:

Operatoren des steilsten Abstiegs: Beschränkt und skalierungsinvariant (z. B. Sign-Abstieg, der Adam approximiert). Diese bieten Stabilität, induzieren jedoch einen $L_\infty$ -Bias.
Operatoren des Spiegelschrittabstiegs: Linear, aber im Allgemeinen unbeschränkt. Spezifische Spiegelfunktionen, wie die hyperbolische Entropie-Spiegelfunktion, induzieren einen $L_1$ -Bias, der Verspärung fördert.

2. Nicht-Kommutativität und Reihenfolge der Operationen

Eine zentrale theoretische Erkenntnis ist, dass diese Operator-Klassen nicht-kommutativ sind.

Die Anwendung eines Spiegelschritts gefolgt von einem steilsten Schritt ( $S \circ M$ ) führt dazu, dass der steilste Operator dominiert und den Verspärungsbias effektiv aufhebt.
Die Anwendung eines steilsten Schritts gefolgt von einem Spiegelschritt ( $M \circ S$ ) ermöglicht es der Spiegelfunktion, auf das auf dem Vorzeichen basierende Update einzuwirken, wodurch die Stabilität des steilsten Abstiegs erfolgreich übernommen wird, während gleichzeitig der $L_1$ -Verspärungsbias induziert wird.

3. Der HORST-Algorithmus

HORST setzt die Zusammensetzung $M_R \circ S$ in einem diskreten, praktischen Setting um:

Stabiles Update: Zuerst wird ein Standard-Adaptiv-Update (AdamW) durchgeführt, das die notwendige Stabilität und eine $L_\infty$ -artige Regularisierung bietet.
Induktion der Verspärung: Anschließend wird ein exponentielles Update angewendet, das von der hyperbolischen Entropie-Spiegelfunktion abgeleitet ist. Dieser Schritt reparametrisiert die Gewichte effektiv, um Verspärung zu begünstigen.
Entkoppelte Regularisierung: Der Algorithmus integriert eine entkoppelte Gewichtsdecay und einen zusätzlichen Regularisierungsterm ( $\beta$ ), um den Verspärungsbias weiter zu steuern.

Die Update-Regel ist definiert als:
$\theta_{k+1/2} = \theta_k - \text{Adam}(g(\theta_k), \eta) - \eta \lambda \theta_k$
$\theta_{k+1} = \theta_{k+1/2} \exp\left( -\alpha \cdot \text{sign}(\theta_{k+1/2}) \cdot \text{Adam}(g(\theta_k), \eta) - \eta \beta \right)$
Hierbei steuert $\alpha$ die relative Stärke des Verspärungsbias. Die Einstellung von $\alpha=0$ stellt das Standard-AdamW wieder her.

Hauptbeiträge

Geometrische Dichotomie: Die Arbeit formalisiert die strukturelle Dichotomie zwischen steilstem Abstieg (beschränkt, stabil, $L_\infty$ -Bias) und Spiegelschrittabstieg (linear, unbeschränkt, $L_1$ -Bias) und veranschaulicht, warum keiner von beiden allein für ein robustes Training spärlicher Transformer ausreicht.
Operator-Zusammensetzung: Sie führt die Zusammensetzung von Optimierer-Operatoren als Gestaltungsprinzip ein und beweist, dass die Reihenfolge der Zusammensetzung entscheidend ist. Die spezifische Reihenfolge ( $M \circ S$ ) ermöglicht es dem System, Stabilität von adaptiven Methoden zu erben, während deren impliziter Bias durch einen verspärungsfördernden $L_1$ -Bias überschrieben wird.
Theoretische Garantie: Die Autoren beweisen (Satz 4.7), dass die Zusammensetzung von steilstem Abstieg (bezüglich einer $L_p$ -Norm, $p \ge 2$ ) mit einer hyperbolischen Entropie-Spiegelfunktion dazu führt, dass die Iterierten in Richtung der Lösung eines $L_1$ -Minimierungsproblems konvergieren, wodurch der $L_\infty$ -Bias des Basis-Optimierers effektiv überschrieben wird.
HORST-Optimierer: Sie schlagen HORST vor, einen modularen Optimierer, der nahtlos in Standard-Adaptiv-Methoden (wie AdamW) integriert werden kann und keine zusätzlichen Gradientenauswertungen erfordert, sondern nur ein pro-Parameter-exponentielles Update.

Experimentelle Ergebnisse

Die Autoren bewerten HORST an visuellen und sprachlichen Aufgaben unter Verwendung der AC/DC-Verspärungspipeline (Alternating Compressed/Decompressed).

Vision Transformer (DeiT): Auf ImageNet übertrifft HORST-AdamW AdamW-Baselines bei allen Verspärungsgraden (70 %, 80 %, 90 %) konsistent. Die Verbesserungen sind bei hohen Verspärungsgraden (80–90 %) am ausgeprägtesten, wo die AdamW-Leistung stark nachlässt. Beispielsweise erreicht HORST bei 90 % Verspärung auf DeiT-base eine Genauigkeit von 76,83 % im Vergleich zu 68,86 % für AdamW.
Sprachmodelle (GPT-2 Small): Beim einstufigen, schichtweisen unstrukturierten Magnituden-Pruning auf SlimPajama-6B weisen Modelle, die mit HORST-AdamW trainiert wurden, nach dem Pruning eine signifikant niedrigere Validierungs-Perplexität auf als AdamW und der HAM-Optimierer. Die Lücke vergrößert sich bei höheren Verspärungsgraden.
Vergleich mit HAM: HORST übertrifft HAM (ein vorheriger alternierender Optimierer) auf DeiT-small bei 90 % Verspärung erheblich (70,5 % vs. 60,06 %). Die Autoren führen dies darauf zurück, dass HORST das exponentielle Update mit dem AdamW-Update selbst zusammensetzt, anstatt einen gradientenbasierten exponentiellen Schritt wie HAM anzuwenden.
Gewichtsverteilung: Visualisierungen bestätigen, dass HORST eine Gewichtsverteilung induziert, die scharf um Null konzentriert ist (was auf einen $L_1$ -Bias hindeutet), während AdamW ein breiteres, nahezu gaußförmiges Profil beibehält.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der implizite Bias des Optimierers eine primäre Engstelle für das Training spärlicher Transformer darstellt. Indem sie Optimierungsschritte als zusammensetzbare Operatoren behandeln, zeigen die Autoren, dass es möglich ist, die Stabilität adaptiver Methoden von deren geometrischem Bias zu entkoppeln.

Die Bedeutung von HORST liegt in seiner Fähigkeit:

Das Training von Transformern mit hoher Verspärung zu ermöglichen, ohne die typischerweise mit einer solchen Komprimierung verbundenen schweren Leistungseinbußen.
Ein prinzipielles, modulares Framework für die Entwicklung von Optimierern bereitzustellen, die gleichzeitig widersprüchliche geometrische Anforderungen (Stabilität vs. Verspärung) erfüllen können.
Eine praktische Lösung anzubieten, die einen minimalen rechnerischen Overhead erfordert (keine zusätzlichen Gradientenauswertungen) und sich in bestehende Pipelines für das Training spärlicher Netze integrieren lässt.

Die Autoren schließen, dass zwar die $L_\infty$ -Grenze des steilsten Abstiegs und ihre Interaktion mit Spiegelschritten eine offene theoretische Frage bleibt, das vorgeschlagene Framework jedoch erfolgreich die Lücke zwischen der Stabilität des adaptiven Trainings und der Geometrie spärlicher Lösungen überbrückt.