Stellen Sie sich vor, Sie versuchen, ein massives, hyperintelligentes Robotergehirn auf einem kleinen, batteriebetriebenen Gerät laufen zu lassen. Dieses Gehirn, bekannt als Large Language Model (LLM), ist unglaublich gut darin, Geschichten zu schreiben, mathematische Probleme zu lösen und zu chatten, aber es ist auch unglaublich hungrig. Es verschlingt Speicher und Rechenleistung, nur um über das nächste Wort in einem Satz nachzudenken. Um diese Roboter schneller und weniger „durstig“ zu machen, versuchen Wissenschaftler, ihnen beizubringen, Teile ihres Denkprozesses zu „überspringen“, die nicht wichtig sind. Dies wird als Aktivierungs-Sparsity (Aktivierungs-Dünnbesetztheit) bezeichnet. Stellen Sie sich das wie einen Koch vor, der, anstatt jedes einzelne Gemüse in der Küche für eine Suppe zu hacken, schnell die Zutaten probiert und nur diejenigen hackt, die tatsächlich Geschmack hinzufügen, während der Rest unberührt bleibt. Das Ziel ist die gleiche köstliche Suppe (die richtige Antwort), aber mit viel weniger Arbeit. Das Schwierige dabei ist jedoch herauszufinden, welches Gemüse man überspringen darf, ohne versehentlich das geheime Gewürz wegzuwerfen, das das Gericht erst richtig macht. Wenn man falsch rät, schmeckt die Suppe fad oder, schlimmer noch, ungenießbar.

Dies ist das Rätsel, das mit einer neuen Methode namens Prox gelöst wurde, entwickelt von den Forschern Jinyi Liu und seinem Team. Sie konzentrierten sich auf eine spezifische Architektur von Robotergehirnen namens SwiGLU, die der aktuelle Standard für viele leistungsstarke KI-Modelle ist. Die Forscher entdeckten, dass der „mittlere Gedanke“ (ein Zwischenzustand) des Gehirns die perfekte Karte für die Entscheidung darüber enthält, was zu überspringen ist – allerdings ist die exakte Berechnung dieser Karte zu langsam und zu teuer. Also entwickelten sie einen cleveren zweistufigen Trick. Zuerst nutzen sie einen schnellen, qualitativ minderwertigen „ersten Entwurf“ des Gedankens des Gehirns, um schnell zu entscheiden, welche Teile wichtig sind. Und dann, das ist der entscheidende Punkt, führen sie die schwere, präzise Mathematik nur für diese spezifischen, wichtigen Teile durch und ignorieren den Rest vollständig. Ihre Experimente zeigten, dass diese Methode viel besser ist als bisherige Tricks, die versuchten, die Wichtigkeit zu erraten, ohne vorher die volle Mathematik durchzuführen. In Tests über zehn verschiedene KI-Modelle hinweg konnte Prox das Denken des Roboters um fast das Doppelte beschleunigen (bis zu 1,99-mal schneller), während die Antworten genauso intelligent blieben wie bei der langsamen, Vollgeschwindigkeitsversion. Es ist, als hätte man einen super schnellen Kundschafter, der vorausläuft, um den Weg zu markieren, sodass die Hauptarmee nur auf den sicheren, gepflasterten Straßen marschieren muss, was Zeit und Energie spart, ohne sich zu verlaufen.

Das Problem: Das schwere Mittagessen des Roboters

Large Language Models sind wie riesige Bibliotheken des Wissens, aber sie sind auch sehr schwerfällig. Wenn sie versuchen, eine Frage zu beantworten, müssen sie eine massive Menge an Daten in ihrem Speicher bewegen. Ein großer Teil dieses Verkehrs kommt aus einem spezifischen Teil des Gehirns, der sogenannten Feed-Forward Network (FFN). Man kann sich das FFN als den Teil des Gehirns vorstellen, der eine Idee aufnimmt, sie verarbeitet und dann weitergibt. In modernen Modellen verwendet dieser Teil ein spezielles Rezept namens SwiGLU, das drei verschiedene mathematische Operationen (Projektionen) beinhaltet, die zusammenarbeiten.

Das Problem ist, dass diese drei Operationen so schwerfällig sind, dass sie alles verlangsamen. Wissenschaftler haben versucht, dies zu beheben, indem sie das Modell „sparse“ (dünnbesetzt) machen, was bedeutet, dass sie versuchen, die Mathematik für Teile des Gehirns zu überspringen, die unwichtig erscheinen. Bestehende Methoden, um dies zu tun, ohne das Modell neu zu trainieren (was ewig dauert), haben jedoch einen Fehler. Sie raten oft, welche Teile zu überspringen sind, basierend auf nur einer Information, etwa indem sie nur auf den „Gate“-Teil oder nur auf den „Up“-Teil des Rezepts schauen. Das ist so, als würde man versuchen zu entscheiden, ob ein Lied gut ist, indem man nur den Schlagzeuger oder nur den Gesang hört. Wenn man falsch rät, überspringt man eine entscheidende Note, und das Lied (oder die Antwort der KI) bricht zusammen. Wenn die Forscher versuchten, immer mehr Teile zu überspringen, um schneller zu werden, sank die Qualität der Antworten signifikant.

Die Erkenntnis: Die Karte vs. Die Reise

Die Forscher unter der Leitung von Jinyi Liu bemerkten etwas Interessantes an dem SwiGLU-Rezept. Es gibt einen spezifischen Moment im Prozess, den man den Zwischenzustand (intermediate state) nennt (nennen wir ihn den „mittleren Gedanken“). Dieser mittlere Gedanke ist das perfekte Signal, um zu entscheiden, welche Teile des Gehirns man behält und welche man überspringt. Wenn man diesen mittleren Gedanken exakt sehen könnte, könnte man bis zu 70 % der Arbeit überspringen und dennoch eine perfekte Antwort erhalten.

Aber hier ist der Haken: Um diesen mittleren Gedanken exakt zu sehen, muss man zuerst die gesamte schwere Mathematik durchführen. Das ist so, als müsste man das ganze Rennen laufen, um die Ziellinie zu sehen. Das macht den Versuch, Zeit zu sparen, zunichte.

Das Team stellte fest, dass sie nicht den exakten Wert des mittleren Gedankens benötigten. Sie mussten nur die Reihenfolge der Wichtigkeit kennen. Sie mussten wissen, welche Teile die „großen“ und welche die „kleinen“ sind, nicht die exakten Zahlen. Dies ist der Unterschied zwischen dem Wissen, wie viele Dollar genau in deiner Brieftasche sind, und dem bloßen Wissen, welche Scheine die größten sind. Wenn man die Reihenfolge korrekt errät, kann man die richtigen Dinge auswählen, die man behält.

Die Lösung: Ders zwei-stufige Trick von Prox

Um dies zu lösen, erschuf das Team Prox, ein zweistufiges Framework, das wie ein kluger Kundschafter und ein präziser Baumeister fungiert.

Stufe 1: Der schnelle Kundschafter (Proxy-Konstruktion)
In der ersten Stufe nutzt Prox eine „billige“ Version der Mathematik. Es nimmt den Input und führt ihn durch eine vereinfachte, qualitativ minderwertigere Version des Gehirns (unter Verwendung von quantisierten Gewichten, die wie komprimierte, kleinere Zahlen funktionieren). Es versucht nicht, die perfekte Antwort zu finden; es will nur eine grobe Vorstellung davon bekommen, welche Kanäle laut und welche leise sind. Es erstellt eine „Maske“, was im Grunde eine Liste von „Behalten“- und „Verwerfen“-Tags ist. Da diese Stufe eine vereinfachte Mathematik verwendet, ist sie sehr schnell und benötigt nicht viel Speicher. Entscheidend ist, dass die Fehler in dieser groben Berechnung das Endergebnis nicht ruinieren, da die groben Zahlen niemals für die endgültige Ausgabe verwendet werden – sie dienen nur dazu, die Liste zu erstellen.

Stufe 2: Der präzise Baumeister (Exakte Sparse-Berechnung)
Sobald die Liste erstellt ist, setzt die zweite Stufe ein. Hier geschieht die eigentliche Magie. Das Modell schaut auf die Liste aus Stufe 1 und sagt: „Okay, wir werden 70 % der Arbeit ignorieren und nur die Mathematik für die obersten 30 % durchführen.“ Aber hier liegt der Unterschied zu anderen Methoden: Für diese obersten 30 % nutzt Prox die ursprüngliche, hochpräzise, schwere Mathematik. Es berechnet die exakten Werte für die wichtigen Teile. Dies stellt sicher, dass die endgültige Antwort genauso genau ist, als hätte das Modell die gesamte Arbeit erledigt, aber es hat die Arbeit nur für die Teile erledigt, die wirklich zählen.

Warum es besser funktioniert

Die Forscher testeten Prox auf zehn verschiedenen großen Sprachmodellen, darunter populäre Modelle wie Qwen, Mistral und Llama-3. Sie verglichen es mit anderen Methoden, die versuchen, Arbeit zu überspringen, ohne das Modell neu zu trainieren.

Die Ergebnisse waren eindeutig: Prox war der Gewinner. Bei hohem Grad an Überspringen (wie 70 % Sparsity) begannen andere Methoden Fehler zu machen, und die Antworten der KI wurden schlechter. Prox hingegen hielt die Antworten scharf. Tatsächlich konnte Prox bei 70 % Sparsity den Dekodierungsprozess (die Geschwindigkeit, mit der die KI Text generiert) auf einer Standard-Grafikkarte um bis zu 1,99-mal beschleunigen. Das bedeutet, die KI kann fast doppelt so schnell sprechen, ohne ihre Intelligenz zu verlieren.

Das Team prüfte auch, ob diese neue Methode kaputtgehen würde, wenn man sie mit anderen Beschleunigungs-Tricks kombiniert, wie etwa der Verkleinerung der Zahlen (Quantisierung) oder dem Überspringen von Teilen des Attention-Mechanismus. Sie fanden heraus, dass Prox perfekt mit diesen anderen Methoden zusammenarbeitet, wie ein universeller Adapter, der in jede Konfiguration passt.

Das Fazit

Das Paper kommt zu dem Schluss, dass Prox ein leistungsstarker, trainingsfreier Weg ist, um KI schneller zu machen. Es beweist, dass man ein riesiges Modell nicht neu trainieren muss, um es effizient zu machen. Stattdessen kann man einen cleveren zweistufigen Prozess nutzen: Verwende eine schnelle, grobe Schätzung, um die wichtigen Teile zu finden, und erledige dann die schwere Arbeit nur für diese Teile. Dieser Ansatz vermeidet das „Ratespiel“, das andere Methoden scheitern ließ, und stellt sicher, dass das Robotergehirn schnell und intelligent bleibt, selbst wenn es auf einem kleinen Gerät läuft. Während die aktuelle Version am besten für Einzelnutzer-Gespräche geeignet ist (wie das Chatten auf einem Telefon), deuten die Forscher darauf, dass diese Idee mit etwas weiterer Arbeit eventuell auch helfen könnte, selbst noch größere Gruppen von Nutzern effizient zu bedienen. Für den Moment ist es ein bedeutender Schritt nach vorn, um KI schneller zu machen, ohne ihre Intelligenz zu opfern.