🔢 mathematics

LAMP: Look-Ahead Mixed-Precision Inference of Large Language Models

Die Arbeit stellt LAMP vor, eine adaptive Inferenzstrategie mit gemischter Genauigkeit für große Sprachmodelle, die eine kleine Teilmenge von Transformer-Komponenten mit höherer Genauigkeit selektiv neu berechnet, um eine Genauigkeitsverbesserung um bis zu zwei Größenordnungen bei gleichzeitiger Wahrung der Recheneffizienz zu erreichen.

Ursprüngliche Autoren: Stanislav Budzinskiy, Marian Gloser, Tolunay Yilmaz, Ying Hong Tham, Yuanyi Lin, Wenyi Fang, Fan Wu, Philipp Petersen

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Stanislav Budzinskiy, Marian Gloser, Tolunay Yilmaz, Ying Hong Tham, Yuanyi Lin, Wenyi Fang, Fan Wu, Philipp Petersen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten ein massives, hochriskantes Staffellauf. Das Ziel ist es, eine Botschaft so genau wie möglich von der Startlinie zur Ziellinie zu übermitteln. In der Welt der Künstlichen Intelligenz (speziell bei Large Language Models wie GPT-2) ist diese „Botschaft" eine Berechnung, die durch Dutzende von Schichten mathematischer Operationen läuft.

Die Arbeit stellt eine neue Strategie namens LAMP (Look-Ahead Mixed-Precision Inference) vor, um dieses Rennen schneller und energieeffizienter zu gestalten, ohne die Botschaft zu verlieren.

Hier ist die Funktionsweise, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Der „günstige Rechner" versus der „teure Rechner"

Derzeit versuchen KI-Modelle, Energie zu sparen, indem sie für fast alles „günstige Rechner" (Mathematik mit niedriger Genauigkeit) verwenden. Denken Sie daran wie an das Rechnen auf einer Serviette mit einem Bleistift. Es ist schnell und verbraucht wenig Tinte (Energie), neigt aber zu kleinen Fehlern (Rundungsfehlern).

Wenn Sie in einem ersten Schritt einer langen Kette von Berechnungen einen winzigen Fehler machen, kann sich dieser Fehler verstärken, während er die Kette hinunterläuft, und schließlich die endgültige Antwort ruinieren. Normalerweise weisen Ingenieure den Computer an, zur Korrektur für alles „teure Rechner" (Mathematik mit hoher Genauigkeit) zu verwenden, was langsam ist und viel Energie verbraucht.

2. Die Lösung: Die „Look-Ahead"-Strategie

LAMP ändert die Regeln. Anstatt jeden Schritt gleich zu behandeln, agiert es wie ein intelligenter Verkehrsleiter.

Bevor eine Berechnung an den nächsten Schritt weitergegeben wird, „schaut" LAMP voraus, um zu sehen, was dieser nächste Schritt tun wird.

Szenario A: Wenn der nächste Schritt eine „sanfte" Operation ist, die kleine Fehler nicht verschlimmert, sagt LAMP: „Bleiben Sie beim günstigen Rechner. Wir müssen uns keine Sorgen machen."
Szenario B: Wenn der nächste Schritt eine „empfindliche" Operation ist, die einen winzigen Fehler ins Unermessliche vergrößern wird, markiert LAMP dies. Es sagt: „Stopp! Dieser spezifische Teil muss mit dem teuren, hochpräzisen Rechner neu berechnet werden, um sicherzustellen, dass das Endergebnis perfekt ist."

3. Der magische Trick: Wenig Aufwand, großer Gewinn

Der überraschendste Teil der Arbeit ist, wie wenig zusätzlicher Aufwand tatsächlich erforderlich ist.

Die Forscher stellten fest, dass sie nur für einen winzigen Bruchteil der Schritte auf den „teuren Rechner" umschalten müssen (in ihren Tests weniger als 1 %).
Durch diese hohe Selektivität erzielten sie Ergebnisse, die 100-mal genauer waren als die Verwendung von Mathematik mit niedriger Genauigkeit überall, und waren dennoch viel schneller als die Verwendung von Mathematik mit hoher Genauigkeit für alles.

4. Die spezifische Anwendung: Der „Attention"-Mechanismus

Die Arbeit konzentriert sich auf einen spezifischen Teil der KI, der „Attention" genannt wird (wo das Modell entscheidet, welche Wörter in einem Satz wichtig sind).

Stellen Sie sich vor, das Modell versucht zu entscheiden, ob sich das Wort „Bank" auf einen Fluss oder Geld bezieht. Es berechnet Scores für verschiedene Möglichkeiten.
LAMP betrachtet diese Scores. Wenn ein Score sehr niedrig ist (unwahrscheinlich), spielt es keine Rolle, wenn die Mathematik leicht abweicht. Aber wenn ein Score hoch ist oder sehr nahe an einem anderen Score liegt (ein „Kopf-an-Kopf-Rennen"), zwingt LAMP eine Neuberechnung mit hoher Genauigkeit nur für diese spezifischen Vergleiche durch.
Dies stellt sicher, dass das Modell das richtige Wort auswählt, ohne Energie für die zu verschwenden, bei denen es sich bereits sicher ist.

5. Was dies für die Zukunft bedeutet (laut der Arbeit)

Die Autoren betonen sorgfältig, dass dies ein theoretischer Bauplan und ein Proof of Concept ist.

Was sie taten: Sie testeten dies an GPT-2-Modellen und zeigten, dass es mathematisch und numerisch funktioniert.
Was sie nicht taten: Sie bauten noch keinen neuen Computerchip, um dies auszuführen. Sie simulierten es.
Das Ziel: Sie hoffen, dass diese Idee die Entwickler zukünftiger KI-Chips inspirieren wird, Hardware zu bauen, die diese „Mix-and-Match"-Genauigkeit natürlich handhaben kann, wodurch KI auf lokalen Geräten (wie Ihrem Laptop oder Telefon) schneller und günstiger ausgeführt werden kann, ohne riesige Rechenzentren zu benötigen.

Zusammenfassend: LAMP ist ein intelligenter Weg, Energie zu sparen, indem Mathematik mit hoher Genauigkeit nur verwendet wird, wenn es absolut notwendig ist, und Mathematik mit niedriger Genauigkeit überall sonst. Es ist wie die Verwendung eines Mikroskops nur zum Lesen des Kleingedruckten, während Sie für die großen Schlagzeilen Ihr bloßes Auge verwenden.

Technische Zusammenfassung: LAMP (Look-Ahead Mixed-Precision Inference of Large Language Models)

Problemstellung

Aktuelle Mixed-Precision-Inferenzstrategien für Transformer-basierte Large Language Models (LLMs) verlassen sich primär auf eine uniforme Quantisierung der Eingaben und eine hochpräzise Akkumulation der Ausgaben. Obwohl diese Ansätze für Matrixprodukte effektiv sind, behandeln sie das Ergebnis von Zwischenschritten einheitlich und ignorieren die kompositionelle Natur tiefer neuronaler Netze.

Aus Sicht der numerischen Analyse führt die Auswertung im Gleitkommaformat (FP) in jeder Phase zu Rundungsfehlern. Bei tiefen Kompositionen $f(g(x))$ pflanzen sich lokale Rundungsfehler fort und können durch nachfolgende Operatoren verstärkt werden. Bestehende Worst-Case-Fehlerschranken für DNNs wachsen exponentiell mit der Tiefe, doch Standard-Mixed-Precision-Methoden berücksichtigen nicht, welche spezifischen Komponenten eines Zwischenergebnisses für eine Verstärkung durch die folgende Schicht am anfälligsten sind. Die Arbeit identifiziert eine Lücke bei „Mixed-Precision-Akkumulations"-Strategien, die explizit kompositionelle Effekte berücksichtigen und darauf abzielen, die Genauigkeit von Berechnungen zu steuern, anstatt lediglich den Speicherbedarf durch Quantisierung zu reduzieren.

Methodik: Look-Ahead Mixed-Precision (LAMP)

Der Kernbeitrag ist das LAMP-Framework, eine adaptive Strategie, die eine spärliche Teilmenge von Komponenten innerhalb einer Zwischenfunktion $g(x)$ auswählt, um sie mit höherer Genauigkeit neu zu berechnen, während der Rest in niedrigerer Präzision berechnet wird. Diese Auswahl basiert auf einer „Look-Ahead"-Analyse, wie Rundungsfehler in $g(x)$ durch den nachfolgenden Operator $f$ propagiert werden.

Theoretische Grundlage

Die Methode basiert auf einer verfeinerten Rundungsfehleranalyse der Komposition $f(g(x))$ .

Herleitung der Fehlerschranke: Die Autoren leiten eine Schranke für den relativen Fehler der Komposition her. Der Fehler hängt von der Konditionszahl der äußeren Funktion $f$ und den Rundungsfehlern ab, die durch die innere Funktion $g$ eingeführt werden.
Optimierungsformulierung: Das Ziel ist es, die Anzahl der Neu-Berechnungen in hoher Präzision (Sparsität) zu minimieren und gleichzeitig sicherzustellen, dass der propagierte Fehler unterhalb einer Schwelle $\tau$ bleibt. Dies wird als Optimierungsproblem formuliert:
$\min \|q\|_0 \quad \text{s.t.} \quad \kappa(q) \leq \tau$
wobei $q \in \{0, 1\}^n$ ein Binärvektor ist, der angibt, welche Komponenten von $g(x)$ eine höhere Präzision benötigen, und $\kappa(q)$ die komponentenweise oder normweise Konditionszahl der Komposition darstellt.
Geschlossene Lösungen für Transformer: Eine zentrale theoretische Erkenntnis ist, dass das Optimierungsproblem für spezifische Transformer-Nichtlinearitäten geschlossene Lösungen zulässt, was die kombinatorische Schwierigkeit des allgemeinen Falls überwindet:
- Aktivierungsfunktionen: Die Jacobi-Matrix ist diagonal, was die sofortige Identifizierung sensitiver Komponenten ermöglicht.
- Layer Normalization: Die Autoren beweisen, dass eine fast-spärlichste Lösung durch eine gierige Sortierung nach Eingangsgrößen gefunden werden kann.
- Softmax (Attention): Für den Attention-Mechanismus ist der komponentenweise Ansatz bei stark negativen Eingaben instabil. Die Autoren wechseln zu einem normweisen $\ell_1$ -Ziel, das die Verschiebung der gesamten Wahrscheinlichkeitsmasse begrenzt. Die optimale Bedingung für die Neu-Berechnung eines Key-Query (KQ)-Innerprodukts $y_j$ wird hergeleitet als:
  $2z_j(1 - z_j)|y_j| > \tau$
  wobei $z_j$ die resultierende Softmax-Wahrscheinlichkeit ist. Dies impliziert, dass Innerprodukte, die zu „verwirrten" (gleich wahrscheinlichen) Ergebnissen führen oder spezifische Sensitivitätsmuster aufweisen, eine höhere Präzision erfordern.

Implementierungsstrategie

Der LAMP-Algorithmus arbeitet in zwei Stufen:

Basisbewertung: Berechnung von $g(x)$ in niedriger Präzision.
Look-Ahead-Auswahl: Schätzung der Konditionszahl $\kappa$ basierend auf dem Basisergebnis. Lösung des Optimierungsproblems zur Identifizierung der spärlichen Menge von Indizes $q$ , die eine Neu-Berechnung erfordern.
Adaptive Neu-Berechnung: Nur die ausgewählten Komponenten von $g(x)$ werden in höherer Präzision (z. B. FP32) neu berechnet, bevor sie an $f$ übergeben werden.

Hauptbeiträge

Neues Berechnungsframework: Die Arbeit stellt LAMP vor, einen mathematisch fundierten Ansatz für Mixed-Precision-Inferenz, der die Akkumulation von Matrixprodukten basierend auf der Propagation von Kompositionsfehlern adressiert und bestehende Operanden-Quantisierungsstrategien ergänzt.
Theoretische Machbarkeit für Transformer: Die Autoren zeigen, dass sich das komplexe kombinatorische Problem der Auswahl von Komponenten zur Neu-Berechnung für Standard-Transformer-Bausteine (Aktivierungen, Layer-Norm, Softmax) auf geschlossene Lösungen vereinfacht.
Proof of Concept: Die Methode wird numerisch an GPT-2-Modellen validiert, wobei spezifisch die KQ-Innerprodukte im Attention-Mechanismus adressiert werden.

Experimentelle Ergebnisse

Die Autoren evaluierten LAMP an GPT-2 XL unter Verwendung des OpenWebText-Datensatzes und simulierten benutzerdefinierte Gleitkommaformate (PS( $\mu$ )) mit variierenden Mantissen-Breiten ( $\mu$ ).

Genauigkeitsgewinne: Die Methode erzielt Verbesserungen von bis zu zwei Größenordnungen in der Genauigkeit (gemessen durch die Kullback-Leibler-Divergenz gegenüber einem einheitlichen FP32-Referenzwert) bei sehr niedrigen Neu-Berechnungsraten.
- Zum Beispiel reduzierte bei $\mu=4$ (sehr niedrige Präzision) eine Neu-Berechnungsrate von nur 0,3 % die KL-Divergenz um das 12-fache.
- Bei einer Neu-Berechnungsrate von 1,6 % betrug die Reduktion das 83-fache.
- Bei einer Neu-Berechnungsrate von 7,6 % betrug die Reduktion das 385-fache.
Selektivität: Die Ergebnisse bestätigen, dass die adaptive Auswahl entscheidend ist; eine zufällige Neu-Berechnung derselben Anzahl von Komponenten führt zu keiner signifikanten Genauigkeitsverbesserung.
Relaxiertes LAMP: Um die Kompatibilität mit effizienten Inferenzkernen wie FlashAttention (die einen Softmax in einem Durchlauf erfordern) zu gewährleisten, schlagen die Autoren ein „relaxiertes relatives Schwellenwert"-LAMP vor. Diese Variante entfernt die Abhängigkeit von der Normierungskonstante und zeigt nur einen marginalen Leistungsverlust im Vergleich zur „strengen" optimalen Lösung.

Bedeutung und Behauptungen

Die Arbeit positioniert LAMP als Proof of Concept und als theoretische Grundlage und nicht als vollständig eingesetzten Produktionskern.

Ergänzend zur Quantisierung: Die Autoren stellen explizit fest, dass LAMP die Quantisierung nicht ersetzt (es reduziert nicht den Speicherbedarf oder modifiziert Operanden), sondern die Rechengenauigkeit steuert. Es ist darauf ausgelegt, zusammen mit Quantisierungstechniken zu arbeiten.
Hardware-Implikationen: Die aktuellen Experimente simulieren eine Akkumulation in niedriger Präzision. Die Autoren weisen darauf hin, dass aktuelle Hardware die gepackte Akkumulation von Matrixprodukten in niedriger Präzision nicht nativ unterstützt. Daher dient LAMP als „Blueprint" für KI-Beschleuniger der nächsten Generation, die solche Operationen nativ unterstützen könnten.
Einschränkungen:
- Der „strenge" LAMP-Algorithmus für Softmax ist mit dem branchenüblichen FlashAttention inkompatibel, da er die Materialisierung des vollständigen Vektors der Softmax-Wahrscheinlichkeiten erfordert.
- Die Methode wird derzeit an GPT-2-Modellen validiert; obwohl die Autoren argumentieren, dass die numerischen Effekte mit der Modelltiefe und der Konzentration der Wahrscheinlichkeiten skalieren, ist die Validierung an größeren Modellen eine zukünftige Richtung.
- Der Fokus liegt strikt auf der Inferenz; die Anwendung von LAMP auf den Rückwärtspfad (Training) wird als zukünftige Arbeit identifiziert.

Zusammenfassend argumentiert die Arbeit, dass durch die mathematische Analyse, wie Rundungsfehler durch Transformer-Kompositionen propagieren, eine nahezu FP32-Genauigkeit mit signifikant niedrigerer Präzision für den Großteil der Berechnungen erreicht werden kann, sofern eine kleine, adaptiv ausgewählte Teilmenge mit höherer Präzision neu berechnet wird.