💬 NLP

Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps

Das Papier stellt RTPurbo vor, eine Methode, die die inhärente Sparsity von Full-Attention-LLMs nutzt, um sie mit minimalem Training effizient in hochgradig sparse Architekturen zu überführen, und dabei nahezu verlustfreie Genauigkeit sowie erhebliche Beschleunigungen bei der Inferenz in langen Kontexten erreicht, ohne dass ein teures natives sparse Pretraining erforderlich ist.

Ursprüngliche Autoren: Yanke Zhou, Yiduo Li, Hanlin Tang, Maohua Li, Kan Liu, Lan Tao, Lin Qu, Yuan Yao, Xiaoxing Ma

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yanke Zhou, Yiduo Li, Hanlin Tang, Maohua Li, Kan Liu, Lan Tao, Lin Qu, Yuan Yao, Xiaoxing Ma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als eine brillante, aber überforderte Bibliothekarin vor, die versucht, eine Frage zu beantworten, die auf einer Bibliothek mit einer Million Büchern (dem „Kontext") basiert.

Traditionell muss diese Bibliothekarin, um die Antwort zu finden, jede einzelne Seite jedes Buches lesen, um sicherzustellen, dass sie kein entscheidendes Detail übersieht. Dies wird als „Full Attention" (Vollständige Aufmerksamkeit) bezeichnet. Obwohl dies genau ist, ist es unglaublich langsam und teuer, ähnlich wie der Versuch, eine Million Bücher zu lesen, nur um einen bestimmten Satz zu finden.

Die Arbeit stellt eine neue Methode namens RTPurbo vor, die wie eine „intelligente Operation" für diese Bibliothekarin wirkt. Sie beweist, dass die Bibliothekarin bereits von Natur aus gut darin war, den Großteil der Bücher zu ignorieren; sie brauchte nur ein wenig Training, um dies offiziell zu tun.

So funktioniert RTPurbo, aufgeschlüsselt in einfache Analogien:

1. Die „Spezialisten"-Bibliothekarinnen (Head-Spezialisierung)

Die Arbeit entdeckte, dass die Bibliothekarin keine einzelne Person ist, die die ganze Arbeit verrichtet. Stattdessen besteht das „Gehirn" aus vielen verschiedenen „Köpfen" (Spezialisten).

Die lokalen Spezialisten: Die meisten dieser Spezialisten interessieren sich nur für die unmittelbare Umgebung (die letzten paar Seiten). Sie müssen nicht die ganze Bibliothek lesen.
Die Such-Spezialisten: Nur eine winzige Gruppe (etwa 15 %) sind die „Detektive", die tatsächlich die ganze Bibliothek nach entfernten Hinweisen durchsuchen müssen.

Die Lösung: RTPurbo sagt den „lokalen Spezialisten", sie sollen aufhören, die ganze Bibliothek zu lesen, und sich stattdessen nur auf ihren unmittelbaren Bereich konzentrieren. Den „Detektiven" sagt es, sie sollen weiter alles lesen, gibt ihnen aber ein spezielles Werkzeug, um schneller zu finden, was sie brauchen.

2. Die „Niedrigauflösende Karte" (Niedrigdimensionale Indizierung)

Selbst für die „Detektive" ist das Lesen jeder einzelnen Seite zu langsam. Die Arbeit fand heraus, dass die Hinweise, nach denen die Detektive suchen, eigentlich recht einfach sind und auf einer winzigen, niedrigauflösenden Karte zusammengefasst werden können.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein bestimmtes Haus in einer riesigen Stadt zu finden. Sie benötigen kein hochauflösendes Foto jedes Ziegels; eine einfache Skizze des Viertels mit 16 Punkten reicht aus, um zu wissen, wo Sie suchen müssen.
Die Lösung: RTPurbo verwendet einen winzigen „16-dimensionalen Indexierer" (die Skizze), um schnell zu identifizieren, welche Seiten relevant sind. Sobald die relevanten Seiten gefunden sind, liest das Modell den vollständigen, hochauflösenden Text nur noch von diesen spezifischen Stellen.

3. Der „Dynamische Eimer" (Adaptive Sparsity)

Ältere Methoden versuchten, eine feste Regel zu verwenden, wie zum Beispiel: „Behalte immer die obersten 4.000 Seiten."

Das Problem: Manchmal benötigt eine Frage 4.000 Seiten zur Beantwortung (ein komplexes Rätsel). Manchmal benötigt sie nur 2 Seiten (eine einfache Tatsache). Eine feste Regel verschwendet entweder Zeit beim Lesen unnützer Seiten oder verpasst entscheidende Informationen.
Die Lösung: RTPurbo verwendet einen „Dynamischen Eimer" (genannt Top-p). Anstatt einer festen Zahl fragt es: „Wie viel Information benötigen wir, um uns zu 90 % sicher zu fühlen?"
- Wenn die Frage einfach ist, bleibt der Eimer klein (hohe Geschwindigkeit).
- Wenn die Frage komplex ist, erweitert sich der Eimer automatisch, um mehr Seiten zu erfassen (hohe Genauigkeit).

Das Ergebnis: Schnell und Genau

Die Autoren testeten dies, indem sie ein Standardmodell, das vollständig trainiert war, dieser „Operation" unterzogen.

Minimales Training: Sie mussten das Modell nicht von Grund auf neu trainieren. Sie benötigten nur etwa 600 Schritte des Trainings (eine winzige Zeitspanne), um das Modell beizubringen, wie es diese neuen Werkzeuge verwendet.
Geschwindigkeit: Das Modell wurde 9,36-mal schneller bei der Verarbeitung langer Dokumente (die „Prefill"-Phase) und 2-mal schneller beim Generieren von Antworten (die „Decode"-Phase).
Genauigkeit: Trotz des Lesens so viel weniger erhielt das Modell fast die gleichen Antworten wie die langsame, vollständig lesende Version. Es verlor nicht seine Intelligenz; es verschwendete einfach keine Zeit mehr mit irrelevanten Seiten.

Zusammenfassung

Die Arbeit behauptet, dass wir kein neues, teures „sparsames" Modell von Grund auf neu bauen müssen. Wir können ein Standardmodell mit großer Leistung nehmen und es einfach lehren, selektiv zu sein. Indem wir identifizieren, welche Teile des Gehirns die ganze Bibliothek durchsuchen müssen, und ihnen einen intelligenten, flexiblen Weg geben, Hinweise zu finden, erhalten wir die Geschwindigkeit einer Abkürzung mit der Genauigkeit einer Vollsuche.

Technische Zusammenfassung: Full Attention Strikes Back: Übertragung von Full Attention in Sparse innerhalb von hundert Trainingsschritten

Problemstellung

Die Inferenz mit langen Kontexten in Large Language Models (LLMs) wird derzeit durch die quadratischen Rechen- und Speicherkosten, die mit Full-Attention-Mechanismen verbunden sind, behindert. Zwar existieren bereits effiziente Alternativen, doch diese stützen sich häufig entweder auf natives Sparse-Training (was teuer ist) oder auf heuristische Token-Eviction-Strategien (die einen Kompromiss zwischen Effizienz, Trainingskosten und Genauigkeit erfordern). Die zentrale Frage, die diese Arbeit adressiert, lautet, ob Full-Attention-Modelle, die bereits trainiert sind, eine intrinsische Sparsamkeit besitzen, die genutzt werden kann, um sie mit minimaler Anpassung in hochsparse Modelle zu verwandeln und damit die hohen Kosten des nativen Sparse-Pretrainings zu vermeiden.

Methodik: RTPurbo

Die Autoren schlagen RTPurbo vor, ein headweises Sparse-Attention-Framework, das darauf ausgelegt ist, Full-Attention-LLMs durch minimale chirurgische Anpassung in effiziente Sparse-Inferenzsysteme zu überführen. Die Methode basiert auf drei Kernbeobachtungen und entsprechenden technischen Komponenten:

1. Head-Spezialisierung und Offline-Kalibrierung

Die Autoren beobachten, dass Attention-Heads in vortrainierten LLMs nicht homogen sind; sie spezialisieren sich in unterschiedliche funktionale Rollen. Insbesondere ist eine kleine Teilmenge von Heads (Retrieval-Heads) für das Abrufen weit entfernter, semantisch relevanter Inhalte verantwortlich, während die Mehrheit (Local-Heads) primär lokale Informationen verarbeitet.

Implementierung: RTPurbo nutzt eine Offline-Kalibrierungsphase, bei der eine leichte Sequenz verwendet wird, in die eine „Nadel" am Anfang und am Ende eingefügt wurde, um Heads basierend auf ihrer Fähigkeit zu bewerten, die frühere Nadel aus der späteren zu retrievalen.
Aktion: Basierend auf diesen Scores werden Heads in eine Retrieval-Menge ( $H_{ret}$ ) und eine lokale Menge ( $H_{loc}$ ) partitioniert. Während der Inferenz verwenden Local-Heads ein gleitendes Fenster mit Attention-Sinks, während Retrieval-Heads während der Prefill-Phase den vollen KV-Cache beibehalten, aber während des Decodierens auf dynamische Sparse-Auswahl umschalten.

2. Low-Dimensionales Token-Indexing für Retrieval

Für Retrieval-Heads besteht die Herausforderung darin, relevante Tokens effizient zu identifizieren, ohne ein volldimensionales Scoring durchzuführen.

Theoretische Erkenntnis: Die Autoren analysieren den Einfluss von Rotary Position Embeddings (RoPE) und stellen fest, dass hochfrequente Komponenten sich mit der Distanz schnell verändern und die Langstreckenaffinität verschlechtern, während niederfrequente Komponenten Retrieval-Signale bewahren.
Implementierung: Ein low-dimensionaler Projektor ( $r \ll d$ , spezifisch 16 Dimensionen) wird auf Query- und Key-Features vor der RoPE-Injektion angewendet. Dies projiziert den hochdimensionalen Raum in einen kompakten Unterraum, in dem die Relevanz geschätzt wird. Dieser Indexer ermöglicht eine effiziente Token-Auswahl mit über 90 % Recall unter Verwendung von nur 16 Dimensionen.

3. Dynamische Top-p-Auswahl vs. Statisches Top-k

Die Autoren argumentieren, dass das erforderliche Token-Budget für Retrieval stark von der Abfrage abhängig ist. Manche Abfragen lösen eine breite Retrieval-Aktion aus (benötigen viele Tokens), während andere hochkonzentriert sind (benötigen wenige).

Implementierung: Anstelle eines festen Top- $k$ -Budgets verwendet RTPurbo einen dynamischen Top- $p$ -Selektor. Er akkumuliert Attention-Masse im low-dimensionalen Raum, bis ein kumulativer Schwellenwert $p$ (z. B. 0,9) erreicht ist. Dies passt das Sparsamkeitsniveau an die spezifische Komplexität der Abfrage an und vermeidet sowohl den Informationsverlust bei kleinem $k$ als auch die verschwendete Rechenleistung bei großem $k$ .

4. Zwei-Stufen-Trainingspipeline

Um die Modellleistung nach der Sparsamkeit wiederherzustellen, nutzt RTPurbo einen leichten Zwei-Stufen-Trainingsprozess:

Stufe 1 (Projektionstraining): Das Backbone-LLM wird eingefroren. Nur die low-dimensionalen Projektionsgewichte für die identifizierten Retrieval-Heads werden trainiert, um die KL-Divergenz zwischen der ursprünglichen Full-Attention-Verteilung und der projizierten low-dimensionalen Verteilung zu minimieren.
Stufe 2 (Selbstdistillation): Das sparse Modell fungiert als Schüler, der lernt, die Next-Token-Vorhersagen des dichten Lehrers nachzuahmen. Entscheidend ist, dass diese Stufe Selbstdistillation (Ausrichtung der Top-10-Logits) verwendet und nicht das standardmäßige überwachtes Fine-Tuning, was den Bedarf an komplexer Datenmischungs-Tuning vermeidet und Overfitting verhindert. Diese Stufe erfordert nur wenige hundert Trainingsschritte (ca. 1M Label-Token).

5. Hardwarebewusste Kernel

Die Autoren implementieren benutzerdefinierte GPU-Kernel, um die dynamische Top- $p$ -Auswahl effizient zu handhaben. Diese Kernel nutzen einen sortenfreien, histogrammbasierten Ansatz für das Thresholding und bandbreitenoptimiertes Sparse-Decoding, um lange Kontexte ohne übermäßigen Speicheraufwand zu verwalten.

Wichtige Ergebnisse

Experimente wurden auf NVIDIA H20-GPUs mit den Modellen Qwen3-Coder-30B-A3B und Qwen3-30B-A3B-Think durchgeführt.

Genauigkeitserhaltung: RTPurbo erzielt nahezu verlustfreie Genauigkeit auf Benchmarks für lange Kontexte (LongBench, RULER) und Reasoning-Aufgaben (AIME, MMLU-PRO).
- Auf RULER bei 64K Kontext erreicht RTPurbo (top-p) einen Durchschnittswert von 90,06 % und übertrifft alle Sparse-Baselines (z. B. Minference bei 65,61 %, FlexPrefill bei 77,77 %) und entspricht der Full-Attention-Baseline (86,23 % bei 64K; beachte jedoch, dass die Baseline bei längeren Längen in einigen Aufgaben signifikant abfällt, während RTPurbo eine hohe Genauigkeit aufrechterhält).
- Auf AIME24/25 entspricht RTPurbo exakt der Full-Attention-Baseline (86,67).
Effizienzgewinne:
- Prefill-Beschleunigung: RTPurbo liefert bei einer Kontextlänge von 1M eine Beschleunigung von bis zu 9,36× im Vergleich zu FlashAttention-2, wobei die Beschleunigung linear mit der Kontextlänge zunimmt (2,83× bei 32K).
- Decode-Beschleunigung: RTPurbo erzielt beim Decodieren bei 1M Kontext eine Beschleunigung von bis zu 2,01×.
- Sparsamkeit: Die Methode erreicht eine hohe Sparsamkeit (bis zu 89,2 % bei 64K und über 97 % bei 512K), während sie eine hohe Attention-Masse (>0,93) beibehält.
Trainings-Effizienz: Der gesamte Anpassungsprozess erfordert nur hunderte von Trainingsschritten (ca. 1M Label-Token), was zeigt, dass natives Sparse-Pretraining für eine effektive Sparse-Inferenz nicht notwendig ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Full-Attention-Modelle intrinsisch sparse sind und mit minimaler Anpassung in hoch effiziente Sparse-Inferenzsysteme verwandelt werden können. Die Bedeutung dieser Arbeit liegt in mehreren Schlüsselpunkten:

Neudefinition des Weges zur Effizienz: Die Autoren hinterfragen die Annahme, dass natives Sparse-Pretraining der einzige Weg zu einer effizienten Inferenz mit langen Kontexten ist. Sie zeigen, dass das standardmäßige Full-Attention-Training weiterhin eine hoch kompetitive Wahl bleibt, da die resultierenden Modelle mit sehr geringen zusätzlichen Kosten nachträglich „verspärst" werden können.
Interpretierbarkeit und minimale Chirurgie: Der Ansatz ist hochgradig interpretierbar und stützt sich auf die natürliche Spezialisierung von Heads (Retrieval vs. lokal) und low-dimensionale Unterräume. Er vermeidet die „Black-Box"-Natur heuristischer Token-Eviction, indem er die Sparsamkeit in den gelernten Attention-Mustern des Modells verankert.
Dynamische Anpassung: Durch den Wechsel von statischen Top- $k$ -Beschränkungen zur dynamischen Top- $p$ -Auswahl bewältigt die Methode effektiv die unterschiedliche Komplexität verschiedener Abfragen, eine Einschränkung, die die Autoren bei bestehenden Festbudget-Ansätzen identifizieren.
Praktikabilität: Die Fähigkeit, nahezu verlustfreie Genauigkeit mit nur wenigen hundert Trainingsschritten und leichten Hardware-Kerneln zu erreichen, legt nahe, dass dieses Paradigma sofort auf bestehende Large-Scale-Modelle anwendbar ist, ohne die prohibitiven Kosten eines kompletten Neutrainings.

Zusammenfassend bietet RTPurbo eine praktische, effiziente und theoretisch fundierte Methode, um das in Standard-Full-Attention-LLMs inhärente Potenzial für Sparse-Inferenz zu erschließen.