💬 NLP

CRISP: Compressing Redundancy in Chain-of-Thought via Intrinsic Saliency Pruning

Das Paper CRISP stellt ein Framework vor, das die Redundanz in Chain-of-Thought-Reasoning durch die Nutzung intrinsischer Aufmerksamkeitsmuster, insbesondere des Terminierungstokens, effektiv komprimiert und dabei eine Tokenreduktion von 50–60 % bei gleichbleibender Genauigkeit erreicht.

Ursprüngliche Autoren: Yangsong Lan, Hongliang Dai, Piji Li

Veröffentlicht 2026-04-21

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yangsong Lan, Hongliang Dai, Piji Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

`), das wie ein Anker oder ein Leuchtturm wirkt.

In den frühen Schichten des Denkens schweift der Blick des Assistenten überall hin.
Aber kurz vor der Antwort konzentriert sich sein gesamter Fokus auf diesen einen „Anker".
Von diesem Anker aus strahlen die wichtigsten Gedanken aus. Alles, was der Anker stark „ansieht", ist wichtig. Alles, was er ignoriert, ist nur unnötiges Gerede.

Die Metapher: Stell dir vor, der Assistent schreibt einen langen Brief. Am Ende klebt er ein Siegel darauf (den Anker). Wenn man sich ansieht, welche Wörter im Brief am meisten mit diesem Siegel verbunden sind, erkennt man sofort: „Ah, diese Sätze sind der Kern der Geschichte. Der Rest ist nur Füllsel."

✂️ Die Lösung: CRISP – Der cleere Schere-Schnitt

Das Team hat ein neues Werkzeug namens CRISP entwickelt. Es funktioniert wie ein sehr cleverer Lektor, der den Text des Assistenten kürzt, ohne den Sinn zu verlieren.

Hier ist, wie CRISP arbeitet, Schritt für Schritt:

Der Scan (Die Intuition): CRISP schaut sich den langen Denkprozess an und nutzt den „Anker", um zu sehen, welche Sätze wirklich wichtig sind und welche nur Platzverschwendung sind.
Die Werkzeuge (Die 4 Aktionen): Anstatt einfach Wörter zu löschen, nutzt CRISP vier magische Werkzeuge:
- Behalten (KEEP): „Das ist wichtig, lass es stehen!"
- Löschen (PRUNE): „Das ist nur Gelaber, weg damit!"
- Zusammenfassen (FUSE): „Du hast das hier und dort gesagt. Mach daraus einen Satz."
- Umformulieren (REWRITE): „Das ist zu langatmig. Sag es kürzer, aber behalte die Bedeutung."
Der Feinschliff (Der Glättungs-Modus): Manchmal sieht der gekürzte Text dann etwas holprig aus, wie ein Puzzle, bei dem die Kanten nicht passen. CRISP nutzt eine zweite KI, um den Text flüssig und natürlich zu machen, ohne wieder unnötig viel hinzuzufügen.
Das Training: Schließlich lernt der Assistent aus diesen gekürzten, perfekten Texten. Er denkt ab jetzt automatisch so effizient.

🚀 Das Ergebnis: Schnell, schlank, schlau

Das Ergebnis ist beeindruckend:

Der Assistent braucht 50–60 % weniger Wörter, um die gleiche Aufgabe zu lösen.
Die Geschwindigkeit ist viel höher (weniger Wartezeit).
Die Genauigkeit bleibt fast gleich (oder wird sogar besser, weil er sich nicht mehr in unnötigen Details verliert).

Vergleich:

Vorher: Der Assistent schreibt einen 10-seitigen Roman, um eine einfache Matheaufgabe zu lösen.
Nachher (mit CRISP): Der Assistent schreibt eine prägnante, klare Zusammenfassung auf einer halben Seite und kommt trotzdem auf das richtige Ergebnis.

Fazit

CRISP ist wie ein intelligenter Redakteur, der das Gehirn einer KI trainiert, „auf den Punkt zu kommen". Es nutzt die eigene Intuition der KI (den Anker), um zu erkennen, was wirklich zählt, und schneidet alles Unnötige weg. Das macht KI schneller, günstiger und effizienter, ohne sie dumm zu machen.

`-Token als Informations-Anker
Durch die Analyse der Aufmerksamkeitsmechanismen (Attention Mechanisms) in Modellen wie DeepSeek-R1-Distill-Qwen stellen die Autoren fest:

Der Token </think>, der den Reasoning-Teil vom finalen Antwortteil trennt, fungiert als semantischer Anker (Information Anchor).
In den tieferen Schichten des Modells konzentriert sich die Aufmerksamkeit des Modells beim Generieren der finalen Antwort stark auf diesen </think>-Token.
Die Aufmerksamkeitsgewichte, die von diesem Token auf die vorherigen Reasoning-Schritte gerichtet sind, dienen als zuverlässiges Maß für die Saliency (Wichtigkeit) dieser Schritte. Schritte mit hoher Aufmerksamkeit sind essenziell; solche mit niedriger Aufmerksamkeit sind redundant.

B. Der CRISP-Prozess

Das Framework besteht aus drei Hauptphasen:

Generierung des Original-CoT: Das Quellmodell generiert eine vollständige, oft redundante Reasoning-Kette ( $R_{orig}$ ).
Suche nach kritischen Reasoning-Pfaden (Greedy Search):
- Die Kette wird in diskrete Schritte zerlegt.
- Jeder Schritt erhält einen Saliency-Score ( $S_i$ ) basierend auf den Aufmerksamkeitsgewichten des </think>-Tokens.
- Ein greedy search Algorithmus wendet vier atomare Operatoren an, gesteuert durch diese Scores und semantische Ähnlichkeit:
  - KEEP: Behält hochrelevante Schritte bei.
  - PRUNE: Entfernt Schritte mit sehr niedrigem Saliency-Score.
  - REWRITE: Führt Schritte mit mittlerem Score um, um sie prägnanter zu machen.
  - FUSE: Verschmilzt semantisch redundante oder aufeinanderfolgende Schritte zu einem einzigen dichten Schritt.
- Die Auswahl der Operatoren wird durch eine Reward-Funktion optimiert, die den Gewinn an Antwort-Wahrscheinlichkeit gegen die Token-Länge abwägt.
Verfeinerung (Refinement): Da die diskreten Operationen zu syntaktischen Brüchen führen können, wird ein separates LLM (Refiner) eingesetzt, um die komprimierte Kette ( $R'$ ) semantisch zu glätten und logische Kohärenz wiederherzustellen, ohne die Informationsdichte zu verlieren. Das Ergebnis ist $R_{CRISP}$ .
Multi-Task Fine-Tuning: Das Zielmodell wird auf den verfeinerten, komprimierten Daten trainiert. Ein spezielles Kontroll-Token (<|compressed|>) signalisiert dem Modell, einen effizienten Reasoning-Pfad zu generieren.

3. Wichtige Beiträge

Intrinsische Saliency-Erkennung: Nachweis, dass die Aufmerksamkeitsverteilung am </think>-Token ein zuverlässiger Indikator für die Wichtigkeit von Reasoning-Schritten ist, was externe Proxy-Modelle überflüssig macht.
CRISP Framework: Entwicklung eines Such-basierten Kompressionsansatzes mit vier atomaren Operatoren (KEEP, PRUNE, REWRITE, FUSE), der logische Integrität bewahrt.
Effizienz-Accuracy-Trade-off: Demonstration, dass CRISP die Token-Anzahl drastisch reduziert, ohne die Genauigkeit zu beeinträchtigen, und sogar die Token-Effizienz (Accuracy pro Token) signifikant steigert.

4. Ergebnisse

Die Methode wurde an den Modellen DeepSeek-R1-Distill-Qwen-1.5B und 7B auf Benchmarks wie GSM8K, MATH-500 und AMC23 evaluiert.

Token-Reduktion: CRISP erreicht eine Reduktion der Token-Anzahl um 50–60 % im Vergleich zum Original-CoT.
Genauigkeit: Die Genauigkeit bleibt auf dem Niveau des Originalmodells oder verbessert sich sogar leicht (z. B. 83,9 % vs. 83,6 % beim 7B-Modell auf dem Durchschnitt aller Benchmarks).
Token-Effizienz (TE): CRISP übertrifft alle Baselines (wie Truncation, CoD, TALE, TokenSkip, A*-Thought) deutlich in der Token-Effizienz. Beim 7B-Modell wurde eine TE von 6,80 erreicht (Original: 2,81).
Ablationsstudie: Der Verfeinerungsschritt (Refinement) ist entscheidend; ohne ihn bricht die Genauigkeit ein, da die logische Kohärenz fehlt.
Ressourcenbeschränkung: Selbst unter strengen Token-Budgets (z. B. 1024 Tokens) behält CRISP die höchste Effizienz und Genauigkeit bei.

5. Bedeutung und Fazit

CRISP adressiert das Problem der „Overthinking"-Phänomene bei Reasoning-Modellen, indem es die internen Signale des Modells nutzt, um Redundanz zu identifizieren und zu entfernen.

Skalierbarkeit: Die Methode bietet einen skalierbaren Weg, um Reasoning-Modelle für ressourcenbeschränkte Umgebungen (z. B. Edge Devices) einsatzfähig zu machen.
Paradigmenwechsel: Statt externe Modelle zur Komprimierung zu nutzen, nutzt CRISP die „Selbstwahrnehmung" des Modells (Attention-Mechanismen), was zu einer besseren Ausrichtung auf die tatsächlichen Reasoning-Dynamiken führt.
Open Source: Die Implementierung wurde veröffentlicht, um die Forschung zu effizientem Reasoning weiter voranzutreiben.

Zusammenfassend zeigt CRISP, dass lange Reasoning-Ketten nicht gleichbedeutend mit besserer Leistung sind; durch intrinsische Saliency-Pruning können kompakte, hochdichte Reasoning-Pfade erzeugt werden, die sowohl schneller als auch genauso präzise sind wie ihre langen Pendants.