CRISP: Compressing Redundancy in Chain-of-Thought via Intrinsic Saliency Pruning

` Token als Informatie-Anker**
Het paper identificeert een cruciaal fenomeen in de attention-mechanismen van redenerende modellen:

• De token die de redeneerfase afsluit (</think>) fungeert als een informatie-anker.
• Analyse van de attention-kaarten toont aan dat in diepere lagen van het model, de aandacht van de </think>-token zich concentreert op de eerdere redeneerstappen die essentieel zijn voor het eindantwoord.
• Stappen met een hoge attention-score vanuit de </think>-token bevatten kritieke informatie, terwijl stappen met een lage score vaak redundantie vertegenwoordigen.

2. Het Compressieproces

CRISP vormt de compressie van CoT om tot een zoekprobleem dat wordt gestuurd door deze intrinsieke signalen. Het proces verloopt in drie fasen:

• Fase 1: Generatie van de Originele CoT
  Het model genereert een volledige, gedetailleerde redeneerketen ($R_{orig}$) voor een gegeven vraag.

• Fase 2: Zoeken naar Kritieke Redeneerpaden (Greedy Search)
  De originele keten wordt opgesplitst in discrete stappen. Voor elke stap wordt een saliëntie-score ($S_i$) berekend op basis van de attention-weights van de </think>-token naar die stap.
  Een zoekalgoritme past vier atomische operatoren toe om de keten te transformeren:

  • KEEP: Behoud de stap (voor hoge salientie).
  • PRUNE: Verwijder de stap (voor lage salientie/redundantie).
  • REWRITE: Herschrijf de stap om deze beknopter te maken (voor gemiddelde salientie).
  • FUSE: Voeg twee semantisch vergelijkbare stappen samen.

  De keuze voor een operatie wordt gemaximaliseerd door een beloningsfunctie (Reward Function) die een balans zoekt tussen:

  1. De waarschijnlijkheid dat het model het juiste antwoord geeft (log-likelihood).
  2. De lengte van de gegenereerde sequentie (token-kost).

• Fase 3: Refinement (Verfijning)
  Omdat de zoekoperaties (zoals PRUNE en FUSE) de tekst kunnen fragmenteren, wordt een extra LLM (een "refiner") gebruikt. Deze leest de originele CoT, de gecomprimeerde "skelet"-keten en de vraag, en produceert een coherente, vloeiende en logisch intacte gecomprimeerde keten ($R_{CRISP}$). Dit herstelt de syntactische en semantische samenhang zonder de logische kern te verliezen.

• Fase 4: Fine-tuning
  Het doelmodel wordt getraind op deze verfijnde, gecomprimeerde data. Een speciaal controletoken (<|compressed|>) wordt gebruikt om het model tijdens inferentie aan te sturen om compacte redeneringen te genereren.

Belangrijkste Bijdragen

1. Intrinsieke Saliëntie-indicator: Het paper bewijst dat de attention-weights van de </think>-token een betrouwbare, interne indicator zijn voor de belangrijkheid van redeneerstappen, waardoor externe compressoren overbodig worden.
2. CRISP Framework: Een nieuw raamwerk dat CoT-compressie optimaliseert via een greedy search met vier atomische operatoren (FUSE, PRUNE, REWRITE, KEEP), geleid door intrinsieke signalen.
3. Superieure Trade-off: Demonstratie dat CRISP een betere balans bereikt tussen efficiëntie en nauwkeurigheid dan bestaande methoden, met name door het gebruik van de refinement-stap om logische coherentie te behouden.

Resultaten

De methode is getest op DeepSeek-R1-Distill-Qwen modellen (1.5B en 7B) op wiskundige benchmarks (GSM8K, MATH-500, AMC23).

• Token-Reductie: CRISP bereikt een reductie van 50-60% in het aantal tokens vergeleken met de originele lange redeneringen.
• Nauwkeurigheid: De nauwkeurigheid blijft behouden of verbetert zelfs lichtjes. Op de 7B-modellen behaalde CRISP bijvoorbeeld een gemiddelde nauwkeurigheid van 83,9% (tegenover 83,6% voor het origineel) met een token-verbruik van slechts 1235 tokens (tegenover 2971).
• Token Efficiency (TE): De "Token Efficiency" (nauwkeurigheid gedeeld door token-lengte) steeg aanzienlijk. Bijvoorbeeld, op de 7B-modellen steeg de TE van 2,81 naar 6,80.
• Vergelijking met Baselines: CRISP presteert aanzienlijk beter dan methoden zoals Truncation, Chain-of-Draft (CoD), TALE, TokenSkip en A-Thought*, die vaak inleveren op nauwkeurigheid of minder efficiënt zijn.
• Ablatie-studies: De studie toont aan dat de "Refinement"-stap cruciaal is; zonder deze stap daalt de nauwkeurigheid significant door logische breuken, terwijl de token-efficiëntie wel hoog blijft.

Betekenis en Impact

CRISP biedt een schaalbare oplossing voor het efficiënt inzetten van redenerende LLM's in omgevingen met beperkte resources. Door in te spelen op de interne "gedachten" van het model in plaats van externe heuristieken, kan het model "overdenken" (overthinking) worden tegengegaan zonder de intelligentie te verliezen. Dit maakt het mogelijk om complexe redeneertaken uit te voeren met een fractie van de huidige rekenkosten, wat essentieel is voor de praktische implementatie van geavanceerde AI-systemen. De auteurs hebben hun implementatie open-source gemaakt om verdere research te faciliteren.