Technische Samenvatting: Wat overleeft wanneer je een recursieve redeneerder comprimeert voor de edge?

Probleemstelling

Recursieve redeneermodellen, zoals het Tiny Recursive Model (TRM), lossen complexe gestructureerde taken op door iteratief een latente "carry"-toestand (overdrachts-toestand) bij te werken over meerdere recursieve cycli. Hoewel deze modellen competitieve prestaties leveren met relatief weinig parameters (bijv. 6,83M), vereist de implementatie op hulpbronnenbeperkte edge-hardware (bijv. 4–8 MB SRAM) agressieve compressie.

Standaard compressie-intuïties afgeleid van single-pass autoregressieve modellen zijn hier niet van toepassing. Bij conventionele transformers accumuleert kwantiseringsruis over de output-tokens heen. In recursieve modellen accumuleren kwantiseringsfouten echter over $H$ recursieve redeneercycli bij elke update van de carry-toestand. Het onderzoek onderzoekt wat overleeft en wat breekt wanneer deze modellen worden gecomprimeerd onder strikte SRAM-beperkingen, waarbij specifiek de vraag wordt gesteld of standaardtechnieken (kwantisering, pruning, distillatie) globale redeneercapaciteiten behouden of slechts lokale token-voorspelling.

Methodologie

De auteurs voerden een systematische compressiestudie uit over drie taken (ARC-2024, Maze-Hard, Sudoku-Extreme) en twee recursieve architecturen (TRM-Attention en TRM-MLP-Mixing).

1. Compressie-sweep: Ze evalueerden een full-precision sweep (FP32, FP16, INT8, INT4) en variërende recursiedieptes ($H$ en $n_{sup}$).
2. Oplossing voor het geheugenbottleneck: Erkenning dat de puzzel-embedding tabel (99,4 MB) de geheugenvoetafdruk domineerde (79% van de 126 MB baseline), koppelden ze dit los van de backbone-compressie middels single-puzzle flash loading, waarbij tijdens de inferentie alleen de relevante rij van 2 KB wordt gestreamd.
3. Compressietechnieken:
   • Post-Training Quantization (PTQ): Toegepast INT8 (per-channel gekalibreerd) en INT4 (naïeve per-tensor en per-channel gekalibreerde).
   • Structurele wijzigingen: Evalueerde gestructureerde pruning, kennisdistillatie en lineaire attention-benaderingen.
   • Herstelpogingen: Testte Quantization-Aware Training (QAT) met token-niveau doelstellingen om het instorten van het redeneervermogen te herstellen.
4. Diagnostiek: Introduceerde Carry-Trajectory Fidelity, een label-vrije metriek die de cosinus-gelijkenis meet tussen de uiteindelijke carry-toestand van een gecomprimeerd model en de full-precision referentie op dezelfde input. Dit dient als voorspeller voor het instorten van het redeneren zonder taakevaluatie te vereisen.
5. Hardware-validatie: Benchmarkte on-device latentie en geheugengebruik op drie Snapdragon-platforms (Galaxy S24, S22, Dragonwing RB3) via Qualcomm AI Hub.

Belangrijkste Bevindingen

1. De Diepte-Precisie Crossover

In tegenstelling tot single-pass modellen waar lagere precisie meestal de prestaties verslechtert, vonden de auteurs dat INT8 bij een enkele recursieve cyclus ($H=1$) de full-depth FP32 nauwkeurigheid evenaart (35,25% vs. 36,00% op ARC-2024), terwijl de FLOPs met 6× worden verminderd. Deze interactie suggereert dat voor recursieve modellen het verminderen van de diepte efficiënter kan zijn dan het behouden van de volledige diepte met een lagere precisie, mits de precisie voldoende is (INT8).

2. Compositionele Instorting: Lokaal vs. Globaal

Agressieve compressie (naïeve INT4, pruning, distillatie) creëert een ontkoppeling tussen cel-nauwkeurigheid (lokale token-voorspelling) en puzzle-exacte nauwkeurigheid (globale restrictie-naleving).

• Onder naïeve INT4, pruning en distillatie blijft de cel-nauwkeurigheid vaak hoog (bijv. >84%), maar stort de puzzle-exacte nauwkeurigheid in naar nul.
• Dit geeft aan dat compressie het vermogen van het model vernietigt om aan globale restricties te voldoen, terwijl de lokale voorspellende capaciteiten behouden blijven.
• Token-niveau doelstellingen, inclusief QAT met cross-entropy loss, falen om globaal redeneren te herstellen omdat ze individuele cel-correctheid belonen in plaats van compositionele consistentie.

3. Architecturale Fragiliteit

De instorting is architecturaal, niet taak-intrinsiek.

• TRM-Attention (gebruikt in ARC en Maze) verdraagt naïeve INT4.
• TRM-MLP-Mixing (gebruikt in Sudoku) stort catastrofaal in onder naïeve INT4.
• Ablatie-studies op dezelfde taak (Sudoku) toonden aan dat het wisselen van MLP-mixing naar Attention de nauwkeurigheid behoudt onder INT4. De fragiliteit ligt in de token-mixing mechanisme, dat per-channel schalen vereist om te overleven onder grove ruis, terwijl attention meer robuuste, ijlere relationele updates codeert.

4. Herstel via Kalibratie

Per-channel gekalibreerde INT4 (post-training, geen hertraining) herstelt de catastrofale verliezen gezien bij naïeve INT4.

• Op Sudoku-Extreme daalt de nauwkeurigheid bij naïeve INT4 naar 10,2%, terwijl gekalibreerde INT4 deze herstelt naar 71,9% (nabij de 73,8% FP32 baseline).
• Dit vestigt gekalibreerde INT4 als de levensvatbare implementatie-ondergrens voor restrictie-naleving-redeneren, passend binnen 4 MB MCU-doelstellingen.

5. Carry-Trajectory Fidelity als Diagnostiek

De voorgestelde Carry-Trajectory Fidelity metriek voorspelt succesvol de instorting van het redeneren vóór de taakevaluatie.

• Hoge fidelity ($\phi \ge 0,99$) correleert met behouden redeneren.
• Lage fidelity ($\phi < 0,8$) voorspelt catastrofaal falen.
• De metriek is monotoon met het verlies aan nauwkeurigheid en kan bruikbare (gekalibreerde) van onbruikbare (naïeve) kwantisering onderscheiden zonder de taak uit te voeren.

Implementatie Recept

Het artikel leidt een concreet implementatiestrategie af voor edge-apparaten:

• Embedding Compressie: Gebruik single-puzzle flash loading om de 99,4 MB embedding tabel te reduceren tot 2 KB actief geheugen.
• Mobiele SoC (8 MB SRAM): INT8 backbone + flash loading + verminderde recursie ($H=1, n_{sup}=8$) past binnen 6,51 MB en bereikt bijna de volledige nauwkeurigheid bij 6× minder FLOPs.
• Microcontroller (4 MB SRAM): Per-channel gekalibreerde INT4 backbone + flash loading past binnen 3,26 MB en herstelt bijna de FP32-nauwkeurigheid zonder hertraining.

Betekenis en Claims

Het artikel beweert de eerste systematische studie te bieden naar de compressie van recursieve redeneermodellen onder strikte SRAM-beperkingen. De belangrijkste bijdragen zijn:

1. Herdefiniëren van Compressiegrenzen: Aantonen dat recursieve modellen een unieke diepte-precisie trade-off hebben waarbij verminderde recursie de precisieverlies kan compenseren, een fenomeen dat afwezig is bij single-pass kwantisering.
2. Identificeren van een Foutmodus: Laten zien dat standaard compressietechnieken vaak de lokale token-voorspelling behouden terwijl ze het globale redeneren vernietigen, een probleem dat token-niveau trainingsdoelstellingen niet kunnen oplossen.
3. Architecturaal Inzicht: Vaststellen dat de keuze van de token mixer (Attention vs. MLP) een cruciale implementatiebeslissing is, aangezien MLP-mixing aanzienlijk gevoeliger is voor kwantiseringsruis in recursieve settings.
4. Label-vrije Diagnostiek: Introductie van carry-trajectory fidelity als een praktisch instrument om het succes of falen van implementatie te voorspellen zonder taak-specifieke evaluatie.
5. Praktische Haalbaarheid: Valideren dat hoogwaardig recursief redeneren kan worden geïmplementeerd op 4 MB microcontrollers met behulp van gekalibreerde INT4 en flash-gestreamde embeddings, wat de noodzaak voor cloud-afhankelijkheid wegneemt.

De auteurs blijven bescheiden over de generalisatie en merken op dat hun studie zich richt op de TRM-familie en specifieke taken, en dat de fidelity-diagnostiek een full-precision referentie vereist die pas na de-deployment beschikbaar is. Ze beweren niet de compressie voor alle recursieve architecturen te hebben opgelost, maar bieden een gevalideerd recept voor de specifieke klasse van modellen en beperkingen die zijn bestudeerd.