Technische Samenvatting: ConPress – Leren van Efficiënt Redeneren door Contextuele Druk bij Meervoudige Vragen

Probleemstelling

Large Reasoning Models (LRMs), zoals OpenAI-O1, DeepSeek-R1 en Qwen3, bereiken een hoge prestatie op complexe taken door uitgebreide Chain-of-Thought (CoT) sporen te genereren. Deze verbositeit leidt echter vaak tot "overdenken", waarbij modellen redundante tussenstappen produceren, wat de inferentielatentie, de tokenkosten en de implementatieoverhead aanzienlijk verhoogt. Bestaande methoden om dit te mitigeren, zoals Supervised Fine-Tuning (SFT) met docentmodellen of Reinforcement Learning (RL) met lengtestrafpunten, lijden aan hoge trainingskosten, afhankelijkheid van externe supervisie of gevoeligheid voor de vormgeving van beloningen. Dit artikel adresseert de fundamentele vraag of LRMs van nature kortere redeneersporen kunnen produceren en hoe dit gedrag geïnternaliseerd kan worden voor efficiënte inferentie bij enkelvoudige vragen zonder externe docenten of RL.

Methodologie: ConPress

De auteurs stellen ConPress (Learning from Contextual Pressure) voor, een lichtgewicht, zelfgesuperviseerd fine-tuning framework. De methode is gebaseerd op de observatie van een reproduceerbaar fenomeen tijdens de inferentie, getiteld Self-Compression.

1. Het Self-Compression Fenomeen

De auteurs identificeren dat wanneer een LRM wordt gepresenteerd met een prompt die meerdere onafhankelijke, beantwoordbare vragen bevat ($N > 1$), het spontaan aanzienlijk kortere redeneersporen genereert voor elke individuele vraag vergeleken met prompts met een enkele vraag ($N=1$).

• Mechanisme: Deze compressie ontstaat door "meervoudige vraag-contextuele druk". Het model moet meerdere redeneerprocessen voltooien binnen één gedeelde respons, wat de lokale voortzettingen stuurt naar beknopte paden die redundante stappen verwijderen terwijl de kernstructuur van de inferentie behouden blijft.
• Kenmerken: Dit fenomeen is reproduceerbaar over verschillende modellen (bijv. DeepSeek-R1-Distill-Qwen, Qwen3) en datasets. De intensiteit van de compressie schaalt met het aantal vragen ($N$) en is grotendeels structureel, waarbij het robuust blijft zelfs als de hulpvragen triviaal zijn.

2. De ConPress Pipeline

ConPress maakt gebruik van dit fenomeen om efficiënt redeneren te distilleren naar standaard situaties met een enkele vraag via een driestappenproces:

1. Multi-Question Sampling: Het model selecteert $N$ onafhankelijke vragen uit een dataset en verpakt deze in een enkele prompt. Het model genereert redeneersporen en antwoorden voor alle vragen binnen deze context.
2. Compressed Trace Extraction: De auteurs passen rejection sampling toe, waarbij alleen de redeneersporen ($r_i$) worden behouden waar de voorspelde antwoorden ($\hat{o}_i$) overeenkomen met de grondwaarheid ($o_i$). Dit zorgt ervoor dat de gedistilleerde data bestaat uit beknopte maar correcte trajecten.
3. Single-Question Transfer: De gefilterde dataset van beknopte, correcte sporen wordt gebruikt om standaard Supervised Fine-Tuning (SFT) uit te voeren op single-question inputs. Het model leert het gecomprimeerde redeneergedrag te reproduceren dat werd waargenomen onder de druk van meervoudige vragen, waardoor het dit gedrag internaliseert voor standaard inferentie.

Cruciaal is dat dit proces geen externe docentmodellen, handmatige pruning-heuristieken of reinforcement learning vereist.

Belangrijkste Bijdragen

1. Identificatie van Self-Compression: Het artikel karakteriseert systematisch een reproduceerbaar fenomeen tijdens de inferentie waarbij LRMs kortere CoT-sporen per vraag genereren onder contexten met meervoudige vragen, zonder expliciete lengtebeperkingen.
2. ConPress Framework: Een lichtgewicht, zelfgesuperviseerde methode die dit gecomprimeerde redeneergedrag extraheert en overdraagt van meervoudige vraag- naar enkelvoudige vraag-settings.
3. Empirische Validatie: De auteurs tonen aan dat ConPress substantiële reducties in het aantal redeneertokens (30–60%) bereikt op uitdagende benchmarks, terwijl de nauwkeurigheid concurrerend blijft, wat een gunstige nauwkeurigheid-efficiëntie-trade-off blootlegt.

Experimentele Resultaten

De auteurs evalueerden ConPress op drie redeneermodellen (Qwen3-4B-Thinking, R1-Distill-Qwen-7B, R1-Distill-Qwen-1.5B) over meerdere benchmarks (MATH500, AIME25, GSM8K, Olympiad, AMC).

• Token Reductie: ConPress verminderde het aantal redeneertokens met 59% op MATH500 en 33% op AIME25 voor het Qwen3-4B-Thinking model. Over alle modellen heen varieerden de gemiddelde tokenreducties van 33,9% tot 48,7%.
• Behoud van Nauwkeurigheid: Ondanks agressieve compressie was de afname in nauwkeurigheid minimaal. Voor Qwen3-4B-Thinking was de gemiddelde daling in nauwkeurigheid slechts 0,6 punt; voor R1-Distill-Qwen-7B bleef de nauwkeurigheid effectief behouden.
• Vergelijking met Baselines:
  • RFTshortest (het selecteren van de kortste correcte respons uit meerdere samples) leverde slechts marginale tokenreducties op.
  • DPOshortest bereikte matige compressie, maar vaak ten koste van een merkbare daling in nauwkeurigheid.
  • RL-gebaseerde methoden (bijv. LC-R1, AdaptThink) bereikten sterke compressie maar vereisten complexe trainingspipelines en leden onder grotere nauwkeurigheidsdalingen.
  • Test-time Compression (het direct gebruiken van prompts met meervoudige vragen tijdens de inferentie) verminderde de tokens, maar veroorzaakte een ernstige degradatie van de nauwkeurigheid (bijv. -31,3 punten gemiddeld voor MQ-N3).
• Generalisatie: De methode generaliseerde naar out-of-distribution taken (MMLU-STEM), waarbij tokens met ~33–36% werden verminderd met een minimale nauwkeurigheidsverlies.
• Ablatie Studies: Het verhogen van het aantal vragen ($N$) in de sampling-prompt verhoogde de compressiekracht, maar met afnemende meeropbrengsten voor de tokenbesparing boven $N=3$ of $N=4$. De methode was robuust tegen de positie van de doelvraag binnen de meervoudige vraag-prompt.

Betekenis en Claims

Het artikel claimt dat ConPress aantoont dat zelf-gecomprimeerd redeneergedrag dat tijdens de inferentie wordt geïnduceerd, systematisch door het model zelf kan worden geïnternaliseerd. Door gebruik te maken van de structurele druk van contexten met meervoudige vragen, stelt de methode het model in staat om meer token-efficiënt te redeneren zonder afhankelijk te zijn van expliciete lengtebeperkingen, externe docenten, handmatige pruning of reinforcement learning.

De auteurs positioneren dit als een fundamentele verschuiving in hoe efficiëntie kan worden bereikt: in plaats van modellen via externe straffen of complexe RL te dwingen beknopt te zijn, kan men de inherente contextuele aanpassingscapaciteit van het model exploiteren om het model efficiënt te laten redeneren. De aanpak wordt gepresenteerd als een eenvoudige, schaalbare en kosteneffectieve alternatief voor bestaande compressiestrategieën, die een duidelijke trade-off biedt tussen redeneerlengte en nauwkeurigheid die de voorkeur geeft aan efficiëntie met minimaal prestatieverlies.