Technische Samenvatting: Knowledge-Adaptive Context Engineering (KACE) voor Wiskundige Redenering

Probleemstelling

Context engineering is een levensvatbare strategie geworden om de prestaties van bevroren Large Language Models (LLM's) te verbeteren zonder de modelgewichten bij te werken. Echter, voor complexe wiskundige redeneringen kampen bestaande benaderingen met een kritieke flessenhals: monolithische contextaccumulatie. Wanneer feedback en geleerde lessen worden samengevoegd in één groeiende prompt, ontstaan er twee problemen:

1. Context Bloat (Context-opzwelling): Irrelevante begeleiding verdringt uiteindelijk nuttige informatie, wat de prestaties verslechtert.
2. Knowledge-Store Ceiling (Kennisopslagplafond): De herbruikbare kennisbasis is strikt begrensd door de omvang van de actieve prompt.

Huidige methoden (bijv. ACE, GEPA) verwarren vaak opslag (wat is geleerd over verschillende runs heen) met gebruik (wat wordt in de prompt opgenomen voor een specifieke taak). Als gevolg hiervan moet elke taak de volledige geaccumuleerde kennisopslag lezen, ongeacht of de informatie relevant is voor de specifieke moeilijkheidsgraad of het domein van de taak. Bovendien is adaptieve compute-allocatie (het variëren van de inspanning tijdens inferentie op basis van moeilijkheid) een bekende effectieve strategie, maar dit wordt zelden gecombineerd met gestructureerde, moeilijkheidsbewuste kennisretrieval.

Methodologie: KACE-framework

KACE introduceert een framework dat de opslag van geleerde kennis ontkoppelt van het gebruik ervan door de kennis te organiseren in een gestructureerde Epistemic Tree (Epistemische Boom) en deze conditioneel op te halen op basis van een empirisch moeilijkheidssignaal.

1. De Epistemic Tree (Opslag)

In plaats van een enkele prompt, construeert KACE een persistente kennisbasis $K$ bestaande uit getypeerde kaarten (bijv. lemma's, invarianten, decompositiepatronen, verificatieregels). Deze boom is gestratificeerd langs twee assen:

• Moeilijkheidsgraden ($T$): Makkelijk (ES), Gemiddeld (MS), Moeilijk (HS).
• Epistemische Domeinen ($D$): Wiskundige domeinen (bijv. meetkunde, combinatoriek).

De boom is een blokgestructureerd object $K = \{K_b\}_{b \in B}$, waarbij elk blok $b = (t, d)$ kaarten bevat die alleen zichtbaar zijn op dat specifieke moeilijkheidsniveau en domein. Universele kaarten worden apart opgeslagen en zijn zichtbaar over alle niveaus heen.

2. Locked Tiered Self-Consistency (De Classifier & Solver)

KACE maakt gebruik van een locked tiered self-consistency pipeline die een dubbel doel dient: het oplossen van de taak én het classificeren van de moeilijkheidsgraad. De pipeline verloopt in escalerende fasen:

• Easy Solver (ES): 2 pogingen. Verlaat de procedure bij 2/2 unanimiteit. Leest geen geleerde kaarten.
• Medium Solver (MS): 3 pogingen. Verlaat de procedure bij 2/3 meerderheid. Leest kaarten van de $(MS, d)$ node.
• Hard Solver (HS): 5 pogingen. Verlaat de procedure bij 2/5 pluraliteit. Leest kaarten van de $(HS, d)$ node.
• Fallback: Als geen enkel niveau de procedure afsluit, wordt een pool van 10 pogingen gebruikt.

Het niveau waarbij het systeem de procedure afsluit, levert een empirisch moeilijkheidssignaal op. Dit signaal, gecombineerd met een grove domeinclassifier, projecteert de taak naar een specifiek blok in de Epistemic Tree. Cruciaal is dat makkelijke problemen zonder kaarten worden afgerond, terwijl geëscaleerde problemen alleen de bijbehorende tak van de boom ophalen, wat context bloat voorkomt.

3. Offline Constructie (Leren)

De Epistemic Tree wordt offline geconstrueerd vanuit trainingssporen via een tweefasig proces:

• Fase 1 (ADD): Een blok-lokale leerdlus. Voor elk blok $(t, d)$ analyseert het systeem mislukte sporen waarbij de solver op dat niveau stopte. Een teacher-model destilleert "residuals" (ontbrekende kennis) in nieuwe kaarten, die aan het corresponderende blok worden toegevoegd. Dit volgt een block-coordinate minimization aanpak, waarbij lokale stukken van de boom worden geoptimaliseerd zonder globale re-optimalisatie.
• Fase 2 (REFINE): Een curator evalueert de voorlopige boom onder de geïnduceerde distributie van de bijgewerkte policy. De curator bewerkt, verplaatst of schrapt kaarten om ervoor te zorgen dat ze nuttig en niet-redundant blijven wanneer de solver ze daadwerkelijk gebruikt. Dit adresseert het probleem van de distributieverschuiving dat voorkomt bij iteratief leren.

Belangrijkste Bijdragen

1. Moeilijkheids- en Domein-gestratificeerde Epistemic Tree: KACE slaat herbruikbare wiskundige redeneerkennis buiten de actieve prompt op in de vorm van getypeerde kaarten, georganiseerd per moeilijkheidsgraad en domein. Dit scheidt de duurzame kennisbody van de kleine context-slice die door de solver wordt gelezen.
2. Locked Tiered Self-Consistency als Moeilijkheidsclassifier: De getrapte pipeline fungeert als een compute-equivalent alternatief voor vaste Best-of-N self-consistency (dat de prestaties van Best-of-5 evenaart of overtreft op drie benchmarks) en levert tegelijkertijd een gekalibreerd empirisch moeilijkheidssignaal. Dit signaal behoudt de solve-rate ordening van het model zelf op 78% van de AIME 2025-paren en 80% van de MATH-HARD-paren, waardoor een aparte, getrainde moeilijkheidsclassifier overbodig is.
3. Empirisch Bewijs over Hard Reasoning: Het artikel toont aan dat het scheiden van opslag en gebruik via conditionele retrieval aanzienlijk beter presteert dan monolithische contextaccumulatie.

Experimentele Resultaten

Experimenten werden uitgevoerd op drie uitdagende benchmarks: AIME 2025, MATH-HARD (Niveau 4–5) en OlymMATH-EN (verifieerbare subset).

• Prestatiewinst: Op AIME 2025 behaalde KACE een nauwkeurigheid van 62,2%. Dit is een absolute winst van 10,4 punten ten opzichte van vaste Best-of-5 self-consistency (51,8%) en een winst van 5,6 punten ten opzichte van de sterkste geleerde-context baseline, Tiered + GEPA (56,6%).
• Compute Efficiëntie: KACE behaalt deze winsten met een vergelijkbaar budget aan solver-aanroepen als Best-of-5. De getrapte aanpak zorgt er natuurlijk voor dat er vroegtijdig wordt gestopt bij makkelijkere problemen, waardoor het gemiddelde aantal aanroepen dicht bij de 5 blijft.
• Ablatie-studies:
  • Het verwijderen van de domein-as (platgeslagen naar alleen moeilijkheid) verlaagde de nauwkeurigheid van 62,2% naar 54,4%.
  • Het verwijderen van de moeilijkheidsgraad-as (monolithische context) verlaagde de nauwkeurigheid naar 51,6%.
  • Het vervangen van gedestilleerde kaarten door ruwe solver-reflecties verminderde de nauwkeurigheid tot 59,3%, wat de waarde van door een teacher gedestilleerde, compacte kennis onderstreept.
  • Het vervangen van de vaste boomprojectie door generieke retrieval (LLM router of embedding) leverde lagere prestaties op (~56%), wat suggereert dat de gestructureerde moeilijkheids-domein projectie superieur is aan generieke retrieval voor deze taak.

Betekenis en Claims

Het artikel stelt dat de primaire bottleneck in context engineering voor complexe wiskundige redenering niet de hoeveelheid opgeslagen kennis is, maar het vermogen om het juiste deel van die kennis op het juiste moment bloot te leggen.

• Structurele Scheiding: KACE demonstreert dat het behandelen van geleerde context als een gestructureerde bron, die conditioneel wordt gelezen op basis van empirische moeilijkheid en domein, effectiever is dan monolithische playbooks.
• Kalibratie zonder Training: Het exit-pad van de tiered self-consistency dient als een robuust, door het model afgeleid moeilijkheidssignaal dat geen externe trainingsdata of aparte classifier vereist, maar toch nauw aansluit bij de empirische solve-rates.
• Auditabiliteit: Door kennis op te slaan als natuurlijke taal-kaarten georganiseerd per moeilijkheidsgraad en domein, is het "geleerde" gedrag van het systeem inspecteerbaar en controleerbaar, een eigenschap die niet aanwezig is bij modellen met bijgewerkte gewichten.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van herhaalbare foutpatronen voor het leren, het gebrek aan automatische cross-benchmark transfer, en de observatie dat het schalen van de kennisbasis voorbij de training-trace failures (bijv. via "imagination") leidt tot overfitting zonder een sterkere verifier. Het werk positioneert KACE als een template voor het bestuderen van context als een gestructureerde, conditioneel gelezen bron in plaats van een statische accumulatie van tekst.