Technische Samenvatting: HEAVYSKILL – Zwaar Denken als de Innerlijke Vaardigheid in Agentic Harness

Probleemstelling

Recente vooruitgang in agentic harnesses heeft succes behaald in complexe redeneertaken door meerdere agenten te orchestreren met geheugen, vaardigheden en hulpmiddelgebruik. De onderliggende mechanismen die deze prestaties aandrijven, blijven echter onduidelijk door ingewikkelde systeemontwerpen. Huidige benaderingen vertrouwen vaak op externe orchestratielussen die sub-agenten parallel activeren en resultaten samenvatten, of maken gebruik van gespecialiseerde architecturale modificaties en post-training recepten om parallel redeneren op te wekken. Het artikel betoogt dat de zoektocht naar redeneervermogen zich sterk heeft gericht op strategieën voor schalen tijdens het testen (TTS) die rekenkracht versterken, terwijl de specifieke bijdrage van "zwaar denken" als een internaliseerbare vaardigheid binnen de parameters van het model onderbelicht blijft. Bovendien ontbreken bij bestaande methoden vaak een uniek, draagbaar raamwerk dat losgekoppeld kan worden van specifieke infrastructuur om te fungeren als een native capaciteit van het Large Language Model (LLM).

Methodologie

De auteurs stellen HEAVYSKILL voor, een perspectief en raamwerk dat "zwaar denken" niet louter behandelt als een uitvoeringseenheid in een orchestratie-harness, maar als een innerlijke vaardigheid die is geïnternaliseerd binnen het model. Deze vaardigheid wordt gedefinieerd als een tweestapsproces: parallel redeneren gevolgd door sequentiële deliberatie.

1. Het Zwaar Denken Raamwerk

De inferentiepiplijn wordt ontleed in twee distincte fasen:

• Parallel Redeneren: Gegeven een probleem $q$, genereert het model $K$ onafhankelijke redeneertrajecten ($T_{\pi_\theta}(q, K) = \{y_1, \dots, y_K\}$). Deze trajecten worden gegenereerd zonder toegang tot elkaars output om diversiteit te waarborgen.
• Sequentiële Deliberatie: Een tweede model (of hetzelfde model) aggregeert de gegenereerde trajecten. Deze fase omvat een "samenvattings"proces waarbij het model de redeneerpaden kritisch evalueert, fouten identificeert en een definitief antwoord synthetiseert.
• Gesequencialiseerde Geheugencache: Om deze fasen te verbinden, introduceert het raamwerk een geheugencache-mechanisme. Omdat volledige trajecten vaak de contextlimieten overschrijden, worden ze gesnoeid, geschud om positionele bias te voorkomen, en gesequencialiseerd in een context ($C(x_c)$) voor de deliberatiefase.
• Iteratieve Deliberatie (Optioneel): Het raamwerk ondersteunt iteratieve verfijning waarbij de output van de deliberatiefase wordt teruggevoerd naar de geheugencache als nieuwe input voor daaropvolgende rondes van analyse.

2. HEAVYSKILL als een Leesbare Vaardigheid

Een belangrijke innovatie is de distillatie van deze workflow naar een leesbaar vaardigheidsbestand (bijv. HeavySkill.md). In tegenstelling tot traditionele workflows die vertrouwen op externe Python-pipelines om API-aanroepen en status te beheren, is HEAVYSKILL een menselijk leesbaar, door het model interpreteerbaar document.

• Structuur: Het vaardigheidsbestand bevat vier componenten:
  1. Activeringsvoorwaarden: Declaratieve regels voor wanneer zwaar denken moet worden geactiveerd (bijv. complex redeneren versus simpele queries).
  2. Protocol voor Parallel Redeneren: Instructies om $K$ onafhankelijke agenten met diverse strategieën te spawnen.
  3. Deliberatie Prompt: Een kernsjabloon dat het model instrueert om de trajecten kritisch te evalueren, niet louter te stemmen. Het verbiedt expliciet oppervlakkige concatenatie en eist echte synthese.
  4. Output Beperkingen: Regels voor het formatteren van het definitieve antwoord (bijv. \boxed{} voor wiskunde).
• Draagbaarheid: Omdat het een platte tekstdocument is, kan het worden ingebracht in elke agentic harness (bijv. Claude Code, CodeX, Hermes) die vaardigheidslading ondersteunt, waardoor de orchestrator het protocol autonoom kan uitvoeren zonder code-aanpassingen.

3. Optimalisatie via RLVR

Het artikel onderzoekt het aanpassen van Reinforcement Learning from Verifiable Rewards (RLVR) om zwaar denken te optimaliseren. De hypothese is dat RLVR tegelijkertijd de breedte van redeneren (via parallelle generatie) en de diepte (via deliberatie) kan verbeteren, waardoor het model mogelijk voorbij zijn intrinsieke beperkingen per traject wordt geduwd.

Belangrijkste Bijdragen

1. Raamwerkvoorstel: Introductie van een eenvoudig, trainingsvrij raamwerk voor het reproduceren van zwaar denken via parallel redeneren en sequentiële deliberatie.
2. Uitgebreide Empirische Studie: De eerste systematische evaluatie van zwaar denken over diverse modelgroottes (van 7B tot frontier-modellen) en taakdomeinen (STEM, coderen, algemeen redeneren).
3. Vaardigheidsdistillatie: Het conceptualiseren van zwaar denken als een draagbare, leesbare "innerlijke vaardigheid" die redeneervermogen loskoppelt van specifieke orchestratie-infrastructuur.
4. Systematische Analyse: Gedetailleerde inzichten in de wisselwerking tussen raamwerkcomponenten, inclusief de rollen van trajectdiversiteit, modelselectie voor deliberatie en de effecten van iteratieve verfijning.

Experimentele Resultaten

Prestaties op STEM-taken

Geëvalueerd op benchmarks waaronder AIME25, BeyondAIME, HMMT25-Feb en GPQA-Diamond:

• Consistente Bepaling: Zwaar denken (gemeten via Heavy-Mean@4 of HM@4) presteert consistent beter dan pogingen met één traject (Mean@K) en traditionele Best-of-N-strategieën zoals meerderheidsstemming (Vote@K).
• Schalingswetten: Het verhogen van het aantal parallelle trajecten ($K$) en het toepassen van sequentiële deliberatie leidt tot continue prestatieverbetering, wat zwaar denken valideert als een praktische realisatie van Test-Time Scaling.
• Benadering van Theoretische Grenzen: Sterkere modellen (bijv. DeepSeek V3.2, GPT-5 Thinking) benaderen onder zwaar denken de theoretische Pass@K bovengrens. In sommige gevallen overtreft het deliberatieproces (Heavy-Pass@K) de ruwe Pass@K, wat suggereert dat het model correcte oplossingen kan synthetiseren die niet aanwezig waren in enig enkel ruw traject.
• Hiërarchie: Er werd een consistente prestatiehiërarchie waargenomen: Heavy-Pass@k ≥ Heavy-Mean@K ≥ Vote@K ≥ Mean@K.

Prestaties op Algemene Redeneertaken

• Objectief versus Subjectief: Het raamwerk toont aanzienlijke winsten op objectieve, verifieerbare taken (bijv. LiveCodeBench, IFEval). De winsten zijn echter marginaal of soms negatief op subjectieve, voorkeur-gebaseerde taken (bijv. Arena-Hard), wat aangeeft dat sequentiële deliberatie uitblinkt in "correctheidsgerichte" taken maar mogelijk worstelt met "voorkeurgerichte" nuances.
• Modelselectie: De deliberatiefase vereist niet strikt een model met superieur intrinsiek redeneervermogen. Grotere, instructievolgende modellen (bijv. Qwen2.5-32B) die als deliberatoren worden gebruikt, kunnen de prestaties aanzienlijk verhogen, zelfs als ze zwakker zijn in het zelfstandig oplossen van de problemen, wat het belang van synthese-capaciteiten boven ruwe redeneerkracht in de tweede fase benadrukt.

Iteratieve Deliberatie en Hulpmiddelgebruik

• Iteratie: Hoewel het verhogen van het aantal iteraties over het algemeen de nauwkeurigheid verbetert, introduceert het een afweging waarbij Heavy-Pass@K kan verslechteren door cumulatieve ruis of bias uit eerdere fasen.
• Hulpmiddelintegratie: Het raamwerk integreert succesvol met externe hulpmiddelen (bijv. Python-interpreters). Zwaar denken presteert beter dan stemming-baselines in scenario's met verweven hulpmiddelen, waarbij uitvoeringsfeedback effectief wordt benut om trajecten te verfijnen.

RLVR Aanpassing

Voorlopige RLVR-experimenten tonen aan dat het toepassen van reinforcement learning op zwaar-denken-trajecten Heavy-Mean@4 met ongeveer 10% kan verbeteren. Er werden echter stabiliteitsproblemen waargenomen bij grotere trajectaantallen ($K=16$) vanwege beperkingen in sequentielengte, wat wijst op de noodzaak van zorgvuldige configuratie.

Betekenis en Claims

Het artikel claimt dat HEAVYSKILL een velebelovende weg biedt naar zelf-evoluerende LLM's die complex redeneren internaliseren zonder te vertrouwen op breekbare orchestratielagen. Door de agentic harness te abstraheren tot een inherente "zwaar denken" capaciteit, demonstreren de auteurs dat:

1. Redeneren een Innerlijke Vaardigheid is: Complex redeneren kan worden gedistilleerd tot een overdraagbare vaardigheid die onder elke agentic harness opereert.
2. Deliberatie Sleutel is: Sequentiële deliberatie is effectiever dan eenvoudige statistische consensus (stemming) voor het synthetiseren van correcte antwoorden uit meerdere redeneerpaden.
3. Schalbaarheid: De diepte en breedte van zwaar denken zijn leerbaar en schaalbaar via reinforcement learning, wat een mechanisme biedt om LLM's voorbij hun huidige redeneergrenzen te duwen.

De auteurs behouden een bescheiden standpunt, waarbij zij opmerken dat hoewel zwaar denken aanzienlijk beter presteert dan traditionele strategieën, het geen wondermiddel is voor alle taaktypes (met name subjectieve voorkeuren) en dat de dynamiek van RLVR in deze context verdere verkenning vereist. Het werk vestigt voornamelijk de effectiviteit en beperkingen van zwaar denken als een fundamenteel onderdeel voor agentic systemen van de volgende generatie.