Technische Samenvatting: TMAS – Schalen van Rekenkracht tijdens Testtijd via Multi-Agent Synergie

1. Probleemstelling

Schalen van rekenkracht tijdens testtijd (TTS) is een paradigma geworden om de redeneercapaciteiten van Large Language Models (LLM's) te verbeteren door tijdens inferentie extra rekenkracht toe te wijzen. Hoewel vroege benaderingen zich richtten op het uitbreiden van enkele generatietrajecten (bijvoorbeeld Chain-of-Thought) of het aggregeren van parallelle, onafhankelijke oplossingen (bijvoorbeeld Self-Consistency), proberen recente gestructureerde methoden redeneren te organiseren over meerdere trajecten en verfijningsrondes.

Echter, bestaande gestructureerde TTS-methoden staan voor aanzienlijke beperkingen bij het balanceren van exploratie (het proberen van diverse oplossingspaden) en exploitatie (het verfijnen van veelbelovende richtingen):

• Zwakke Coördinatie: Traject-aggregatiemethoden vertrouwen vaak op ruisachtige historische informatie zonder expliciet te filteren wat bewaard moet blijven, wat leidt tot suboptimale hergebruik van signalen.
• Onvoldoende Samenwerking: Verifieer-verfijn-systemen introduceren expliciete feedback, maar laten vaak verschillende trajecten zwak gekoppeld, waardoor ze geen herbruikbare tussenresultaten of lokale feedback over pogingen heen delen.
• Gegevensgranulariteit: Huidige benaderingen maken geen onderscheid tussen betrouwbare, laagwaardige tussenconclusies (lokale signalen) en hoogwaardige strategische inzichten (globale patronen), wat effectieve informatiedeling beperkt.

De kernuitdaging is een raamwerk te ontwerpen dat expliciet multi-agent samenwerking coördineert, hiërarchisch geheugen beheert om lokale ervaring te scheiden van globale strategie, en het model afstemt om deze structuur effectief te benutten zonder vast te komen zitten in suboptimale patronen.

2. Methodologie: Het TMAS-raamwerk

De auteurs stellen TMAS (Test-time compute via Multi-Agent Synergy) voor, een raamwerk dat inferentie organiseert als een collaboratief proces tussen gespecialiseerde agenten. Het systeem werkt iteratief, waarbij het parallelle exploratie afweegt tegen sequentiële exploitatie.

2.1. Multi-Agent Architectuur

TMAS maakt gebruik van vijf gespecialiseerde agenten om de inferentiepijplijn te beheren:

1. Oplossingsagent ($A_{sol}$): Genereert $N$ kandidaat-oplossingstrajecten parallel. Het gebruikt een $\epsilon$-greedy-strategie: met een waarschijnlijkheid van $1-\epsilon$ exploiteert het opgebouwde ervaring en eerdere rollouts; met een waarschijnlijkheid van $\epsilon$ exploreert het, geleid door hoogwaardige richtlijnen om redundantie te vermijden.
2. Verificatieagent ($A_{ver}$): Voert $M$ onafhankelijke verificatiepasses uit op elke kandidaat, en levert analytische feedback en scalare scores (correctheid, gedeeltelijke correctheid of fouten).
3. Samenvattingsagent ($A_{sum}$): Aggregeert verificatieresultaten tot beknopte samenvattingen op rollout-niveau, met nadruk op gevalideerde stappen en logische gebreken.
4. Ervaringsagent ($A_{exp}$): Extrahert laagwaardige herbruikbare signalen uit de huidige rollouts om de Ervaringsbank bij te werken. Dit omvat geverifieerde tussenconclusies, concrete vaardigheden en specifieke heuristieken om fouten te vermijden.
5. Richtlijnagent ($A_{guide}$): Abstracteert hoogwaardige strategische benaderingen uit parallelle rollouts om de Richtlijnenbank bij te werken. Dit registreert globale oplossingsrichtingen en structurele inzichten om volgende agenten weg te sturen van eerder geprobeerde (en gefaalde) patronen.

2.2. Hiërarchisch Geheugenbeheer

TMAS introduceert twee distincte geheugenbanken om gestructureerde informatiestroom te faciliteren:

• Ervaringsbank: Bewaart concrete, traject-specifieke redeneersignalen (bijvoorbeeld "geverifieerde anker $T(2)=3$"). Deze worden hergebruikt om lokale redenering te verfijnen en het herhalen van specifieke fouten te voorkomen.
• Richtlijnenbank: Bewaart hoogwaardige strategische logs (bijvoorbeeld "inductie geprobeerd met splitsingsargument"). Deze worden gebruikt om diversiteit af te dwingen, zodat nieuwe rollouts niet simpelweg eerder onderzochte strategische kaders herhalen.

2.3. Hybride Beloning Reinforcement Learning

Om het model af te stemmen op het TMAS-collaboratieve proces, ontwerpen de auteurs een Hybride Beloningssysteem gebaseerd op GRPO (Group Relative Policy Optimization). In tegenstelling tot standaard RL, dat alleen optimaliseert voor uiteindelijke correctheid, omvat dit systeem drie complementaire doelen:

1. Standaard Correctheidsbeloning: Behoudt basisredeneercapaciteit (beloning +1 voor correcte antwoorden, -1 anders).
2. Ervaringsgebruikbeloning: Moedigt het model aan om de Ervaringsbank effectief te gebruiken. Als een probleem moeilijk op te lossen is zonder de bank, maar oplosbaar ermee, ontvangt het model een bonus die evenredig is aan de moeilijkheidsgraad van het probleem zonder de bank. Dit voorkomt dat de bank als passieve context wordt behandeld.
3. Beloning voor Ontdekking van Nieuwe Strategieën: Moedigt de ontdekking van nieuwe hoogwaardige oplossingsstrategieën aan. Rollouts die een richtlijn volgen die niet door de bestaande bank wordt gedekt, ontvangen een hogere beloning, terwijl die welke bekende strategieën herhalen, worden bestraft, zelfs als ze correct zijn.

3. Belangrijkste Bijdragen

1. TMAS-raamwerk: Een nieuw multi-agent systeem dat informatiestroom expliciet organiseert over agenten, trajecten en iteraties. Het transformeert onafhankelijke redeneerpogingen in een gecoördineerd iteratief proces via gespecialiseerde Ervarings- en Richtlijnagenten.
2. Hiërarchisch Geheugmechanisme: De introductie van aparte banken voor laagwaardige ervaring (herbruikbare lokale signalen) en hoogwaardige richtlijnen (strategische vermijding) om exploitatie van betrouwbare bevindingen te balanceren met exploratie van diverse paden.
3. Hybride Beloning RL-schema: Een trainingsdoel op maat voor TMAS dat gezamenlijk optimaliseert voor basisredeneercompetentie, effectief gebruik van ervaring en ontdekking van nieuwe strategieën, waarmee de afweging tussen exploratie en exploitatie in iteratief redeneren wordt aangepakt.

4. Experimentele Resultaten

De auteurs evalueerden TMAS op uitdagende redeneerbenchmarks: IMO-AnswerBench-50 en HLE-Math-100, met Qwen3-30B en Qwen3-4B als basismodellen.

• Iteratief Schalen: TMAS toonde sterkere iteratieve schaling dan bestaande baselines (Self-Refine, Verify-Refine, PaCoRe, RSE). Terwijl andere methoden in latere iteraties plat liepen of degradeerden, bleef TMAS verbeteren, met de beste prestaties in een laat stadium (bijvoorbeeld 40,50% op IMO-AnswerBench-50 met Qwen3-30B bij iteratie 19).
• Impact van Hybride RL: Training met het hybride beloningssysteem versterkte de effectiviteit van schalen aanzienlijk. Op het Qwen3-4B-model bereikte TMAS+Hybrid-RL niet alleen een hogere piekaccuraatheid, maar mitigeerde het ook de prestatiedegradeatie die bij Vanilla-RL (training met alleen correctheidsbeloningen) in latere iteraties werd waargenomen.
• Model-efficiëntie: De hybride RL-training bracht de prestatiekloof tussen de 4B- en 30B-modellen aanzienlijk kleiner. Op IMO-AnswerBench-50 nam de kloof af van 23,44 naar 9,62 punten, wat suggereert dat effectieve iteratieve testtijd-berekening kleinere modellen in staat stelt de prestaties van veel grotere modellen te benaderen.
• Ablatiestudies:
  • Het verwijderen van de Ervarings- of Richtlijnmodule degradeerde de prestaties, waarbij gezamenlijke verwijdering de zwaarste daling veroorzaakte.
  • Een intermediaire exploratiecoëfficiënt ($\epsilon=0,2$) leverde optimale resultaten op, wat de noodzaak bevestigt van een balans tussen ontdekking en exploitatie.
  • Excessieve verificatieaantallen (bijvoorbeeld 16) of parallelle oplossingen (bijvoorbeeld 12) leidden niet tot monotoon verbeteringen, wat wijst op afnemende meeropbrengst en potentiële introductie van ruis.

5. Betekenis en Beperkingen

Het artikel stelt dat TMAS een belangrijke stap voorwaarts is in het organiseren van testtijd-berekening door verder te gaan dan eenvoudige trajectaggregatie of verificatie. Door expliciet de informatiestroom te structureren en het geheugen te scheiden in hiërarchische niveaus, maakt TMAS effectievere samenwerking tussen redeneerstrajecten mogelijk. Het hybride beloningsschema wordt gepresenteerd als een cruciale katalysator voor het trainen van modellen om deze complexe structuur te benutten.

Beperkingen:

• Verificatiebottleneck: De auteurs identificeren een "gedeelde capaciteitsgrens" waar, bij de moeilijkste problemen, de verificatieagent (geïnstantieerd uit dezelfde modelfamilie) moeite kan hebben om onderscheid te maken tussen plausibele maar gebrekkige oplossingen en correcte oplossingen. Dit kan leiden tot onbetrouwbare feedbacksignalen voor de verfijningsslus.
• Rekenkrachtbeperkingen: De evaluatie is niet uitgevoerd op frontier-modellen (bijvoorbeeld GPT-5.5) vanwege kosten en API-beperkingen.
• Dataconstructie: De huidige RL-pijplijn vereist een externe teacher-model om cold-start-trajecten en geheugengebaseerde trainingsdata vooraf te construeren. De auteurs suggereren dat toekomstig werk trajecten uit eerdere iteraties dynamisch kan opnemen om de databron uit te breiden.

Concluderend biedt TMAS een gestructureerde aanpak voor het schalen van testtijd-berekening die effectief exploratie en exploitatie balanceren via multi-agent synergie en hiërarchisch geheugen, en toont aan dat extra rekenkracht kan worden omgezet in verbeterde redeneerprestaties wanneer deze correct wordt georganiseerd.