🤖 machine learning

CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks

Dit artikel introduceert CalibForge, een autonoom systeem dat effectieve terminale trainingsopdrachten synthetiseert door middel van adversariële solver-kalibratie om een "leerbare zone" te identificeren waar taken oplosbaar maar uitdagend zijn, wat resulteert in significante prestatiewinsten over meerdere agent-benchmarks vergeleken met traditionele methoden voor datacuratie.

Oorspronkelijke auteurs: Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

Gepubliceerd 2026-08-07

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij dingen moet repareren in een digitale werkplaats. Je geeft het een gereedschapskist en een lijst met klussen, maar er is een addertje onder het gras: als de klus te makkelijk is, raakt de robot verveeld en leert hij niets; als de klus te moeilijk is, geeft de robot direct op en leert hij ook niets. De ideale plek voor leren is een "Goldilocks"-uitdaging — iets wat de robot kan oplossen als hij echt diep nadenkt, maar waar hij wel bij faalt als hij onoplettend of in de war is. Dit is de kern van het puzzelstukje bij het trainen van AI-agenten: hoe creëer je een enorme bibliotheek met taken die perfect zijn afgestemd op dit leergebied?

Lange tijd hebben onderzoekers geprobeerd deze taakbibliotheken op te bouwen door simpelweg ervoor te zorgen dat de taken uitgevoerd kunnen worden (ze zijn "uitvoerbaar") en dat ze een duidelijk goed of fout antwoord hebben. Maar alleen omdat een taak uitgevoerd kan worden, betekent niet dat het een goede leraar is. Een taak kan zo eenvoudig zijn dat elke robot hem direct oplost, of zo kapot dat geen enkele robot hem ooit kan oplossen. De grote vraag is: hoe vinden we de taken die net moeilijk genoeg zijn om de robot slimmer te maken?

Hier komt een nieuw systeem genaamd CalibForge in beeld. Zie CalibForge niet als een taakgenerator, maar als een ondeugende spelmeester die "adversariële" (tegenstrijdige) spelletjes speelt met de robot. In plaats van alleen te controleren of een taak werkt, huurt CalibForge een team van verschillende "solver"-robots in (sommige zeer slimme, andere wat minder slimme) om de taak te proberen. Als de slimme robot de taak oplost, maar de minder slimme faalt, dan is de taak perfect — hij zit in de leerzone! Als iedereen de taak oplost, is de taak te makkelijk, dus maakt CalibForge hem moeilijker. Als iedereen faalt, is de taak kapot, dus repareert CalibForge hem. Door de taken constant aan te passen op basis van hoe deze verschillende robots reageren, bouwt CalibForge een enorme bibliotheek van 5.431 perfect gekalibreerde uitdagingen. Wanneer nieuwe robots worden getraind op deze bibliotheek, worden ze aanzienlijk beter in het oplossen van echte computerproblemen, wat bewijst dat de "Goldilocks"-zone het geheime ingrediënt is voor het onderwijzen van AI.

Het Probleem: Te Makkelijk, Te Moeilijk, of Precies Goed?

In de wereld van Kunstmatige Intelligentie, specifal voor "terminal agents" (robots die commando's in een computerterminal typen om code te repareren of servers te beheren), bouwen onderzoekers enorme bibliotheken met oefenproblemen. Het doel is om deze agenten te trainen om complexe, echte engineeringtaken aan te kunnen. Er zit echter een fout in de manier waarop deze problemen gewoon worden gemaakt.

De meeste systemen controleren slechts twee dingen:

Kan het gedaan worden? (Is de computermgeving correct ingesteld?)
Is er een juist antwoord? (Heeft de taak een duidelijke pass/fail test?)

Maar dit is als het geven van een wiskundetoets aan een student waarbij elke vraag ofwel "Wat is 2+2?" is (te makkelijk), ofwel "Los deze vergelijking op die nog niet is uitgevonden" (onmogelijk). Geen van beide helpt de student om te leren. Het artikel betoogt dat we taken nodig hebben die solver-relatief leerbaar zijn. Dit betekent dat een taak oplosbaar moet zijn door een capabele agent, maar niet oplosbaar door een zwakkere agent. Het moet zich precies op de rand van de capaciteiten van de agent bevinden, waardoor deze wordt gedwongen zijn hersenen te laten werken om te slagen.

De Oplossing: De Adversariële Spelmeester

De auteurs creëerden CalibForge, een autonoom systeem dat fungeert als een meedogenloze spelmeester. Het schrijft niet alleen taken; het kalibreert ze met behulp van een proces genaamd Adversarial Solver Calibration.

Zo werkt de magie, stap voor stap:

De Aanwijzing: CalibForge begint met een vaag idee, zoals "repareer een defecte database" of "herstel verloren gegevens."
Het Concept: Een "Author Agent" (een slimme AI) schrijft een volledige taak, inclusief instructies, een virtuele computermgeving en een test om te zien of de klus geklaard is.
De Stress-test: Voordat de taak wordt behouden, stuurt CalibForge het naar een panel van "Solver Agents" om de taak te proberen op te lossen.
De Kalibratielus: Dit is het geheime ingrediënt. CalibForge gebruikt twee specifieke strategieën om te beslissen of een taak goed genoeg is:
- Multi-Solver Kalibratie: Het stuurt de taak naar een groep verschillende AI-modellen. Als iedereen de taak oplost, is de taak te makkelijk, dus maakt CalibForge hem moeilijker. Als niemand de taak oplost, is de taak kapot, dus repareert CalibForge hem. De taak wordt alleen behouden als er onenigheid is: ten minste één solver slaagt terwijl ten minste één solver faalt. Dit bewijst dat de taak in de "leerzone" zit.
- Contrastieve Kalibratie: Het stuurt de taak naar een "Strong Solver" (een zeer slimme AI) en een "Weak Solver" (een minder capabele AI). De taak wordt alleen behouden als de Strong Solver slaagt en de Weak Solver faalt. Dit zorgt ervoor dat de taak moeilijk genoeg is om de slimme uit te dagen, maar niet zo moeilijk dat het onmogelijk is.

Als een taak niet aan deze strikte criteria voldoet, gooit CalibForge deze niet zomaar weg. Het kijkt naar waarom de solvers faalden of slaagden, en schrijft vervolgens de instructies, de omgeving of de tests opnieuw. Het herhaalt deze lus tot wel 50 keer totdat de taak perfect gekalibreerd is.

De Resultaten: Een Bibliotheek van Perfecte Uitdagingen

Met deze methode bouwde CalibForge een dataset van 5.431 hoogst gekalibreerde terminaltaken. De onderzoekers trainden vervolgens twee verschillende AI-modellen (een model met 30 miljard parameters en een model met 35 miljard parameters) op deze data.

De resultaten waren indrukwekkend. De modellen die getraind zijn op de taken van CalibForge presteerden aanzienlijk beter dan modellen die getraind zijn op andere bestaande datasets:

Op Terminal-Bench 2.0 (een standaardtest voor terminal agents), scoorden de modellen 32,58% en 47,57%, waarmee ze de vorige beste resultaten met een ruime marge versloegen.
De verbeteringen waren niet beperkt tot de trainingsdata. Wanneer ze werden getest op volledig andere, real-world software engineering uitdagingen (SWE-bench Pro en Doc2Repo), vertoonden de modellen enorme winsten, met verbeteringen van respectievelijk 27,68 en 30,04 procentpunten ten opzichte van hun basisversies.

Waarom Dit Belangrijk Is

Het artikel suggereert dat de sleutel tot het bouwen van betere AI-agenten niet alleen het geven van meer data is, maar het geven van de juiste soort data. Door het gedrag van verschillende solvers te gebruiken als een feedbackloop, zorgt CalibForge ervoor dat elke taak in de bibliotheek een echte leermogelijkheid is.

De auteurs tonen expliciet aan dat het simpelweg toevoegen van meer solver-feedback of het gebruik van een enkele solver om taken te controleren niet voldoende is. Het "Goldilocks"-effect — waarbij een taak moeilijk is voor sommigen maar makkelijk voor anderen — is wat het leren aandrijft. Deze aanpak verandelt het proces van taakcreatie van een statische "schrijven en hopen"-methode in een dynamisch, zelfcorrigerend systeem dat actief op zoek gaat naar het perfecte niveau van moeilijkheidsgraad.

Kortom, CalibForge bewijst dat als je een super-slimme robot wilt trainen, je hem niet alleen een stapel huiswerk moet geven. Je moet hem een stapel huiswerk geven dat perfect is afgestemd om hem te laten nadenken, te laten worstelen en uiteindelijk te laten slagen.

Technische Samenvatting: CalibForge: Adversarial Solver Calibration voor het Schalen van Leerbare Terminal Taken

Probleemstelling

Het trainen van terminal-agenten vereist uitvoerbare en verifieerbare taken die niet enkel oplosbaar zijn, maar ook passend uitdagend voor het leerproces. Hoewel bestaande synthesesystemen vooruitgang hebben geboekt in het construeren van terminal-taken op schaal, onthult uitvoerbare geldigheid alleen niet of een taak triviaal, effectief onoplosbaar, of gesitueerd binnen een "leerbare zone" is ten opzichte van een specifieke solver-instelling. Huidige methoden vertrouwen vaak op auteurschap en validatie alleen, of op feedback van een enkele solver, wat faalt in het vastleggen van de genuanceerde gedragsbewijzen die nodig zijn om de taakconstructie te sturen richting effectieve trainingsdata. De kernuitdaging is het bepalen hoe solver-gedrag (successen, mislukkingen en trajecten) systematisch kan worden gebruikt om kandidaat-taken te herzien, zodat ze noch te makkelijk, noch te moeilijk zijn voor het beoogde leerregime.

Methodologie: CalibForge

De auteurs presenteren CalibForge, een autonoom systeem voor de synthese van terminal-taken dat de constructie van taken behandelt als een beperkte adversariële auteur–solver loop. Het systeem gebruikt geverifieerd solver-gedrag als feedback tijdens de constructie om kandidaat-taken te herzien via adversariële solver-kalibratie.

1. Taak-auteurschap en Validatie

Vertrekkend vanuit een "clue" voert een auteur-agent (DeepSeek-V4-Pro) webonderzoek uit om concrete engineering-problemen te identificeren (bijv. versie-specifieke bugs, afhankelijkheidsconflicten). Het construeert een kandidaat-taak $\tau$ bestaande uit:

Instructie: De taakbeschrijving.
Omgeving: Gedefinieerd door een Dockerfile en initiële bestanden.
Verificatie: Tests om de oplossing te valideren.

Voordat de kandidaat de kalibratieloop ingaat, ondergaan kandidaten tweefasige validatie:

Structurele Validatie: Controleert op build-contextbestanden, omgeving-initialisatie en zorgt ervoor dat alle tests falen in de initiële staat.
Zelf-oplossing: De auteur-agent probeert de taak in een geïsoleerde sandbox op te lossen om te garanderen dat de oplossing uitvoerbaar is en consistent met de instructie en de tests.

2. Adversariële Solver-Kalibratie

Gevalideerde kandidaten gaan een multi-ronde kalibratieloop binnen die wordt beheerd door een specificatie $\gamma$ . In elke ronde proberen solvers de taak, en gebruikt de auteur-agent de uitkomsten en volledige interactietrajecten om de taak te herzien. De loop wordt beëindigd wanneer een retentiecriterium $C_\gamma$ wordt voldaan of na een maximaal aantal rondes ( $R_{max}=50$ ). CalibForge hanteert twee verschillende kalibratiestrategieën:

Multi-Solver Kalibratie: Richt zich op onenigheid binnen een heterogene solver-pool (bijv. DeepSeek-V4-Flash, GLM-5, Kimi K2.5).
- Criterium: Behoud de taak als ten minste één solver slaagt en ten minste één solver faalt ( $0 < \sum y_i < K$ ).
- Doel: Een breder scala aan oplossingspaden en foutmodi vastleggen, waardoor de afhankelijkheid van de capaciteiten van een enkele solver wordt verminderd.
Contrastieve Solver Kalibratie: Richt zich op een aangewezen strong-pass/weak-fail relatie.
- Criterium: Behoud de taak als een aangewezen sterkere solver (DeepSeek-V4-Pro) slaagt en een aangewezen zwakkere solver (DeepSeek-V4-Flash) faalt ( $y_s=1 \land y_w=0$ ).
- Doel: Het operationaliseren van een solver-relatieve leerbare zone waar de taak aantoonbaar oplosbaar is, maar niet triviaal onder de gespecificeerde instellingen.

Als het criterium niet wordt behaald, gebruikt de auteur-agent feedback-samenvattingen (pass/fail, stapenaantal, zelfbeoordeling, foutdiagnose) en volledige trajecten om de taak te herzien (bijv. het verwijderen van procedurele hints, het verduidelijken van ambigue vereisten, of het generaliseren van overmatig voorschrijvende verifieerders) voordat er opnieuw wordt geprobeerd.

Belangrijkste Bijdragen

Gedrags-kalibratie op Omgevingsniveau: Het artikel formuleert een constructieprincipe waarbij de leerbaarheid van een taak wordt behandeld als solver-relatief. Het gebruikt geverifieerd solver-gedrag niet alleen voor evaluatie, maar om retentie te bepalen en meerder ronde revisies te sturen.
CalibForge Systeem: Een autonoom synthesesysteem dat bovenstaand principe implementeert via een beperkte adversariële loop. Het introduceert Multi-Solver en Contrastieve Solver kalibratiestrategieën om respectievelijk cross-solver onenigheid en strong-pass/weak-fail relaties te targeten.
Gekalibreerde Dataset: De constructie van 5.431 gekalibreerde terminal-taken (1.263 via multi-solver, 4.168 via contrastieve kalibratie). Deze taken beslaan 16 domeincategorieën, met een focus op software engineering, systeemadministratie en wetenschappelijke computing, wat een bredere domeindekking biedt dan eerdere datasets.

Experimentele Resultaten

De auteurs hebben twee Qwen-backbones (Qwen3-30B-A3B-Instruct en Qwen3.5-35B-A3B) gefinetuned op trajecten gedestilleerd uit de CalibForge-dataset en deze geëvalueerd tegen baselines (Endless Terminals, SETA-Env, CLI-Gym, TermiGen, TerminalTraj) met behulp van een overeenkomend distillatie- en trainingsprotocol.

Prestaties op Benchmarks

Terminal-Bench 2.0:
- CalibForge-30B-A3B behaalde 32,58% nauwkeurigheid (vs. 26,22% voor de beste baseline, TerminalTraj).
- CalibForge-35B-A3B behaalde 47,57% nauwkeurigheid (vs. 40,82% voor TerminalTraj).
- Verbeteringen ten opzichte van de basismodellen bereikten respectievelijk 24,71 en 8,47 procentpunten.
Out-of-Distribution (OOD) Transfer:
- SWE-bench Pro: CalibForge-35B-A3B behaalde 44,32% (Resolved Rate), een verbetering van 3,03 punten ten opzichte van zijn basismodel en de hoogste onder de geëvalueerde databronnen.
- Doc2Repo: CalibForge-35B-A3B behaalde 48,77% (Pass Rate), een verbetering van 3,85 punten ten opzichte van zijn basismodel.

Ablatie-studies

Solver Feedback vs. Kalibratie: "No Solver" (alleen auteur + validatie) leverde 22,47% nauwkeurigheid op. "Single Solver" feedback verbeterde dit naar 24,34%. Echter, Multi-Solver en Contrastieve Solver kalibratie behaalden respectievelijk 29,21% en 31,09%. Dit geeft aan dat de winst wordt gedreven door de kalibratiestrategie (het lokaliseren van moeilijkheidsgraad ten opzichte van solver-instellingen) in plaats van simpelweg het toevoegen van solver-feedback of het vergroten van het volume aan trajecten.
Effectiviteit van Revisie: In contrastieve kalibratie voldeed slechts 19% van de kandidaten aanvankelijk aan de beoogde strong-pass/weak-fail relatie na structurele validatie. Door feedback-gestuurde revisie en herhaald testen werd uiteindelijk 96% van de kandidaten behouden, wat aantoont dat veel initiële mismatches corrigeerbaar zijn in plaats van intrinsieke defecten.

Betekenis en Claims

Het artikel beweert dat solver-relatieve leerbaarheid een praktisch en effectief doel is voor de constructie van agent-trainingsdata. Door de taakconstructie te behandelen als een adversariële loop waarbij solver-gedrag de revisie stuurt, produceert CalibForge taken die aantoonbaar oplosbaar zijn, maar uitdagend genoeg om leren te stimuleren.

De auteurs benadrukken dat:

Uitvoerbare geldigheid is onvoldoende: Een taak kan geldig zijn maar triviaal of onoplosbaar voor de doel-agent. Kalibratie maakt de "leerbare zone" observeerbaar en actiegericht.
Kalibratie drijft transfer aan: De verbeteringen op OOD-benchmarks (SWE-bench Pro, Doc2Repo) suggereren dat de geleerde capaciteiten van solver-gekalibreerde terminal-taken effectief overdragen naar complexe, langdurige software engineering en repository-generatie taken.
Diversiteit is multidimensionaal: De CalibForge-dataset biedt diversiteit niet alleen in domeindekking, maar ook in capability-tags, omgevingscomplexiteit en verificatielogica, waardoor de smalle domeinconcentraties van eerdere datasets worden vermeden.

De resultaten ondersteunen de conclusie dat adversariële solver-kalibratie effectievere en overdraagbare supervisie oplevert dan auteur en validatie alleen, of single-solver feedback, wat een schaalbaar pad biedt voor de constructie van hoogwaardige trainingsdata voor terminal-agents.