🤖 AI

ToolSelf: Unifying Task Execution and Self-Reconfiguration via Tool-Driven Emergent Adaptation

Het artikel introduceert ToolSelf, een paradigma dat taakuitvoering en runtime zelfreconfiguratie binnen één enkel beleid verenigt om de starheid van statische configuraties te overwinnen, waarbij significante prestatiewinsten worden behaald door een nieuwe Configuration-Aware Two-stage Training (CAT) aanpak.

Oorspronkelijke auteurs: Jingqi Zhou, Sheng Wang, Dezhao Deng, Junwen Lu, Junwei Su, Qintong Li, Jiahui Gao, Hao Wu, Jiyue Jiang, Lingpeng Kong, Dunhong Jin, Chuan Wu

Gepubliceerd 2026-06-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jingqi Zhou, Sheng Wang, Dezhao Deng, Junwen Lu, Junwei Su, Qintong Li, Jiahui Gao, Hao Wu, Jiyue Jiang, Lingpeng Kong, Dunhong Jin, Chuan Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een uiterst intelligente assistent inhuurt om een zeer complex, meerstaps mysterie op te lossen.

De Oude Manier (Statische Configuratie):
In traditionele AI-systemen moet je vooraf een strikt "regelboek" voor je assistent schrijven voordat deze aan het werk gaat. Je zegt tegen hen: "Je bent een detective. Gebruik deze 5 specifieke hulpmiddelen. Houd je aantekeningen bij in dit specifieke notitieboekformaat. Je doel is om de vermiste kat te vinden."

Het probleem is dat de assistent, zodra het werk begint, vastzit aan dat regelboek.

Als ze beseffen dat ze een ander hulpmiddel nodig hebben (zoals een microscoop in plaats van een vergrootglas), kunnen ze dat niet krijgen.
Als ze beseffen dat hun "detective"-persona te rigide is en ze meer een "wetenschapper" moeten zijn, kunnen ze dat niet veranderen.
Als hun notitieboek te vol raakt met nutteloze aantekeningen, kunnen ze het niet opruimen.
Ze worden gedwongen om de puzzel te blijven oplossen met de verkeerde hulpmiddelen en de verkeerde mentaliteit, wat vaak tot falen leidt omdat de situatie veranderde, maar hun instructies dat niet deden.

De Nieuwe Manier (TOOLSELF):
Het artikel introduceert TOOLSELF, een systeem waarbij de assistent niet alleen een regelboek volgt; zij schrijven hun eigen regelboek terwijl ze aan het werk zijn.

Zie TOOLSELF als een assistent die een speciale "Toverstaf" heeft (een hulpmiddel genaamd reconfigure).

De Lus: De assistent werkt aan een deel van de taak. Wanneer ze tegen een muur aanlopen of een stap hebben voltooid, pauzeren ze.
De Check-in: Ze vragen zichzelf af: "Werkt mijn huidige plan? Heb ik de juiste hulpmiddelen? Is mijn notitieboek te rommelig?"
De Toverstaf: Als het antwoord "Nee" is, zwaaien ze met de Toverstaf. Dit hulpmiddel geeft hen niet alleen een nieuw gereedschap, maar laat hen hun volledige functiebeschrijving herschrijven voor de volgende stap.
- "Oké, voor de volgende stap ben ik niet langer een detective, maar een data-analist."
- "Ik moet mijn vergrootglas inruilen voor een rekenmachine."
- "Ik moet de oude aantekeningen verwijderen en met een frisse samenvatting beginnen."
Het Resultaat: De assistent neemt onmiddellijk deze nieuwe identiteit aan, gebruikt de nieuwe hulpmiddelen en gaat verder. Ze passen zich ter plekke aan aan wat de taak op dat moment vereist.

Hoe ze de assistent dit leerden doen (CAT Training):
Je zou kunnen vragen: "Hoe weet de AI wanneer hij van gedachten verandert en waar hij het voor terug moet veranderen?" De auteurs gebruikten een tweestaps-trainingsmethode genaamd CAT (Configuration-Aware Two-stage Training):

Stap 1: De "Goede Voorbeelden" Fase (RFT): Ze lieten de AI veel voorbeelden zien van succesvolle missies waarbij de assistent zelf de juiste wijzigingen bedacht. De AI leerde deze goede gedragingen te kopiëren.
Stap 2: De "Scorekaart" Fase (KTO): Ze lieten de AI taken zelfstandig uitvoeren. Als de AI de hele missie succesvol voltooide, kreeg hij een "Gouden Ster". Als de AI faalde, kreeg hij een "Rood Kruis". Cruciaal was dat de AI leerde dat elke enkele beslissing die hij onderweg nam (inclusclusief wanneer hij besloot zijn eigen regels te wijzigen) bijdroeg aan die uiteindelijke Gouden Ster of het Rode Kruis. Dit leerde de AI om betere zelf-aanpassingskeuzes te maken om uiteindelijk te winnen.

De Resultaten:
Het artikel testte dit op moeilijke taken zoals diepgaand onderzoek (feiten vinden over vele websites), algemene AI-assistentie en het repareren van softwarecode.

Zonder extra training (Zero-shot): Zelfs door alleen de "Toverstaf"-methode te gebruiken, presteerde de TOOLSELF-assistent beter dan gespecialiseerde assistenten die handmatig voor specifieke taken waren geprogrammeerd.
Met training (CAT): Na deze tweestaps-training verbeterde de prestaties van de TOOLSELF-assistent met een enorme 28,8 punten gemiddeld vergeleken met de oude "statische regelboek"-assistenten.

In Samenvatting:
TOOLSELF is als het geven van een baan aan een AI waarbij zij hun eigen baas kunnen ontslaan, nieuwe hulpmiddelen kunnen inhuren en hun eigen instructies kunnen herschrijven terwijl zij het werk doen, gebaseerd op wat er daadwerkelijk voor hen gebeurt. Dit maakt hen veel flexibeler en succesvoller in het oplossen van lange, ingewikkelde problemen dan systemen die vastzitten aan een plan dat vóór de start is gemaakt.

Technische Samenvatting: TOOLSELF

Probleemstelling

Huidige door Large Language Models (LLM) aangedreven agentische systemen kampen met een fundamentele spanning tussen domeinspecifieke prestaties en cross-task generalisatie. Bestaande systemen vertrouwen doorgaans op statische configuraties (vastgesteld vóór de uitvoering) die de strategie, de toolbox, het contextbeheer en de redeneerstijl van de agent definiëren.

Specialisatie versus Generalisatie: Sterke domeinvooraf kennis en compacte toolspaces bevorderen de prestaties bij specifieke taken, maar verzwakken de overdraagbaarheid. Daarentegen hebben algemene agents met brede toolspaces en taak-agnostische workflows een grotere dekking, maar lijden ze vaak onder verwaterde sturing en gedegradeerde prestaties over lange termijn (long-horizon performance).
Beperkingen van Bestaande Oplossingen: Voorgaande benaderingen proberen dit op te lossen via:
- Pre-executie optimalisatie: Afgeleide gespecialiseerde configuraties offline, maar niet in staat om tijdens runtime aan te passen.
- Planner-worker orchestratie: Ontkoppelt planning van uitvoering, wat leidt tot informatieverlies en gefragmenteerde credit assignment.
- Configuratie patching: Wijzigt geïsoleerde dimensies (bijv. context of tools) via externe modules, wat resulteert in gefragmenteerde optimalisatie die faalt in het coördineren van systeembrede wijzigingen.
Kernuitdaging: Deze methoden ontkoppelen adaptatie van uitvoering, waardoor de agent er niet in slaagt om zijn configuratie proactief bij te werken op basis van realtime voortgang en feedback tijdens een taak.

Methodologie: TOOLSELF

De auteurs stellen TOOLSELF (Tool-driven Self-reconfiguration) voor, een paradigma dat taakuitvoering en runtime zelfreconfiguratie verenigt binnen één enkele, optimaliseerbare policy.

1. Kernmechanisme: Unified Action Space

TOOLSELF behandelt configuratie niet als een vooraf vastgestelde constante, maar als een dynamische, door tools bij te werken staat. De uitvoerende agent $\pi_i$ opereert onder een configuratie $C_i = (q_i, \sigma_i, T_i, K_i, m_i)$ , waarbij:

$q_i$ : Huidig subdoel.
$\sigma_i$ : Uitvoeringsstrategie.
$T_i$ : Taalspecifieke toolbox (subset van de globale pool).
$K_i$ : Lokale kennis en beperkingen.
$m_i$ : Contextbeheermodus.

De agent is uitgerust met een gestandaardiseerde Reconfiguration Tool ( $T_{reconfig}$ ). Wanneer de agent bepaalt dat de huidige configuratie niet overeenkomt met de taakeisen (bijv. falende strategie, ontbrekende kennis of voltooid subdoel), roept hij $T_{reconfig}$ aan. Deze tool:

Archiveert de samenvatting van de huidige fase in een globale geschiedenispool.
Levert een configuratie-generatie specificatie ( $z_i$ ) die de dezelfde policy begeleidt bij het synthetiseren van de volgende configuratie $C_{i+1}$ .

Dit ontwerp zorgt ervoor dat configuratie-updates natuurlijke acties zijn binnen de action space van de agent, waardoor holistische updates aan subdoelen, strategieën, tools en contextbeheer simultaan mogelijk zijn.

2. Trainingsframework: Configuration-Aware Two-stage Training (CAT)

Om zelfreconfiguratie te internaliseren als een meta-capaciteit, introduceren de auteurs CAT, een end-to-end trainingsframework:

Fase I: Cold-Start Initialisatie (RFT): Maakt gebruik van Rejection Sampling Fine-tuning (RFT) op succesvolle trajecten gegenereerd door een teacher-model (Qwen3-235B). De policy leert om geldige fase-trajecten en configuratie-updates te genereren, geconditioneerd op succesvolle uitkomsten.
Fase II: Reinforcement Learning Refinement (KTO): Gebruikt Kahneman-Tversky Optimization (KTO) met traject-niveau binaire feedback. Omdat de kwaliteit van zelfreconfiguratie alleen observeerbaar is via de downstream succes van de taak, wordt credit assignment gepropageerd naar alle beslissingen (uitvoering en reconfiguratie) binnen een traject op basis van de uiteindelijke taakuitkomst (Succes/Falen).

Belangrijkste Bijdragen

TOOLSELF Paradigma: Een nieuwe architectuur die configuratie-updates abstraheert als een gestandaardiseerde tool-interface, waardoor uitvoering en adaptatie worden verenigd binnen de action space van één enkele policy. Dit maakt gezamenlijke optimalisatie en emergente adaptiviteit mogelijk zonder handmatig ingebrachte sturing.
CAT Framework: Een tweefasige trainingsbenadering (RFT + KTO) die agents leert om cross-stage zelfreconfiguratie uit te voeren, waarbij configuratiebeslissingen expliciet worden geoptimaliseerd voor downstream taaksucces.
Unified Optimization: Door adaptatie en uitvoering samen te brengen, elimineert de methode informatieverlies door cross-module relay en maakt het end-to-end credit assignment mogelijk, wat capaciteiten zoals long-horizon planning en zelfcorrectie bevordert.

Experimentele Resultaten

De auteurs evalueerden TOOLSELF op vijf datasets binnen diep onderzoek (FRAMES, xbench), algemene AI-assistentie (GAIA, GAIA(WS)) en software engineering (SWE-Lite), gebruikmakend van Qwen3-8B en Qwen3-14B modellen.

Zero-Shot Prestaties: Zelfs zonder CAT-training evenaart zero-shot TOOLSELF taakspecifieke agents (bijv. WebSailor, SWE-Agent) terwijl het een sterke cross-task generalisatie behoudt.
Trainingswinsten: Na CAT-training behaalt TOOLSELF een gemiddelde verbetering van 28,8 punten ten opzichte van statische configuratie-baselines.
- Op Qwen3-8B steeg de gemiddelde nauwkeurigheid van 16,5% (Vanilla Agent) naar 45,3% (TOOLSELF + RFT + KTO).
- Op FRAMES (Qwen3-14B) bereikte het 61,5%, waarmee het gespecialiseerde baselines zoals WebSailor (42,0%) en Co-Sight (46,0%) overtrof.
Ablatie-studies:
- Geïntegreerd vs. Ontkoppeld: Het geïntegreerde ontwerp (unified policy) presteert significant beter dan een ontkoppelde variant waarbij een aparte LLM configuraties genereert, wat bevestigt dat fijnmazige uitvoeringscontext cruciaal is voor effectieve reconfiguratie.
- Componentanalyse: Kennisoverdracht en subdoelplanning werden geïdentificeerd als de meest kritieke configuratiedimensies voor long-horizon reasoning.
- Efficiëntie: TOOLSELF demonstreerde een hogere token-efficiëntie vergeleken met gespecialiseerde agents zoals Co-Sight, ondanks diepere exploratie.

Betekenis en Claims

Het artikel beweert dat TOOLSELF een pad verlicht naar emergente adaptiviteit in agentische systemen. Door handmatig ingebrachte sturing te vervangen door leerbare, runtime zelfreconfiguratie, kan het systeem:

Dynamisch specialiseren voor diverse taken en executiefases, terwijl de algemene flexibiliteit behouden blijft.
Geavanceerde capaciteiten zoals long-horizon planning, zelfverfijning en zelfcorrectie internaliseren.
State-of-the-art prestaties bereiken op complexe benchmarks zonder dat hiervoor taalspecifieke statische configuraties of externe orchestrators nodig zijn.

De auteurs benadrukken dat deze benadering de specialisatie-generalisatie trade-off oplost door configuratie een leerbare, dynamische variabele te maken in plaats van een statische beperking, waardoor agents in staat zijn om "te leren adapteren" via traject-niveau feedback.