Technische Samenvatting: CoCoDA – Co-evoluerende Compositieve DAG voor Tool-verrijkte Agenten

1. Probleemformulering

Tool-verrijkte taalkundige modellen (LLM's) breiden kleine planners uit met externe uitvoerbare vaardigheden, waardoor ze rekenkracht en symbolische manipulatie kunnen uitbesteden. Het opschalen van de toolbibliotheek introduceert echter een fundamentele spanning: de bibliotheek moet evolueren met de planner om nieuwe herbruikbare subroutines vast te leggen, terwijl het ophalen uit een groeiende bibliotheek binnen een vast contextbudget moet blijven.

Bestaande benaderingen slagen er niet in deze koppeling op te lossen. Statische tool-gebruikssystemen gaan uit van een vast inventaris, terwijl methoden voor vaardigheidsbibliotheken tools doorgaans opslaan als platte tekstrecords of natuurlijke taalmemories. Deze platte structuren zorgen ervoor dat promptkosten lineair groeien met de bibliotheekgrootte en verdoezelen het getypeerde, compositieve karakter van uitvoerbare code. Omgekeerd exploiteren code-bibliotheekmethodes structuur, maar zijn ze niet ontworpen voor LLM-planners die opereren onder token-budgetteerde ophaalbeperkingen. De kernuitdaging is het ontwerpen van een mechanisme dat tegelijkertijd code-bewust, ophaalefficiënt en online leerbaar is, en twee gekoppelde problemen oplost: hoe de bibliotheek te laten groeien met het beleid, en hoe uit die groeiende bibliotheek te halen binnen een vast contextvenster.

2. Methodologie: Het CoCoDA-kader

CoCoDA adresseert deze uitdagingen via een enkele code-inheemse structuur: een Compositieve Code DAG (Gerichte Acyclische Graaf). Dit kader laat de planner ($\pi_\theta$) en de toolbibliotheek ($L$) co-evolueren via twee hoofdbestanddelen: Getypeerde DAG-ophaling en een online co-evolutieprocedure.

2.1 Structuur van de Compositieve Tool-DAG

De bibliotheek $L$ is georganiseerd als een DAG $G=(V, E)$ waarbij:

• Knopen ($V$): Gesplitst in primitieve knopen (atomaire uitvoerbare functies) en compositieve knopen (macro-acties die bestaande tools oproepen).
• Randen ($E$): Encoderen oproepafhankelijkheden, en stratificeren de bibliotheek op abstractie in plaats van oppervlakkige gelijkenis.
• Knoperegisters ($I(v)$): Elke knop slaat een vier-niveau register op:
  1. $L_1$: Getypeerde signatuur (symbolisch).
  2. $L_2$: Beschrijving in natuurlijke taal.
  3. $L_3$: Specificaties van pre-/post-condities en complexiteit.
  4. $L_4$: Uitgewerkte input-output voorbeelden.

2.2 Getypeerde DAG-ophaling

Tijdens inferentie hanteert CoCoDA een grof-naar-fijn ophaalcascade die kandidaten symbolisch filtert voordat er dure LLM-kosten worden gemaakt. Gegeven een door een query geïnduceerd subdoel, bouwt het proces een geneste reeks overlevende verzamelingen op $S_0 \supseteq S_1 \supseteq S_2 \supseteq S_3 \supseteq S_4$:

1. $L_1$ (Symbolische filtering): Filtert tools door de signatuur van het subdoel te unificeren met de getypeerde signatuur van de tool. Deze fase is symbolisch en incurt geen kosten voor prompt-tokens.
2. $L_2$ (Semantische expansie): Rangschikt overlevenden op semantische relevantie aan de hand van beschrijvingen. Cruciaal is dat deze fase kan klimmen naar een omvattende compositie of kan dalen naar een primitieve, gebaseerd op de DAG-structuur; een vermogen dat platte tekstophaling mist.
3. $L_3$ (Filtering op specificaties): Verifieert pre-/post-condities en complexiteitsbeperkingen. Overlevende composities worden gecertificeerd als macro-acties die equivalent zijn aan hun primitieve subtrajecten.
4. $L_4$ (Disambiguering via voorbeelden): Her Rangschikt overlevenden met behulp van uitgewerkte voorbeelden om gelijke standen te doorbreken.

Deze cascade zorgt ervoor dat dure, door LLM's gefactureerde records alleen worden gerealiseerd voor progressief kleinere kandidaatverzamelingen, waardoor de ophaalkost sublineair blijft ten opzichte van de bibliotheekgrootte.

2.3 Online Co-evolutie

Het kader update de planner en de bibliotheek gelijktijdig op basis van succesvolle trajecten:

• Groei van de bibliotheek: Succesvolle trajecten worden doorgegeven aan een vaste leraar-abstractor ($M_T$) die compositieve tools voorstelt. Een voorstel wordt alleen vastgelegd als het acycliciteit behoudt en voldoet aan afhankelijkheids-/specificatiecontroles (via INSERTTOOL).
• Update van de planner: De planner wordt bijgewerkt met een DAG-geïnduceerde beloning. Naast de standaard resultaatbeloning ($R_{res}$), krediteert een compositieve beloning ($R_{comp}$) tools op basis van hun aantal "gespaarde oproepen" ($\Phi$), gedefinieerd als het aantal primitieve oproepen dat een compositie vervangt.
  • $R(\tau) = R_{res}(\tau) + \lambda \sum \Phi(t_i)$.
  • Deze beloning moedigt de planner aan om door diepere composities te routeren, wat effectief het aantal tooloproepen ($T(\tau)$) dat voor een taak nodig is, verkleint.

3. Belangrijkste Bijdragen

1. Probleemformulering: De auteurs formuleren het leren van toolbibliotheken voor kleine LLM's als een gezamenlijk optimalisatieprobleem met expliciete ophaalkost- en contextvensterbeperkingen, waarmee de gekoppelde groei van beleid en bibliotheek wordt aangepakt.
2. Getypeerde DAG-ophaling: Een code-inheemse ophaalcascade die gebruikmaakt van signaturen, oproepranden, specificaties en voorbeelden om de promptkost sublineair te houden ten opzichte van de bibliotheekgrootte.
3. Co-evolutieprocedure: Een online mechanisme dat gevalideerde compositieve tools invoegt en de planner traint met een structurele "gespaarde-oproep"-beloning, wat de exploitatie van nieuw geleerde abstracties stimuleert.
4. Theoretische garanties: Het paper levert bewijzen voor:
   • Vermindering van ophaalkosten en sublineaire ophaaltijd.
   • Compositief voordeel onder de vormgegeven beloning (bewijzend dat het gebruik van composities strikt hogere beloningen oplevert dan equivalente primitieve sequenties).
   • Monotone co-evolutie onder conservatieve updates.
   • Goede vorm van de DAG (acycliciteit en dieptegrenzen).

4. Experimentele Resultaten

CoCoDA werd geëvalueerd op zes benchmarks voor wiskundig redeneren (GSM8K, MATH), tabelanalyse (WikiTableQuestions, FinQA) en code-taken (EvalPlus, MBPP).

• Prestaties: Een 8B-studentmodel getraind met CoCoDA kwam overeen met of overtrof een 32B-leraarmodel op GSM8K (93,67 vs. 93,40) en MATH (63,18 vs. 61,62).
• Opschaling: Winsten ten opzichte van de standaard Chain-of-Thought (CoT) waren het meest significant bij kleinere schalen (bijv. +10,7 op GSM8K voor het 0,6B-model).
• Basislijnen: CoCoDA presteerde consequent beter dan sterke tool-gebruiksbasislijnen (ReAct, ToRL, ReTool) en bibliotheekleermethoden (CREATOR, TroVE). Opmerkelijk is dat bibliotheekconstructie-basislijnen zonder een strakke student-leraar-lus onderpresteerden ten opzichte van gewone CoT op wiskunde- en codetaken, wat de noodzaak van co-evolutie bevestigt.
• Efficiëntie: Naarmate de bibliotheekgrootte groeide tot 1.600 knopen, was de ophaalkost van CoCoDA ongeveer 11,4$\times$ lager dan platte ophaling en 4,7$\times$ lager dan tekst-hiërarchische RAG.
• Ablatie: Het verwijderen van de Compositieve Tool-DAG (CTD) veroorzaakte de grootste prestatiedaling (2–4 punten), wat het belang van afhankelijkheidsranden benadrukt. Het uitschakelen van Getypeerde DAG-ophaling (TDR) deed tabeltaken het meest pijn, terwijl het verwijderen van de graafbewuste beloning (GAR) de prestaties uniform verlaagde.

5. Betekenis en Claims

Het paper claimt dat CoCoDA de spanning tussen bibliotheekgroei en contextbeperkingen oplost door gebruik te maken van de unieke structurele eigenschappen van uitvoerbare code. Door de bibliotheek te representeren als een compositieve DAG, maakt het kader het volgende mogelijk:

• Sublineaire ophaling: Het vermogen om complexe, herbruikbare abstracties aan het licht te brengen zonder dat de contextkosten lineair toenemen.
• Structureel leren: Een beloningssignaal dat de planner expliciet krediteert voor het comprimeren van primitieve sequenties tot composities, wat de co-evolutie van beleid en bibliotheek aandrijft.
• Schaalbaarheid: Het vermogen voor kleine modellen (8B) om de prestaties van veel grotere modellen (32B) te bereiken door effectief gebruik te maken van een externe, evoluerende procedurale geheugen.

De auteurs concluderen dat deze aanpak een haalbare weg biedt voor kleine taalkundige modellen om rekenkracht en symbolische manipulatie efficiënt uit te besteden, mits de bibliotheek co-evolueert met het beleid via een structuur die rekening houdt met de uitvoerbare aard van de tools. Toekomstig werk wordt vermeld om dit uit te breiden naar multimodale instellingen en multi-agent scenario's.