🤖 AI

CoCoDA: Co-evolving Compositional DAG for Tool-Augmented Agents

CoCoDA ist ein Framework, das es kleinen Sprachmodellen ermöglicht, größere Lehrermodelle einzuholen oder zu übertreffen, indem es innerhalb eines einzigen kompositorischen Code-DAGs einen Planer und eine wachsende Tool-Bibliothek ko-evolvieren lässt, was die Abrufeffizienz durch symbolische Vereinheitlichung optimiert und das Lernen über einen strukturbewussten Belohnungsmechanismus beschleunigt.

Ursprüngliche Autoren: Ziyang Yu, Qiyue Li, Liang Zhao

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ziyang Yu, Qiyue Li, Liang Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber kleinen Roboter-Assistenten (den „Planer"), der komplexe Probleme lösen muss, wie etwa fortgeschrittene Mathematik oder das Schreiben von Code. Dieser Roboter verfügt über einen begrenzten „Gehirnraum" (Kontextfenster), um Informationen gleichzeitig zu speichern. Um ihm zu helfen, geben wir ihm eine Werkzeugkiste mit Fähigkeiten (Tools), die er nutzen kann.

Das Problem bestehender Methoden ist vergleichbar mit dem Versuch, eine riesige Bibliothek voller Bücher in Ihrer Hosentasche zu tragen. Wenn Sie dem Roboter mehr nützliche Bücher (Tools) hinzufügen, wird die Tasche zu schwer, und der Roboter kann nicht genug davon in sein Gehirn aufnehmen, um das Problem zu lösen. Außerdem weiß der Roboter nicht, wie er diese Bücher organisieren soll; er sieht nur einen unordentlichen Haufen Text, was es schwierig macht, das richtige schnell zu finden.

CoCoDA ist ein neues System, das dies löst, indem es verändert, wie die Werkzeugkiste aufgebaut ist und wie der Roboter lernt, sie zu nutzen. So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Lebende Bauplan" (Der kompositionelle DAG)

Anstatt eines unordentlichen Haufens Bücher baut CoCoDA einen lebenden Bauplan (einen gerichteten azyklischen Graphen, oder DAG).

Die Knoten: Stellen Sie sich diese als einzelne Tools vor. Einige sind Basis-Tools (wie ein Hammer oder ein Schraubenzieher), andere sind „Super-Tools" (wie eine vorgebaute Bohrmaschine), die durch die Kombination der Basis-Tools entstehen.
Die Verbindungen: Der Bauplan zeigt genau, wie die Super-Tools aus den Basis-Tools aufgebaut sind. Es ist wie ein Kochbuch, bei dem das Rezept für „Kuchen" auf die Schritte „Teig mischen" und „Backen" verweist.
Der Vorteil: Da der Bauplan die Struktur kennt, muss der Roboter nicht jede einzelne Seite jedes Buches lesen. Er kann auf das „Inhaltsverzeichnis" (Signaturen) und die „Rezept-Schritte" (Abhängigkeiten) schauen, um sofort zu wissen, welche Tools zusammenpassen.

2. Der „Intelligente Filter" (Typisierter DAG-Retrieval)

Wenn der Roboter auf ein neues Problem trifft, muss er die richtigen Tools auswählen. Alte Methoden würden die Beschreibung jedes Tools in der Bibliothek lesen, was langsam ist und zu viel Gehirnraum verbraucht.

CoCoDA verwendet einen Vier-Stufen-Filter, um die Auswahl einzugrenzen, ähnlich wie ein Sicherheitskontrollpunkt:

Stufe 1 (Der Ausweis-Check): Es wird der „Ausweis" des Tools (seine Typsignatur) geprüft. Wenn das Tool nicht zum Job passt (z. B. wenn versucht wird, mit einem Hammer Papier zu schneiden), wird es sofort abgelehnt. Dies kostet fast keine Gehirnleistung.
Stufe 2 (Der Beschreibungs-Scan): Für die Tools, die den Ausweis-Check bestanden haben, werden ihre kurzen Beschreibungen gelesen, um zu sehen, ob sie relevant klingen.
Stufe 3 (Der Regel-Check): Es werden die „Regeln" (Vorbedingungen und Nachbedingungen) geprüft. Benötigt dieses Tool Eingaben, die es nicht hat? Wird es die richtige Ausgabe produzieren? Wenn nicht, wird es verworfen.
Stufe 4 (Das Beispiel-Matching): Schließlich betrachtet es reale Beispiele für den Einsatz des Tools, um die absolut beste Übereinstimmung zu finden.

Die Magie: Da es schlechte Tools in den günstigen, schnellen Stufen (1 und 2) aussortiert, gibt es nur für die wenigen Tools, die den Schnitt tatsächlich überstanden haben, teure „Gehirnleistung" für das Lesen der vollständigen Details aus. Dies verhindert, dass die „Tasche" des Roboters zu schwer wird, selbst wenn die Bibliothek riesig wächst.

3. Die „Co-Evolution" (Gemeinsames Lernen)

Dies ist der einzigartigste Teil. Normalerweise lernt der Roboter, Tools zu nutzen, aber die Tools bleiben gleich. Bei CoCoDA wachsen der Roboter und die Werkzeugkiste gemeinsam auf.

Entdeckung: Wenn der Roboter ein schwieriges Problem erfolgreich löst, indem er mehrere Basis-Schritte verketten (wie „addieren", „multiplizieren" und dann „dividieren"), betrachtet ein „Lehrer" (eine größere, intelligentere KI) diesen Erfolg.
Erfindung: Der Lehrer sagt: „Hey, diese Abfolge von Schritten ist nützlich! Packen wir sie in ein neues 'Super-Tool' und fügen sie dem Bauplan hinzu."
Belohnung: Der Roboter erhält einen Bonus-Punkt (Reward) für die Nutzung dieser neuen Super-Tools, da sie ihn davor bewahren, die Basis-Schritte immer wiederholen zu müssen.
Die Schleife: Je besser der Roboter wird, desto mehr Muster findet er zum Bündeln. Je intelligenter die Werkzeugkiste wird, desto schwierigere Probleme kann der Roboter lösen. Sie entwickeln sich synchron weiter.

Die Ergebnisse

Die Studie testete dieses System an mathematischen Problemen, Tabellenanalysen und Codierungsaufgaben.

Der „Klein gegen Groß"-Test: Sie verwendeten einen kleinen Roboter (8 Milliarden „Gehirneinheiten") und verglichen ihn mit einem riesigen Roboter (32 Milliarden Einheiten).
Das Ergebnis: Mit CoCoDA konnte der kleine Roboter den riesigen Roboter bei schwierigen mathematischen und logischen Rätseln einholen oder sogar übertreffen.
Effizienz: Der kleine Roboter hatte nicht nur Glück; er lernte, sein Wissen so effizient zu organisieren, dass er keine riesige Gehirngröße benötigte, um die schwere Arbeit zu verrichten.

Kurz gesagt: CoCoDA lehrt eine kleine KI, sich ihre eigene organisierte, hierarchische Bibliothek von Fähigkeiten aufzubauen, sodass sie weit über ihre Gewichtsklasse hinaus schlagen kann, indem sie genau weiß, welche Tools sie greifen muss und wie sie diese kombiniert, ohne überwältigt zu werden.

Technische Zusammenfassung: CoCoDA – Co-evolvierender kompositioneller DAG für tool-augmentierte Agenten

1. Problemformulierung

Tool-augmentierte Sprachmodelle (LLMs) erweitern kleine Planer um externe ausführbare Fähigkeiten, sodass sie Berechnungen und symbolische Manipulationen auslagern können. Die Skalierung der Tool-Bibliothek führt jedoch zu einer fundamentalen Spannung: Die Bibliothek muss mit dem Planer mitwachsen, um neue wiederverwendbare Subroutinen zu erfassen, doch die Suche in einer wachsenden Bibliothek muss innerhalb eines festen Kontextbudgets bleiben.

Bestehende Ansätze lösen diese Kopplung nicht. Statische Tool-Nutzungssysteme gehen von einem festen Inventar aus, während Methoden zur Fähigkeitsbibliothek Tools typischerweise als flache Textdatensätze oder natürliche Sprachgedächtnisse speichern. Diese flachen Strukturen lassen die Prompt-Kosten linear mit der Bibliotheksgröße wachsen und verschleiern die typisierte, kompositionelle Struktur ausführbaren Codes. Umgekehrt nutzen Code-Bibliotheks-Methoden Struktur aus, sind jedoch nicht für LLM-Planer konzipiert, die unter token-budgetierter Suche operieren. Die Kernherausforderung besteht darin, einen Mechanismus zu entwerfen, der gleichzeitig codebewusst, sucheffizient und online lernbar ist und zwei gekoppelte Probleme löst: Wie wächst die Bibliothek mit der Policy, und wie wird aus dieser wachsenden Bibliothek unter einem festen Kontextfenster gesucht?

2. Methodik: Das CoCoDA-Framework

CoCoDA adressiert diese Herausforderungen durch eine einzige code-native Struktur: einen kompositionellen Code-DAG (gerichteter azyklischer Graph). Dieses Framework lässt den Planer ( $\pi_\theta$ ) und die Tool-Bibliothek ( $L$ ) über zwei Hauptkomponenten ko-evolvieren: Typisierte DAG-Suche und ein Online-Ko-Evolutionsverfahren.

2.1 Struktur des Kompositionellen Tool-DAG

Die Bibliothek $L$ ist als DAG $G=(V, E)$ organisiert, wobei:

Knoten ( $V$ ): In primitive Knoten (atomare ausführbare Funktionen) und komposite Knoten (Makro-Aktionen, die bestehende Tools aufrufen) unterteilt sind.
Kanten ( $E$ ): Aufrufabhängigkeiten kodieren und die Bibliothek nach Abstraktion statt nach oberflächlicher Ähnlichkeit stratifizieren.
Knotendatensätze ( $I(v)$ ): Jeder Knoten speichert einen vierstufigen Datensatz:
1. $L_1$ : Typisierte Signatur (symbolisch).
2. $L_2$ : Beschreibung in natürlicher Sprache.
3. $L_3$ : Spezifikationen für Vorher-/Nachher-Bedingungen und Komplexität.
4. $L_4$ : Ausgearbeitete Ein-/Ausgabe-Beispiele.

2.2 Typisierte DAG-Suche

Zum Inferenzzeitpunkt setzt CoCoDA eine grob-zu-fein Suchkaskade ein, die Kandidaten symbolisch filtert, bevor teure LLM-Kosten anfallen. Gegeben ein durch eine Abfrage induziertes Teilziel, konstruiert der Prozess eine verschachtelte Folge von Überlebendenmengen $S_0 \supseteq S_1 \supseteq S_2 \supseteq S_3 \supseteq S_4$ :

$L_1$ (Symbolisches Pruning): Filtert Tools durch Vereinheitlichung der Teilzielsignatur mit der typisierten Signatur des Tools. Diese Stufe ist symbolisch und verursacht keine Prompt-Token-Kosten.
$L_2$ (Semantische Expansion): Rangiert Überlebende nach semantischer Relevanz unter Verwendung von Beschreibungen. Entscheidend ist, dass diese Stufe basierend auf der DAG-Struktur zu einer übergeordneten kompositen Einheit aufsteigen oder zu einer primitiven Einheit absteigen kann – eine Fähigkeit, die flache Textsuche nicht besitzt.
$L_3$ (Spezifikationsfilterung): Verifiziert Vorher-/Nachher-Bedingungen und Komplexitätsbeschränkungen. Überlebende Komposite werden als Makro-Aktionen zertifiziert, die ihren primitiven Sub-Trajektorien äquivalent sind.
$L_4$ (Beispiel-basierte Auflösung): Rangiert Überlebende erneut unter Verwendung ausgearbeiteter Beispiele, um Gleichstandsituationen aufzulösen.

Diese Kaskade stellt sicher, dass teure, LLM-abgerechnete Datensätze nur für progressiv kleinere Kandidatenmengen materialisiert werden, wodurch die Suchkosten sublinear zur Bibliotheksgröße bleiben.

2.3 Online-Ko-Evolution

Das Framework aktualisiert Planer und Bibliothek gleichzeitig basierend auf erfolgreichen Trajektorien:

Bibliotheks-Wachstum: Erfolgreiche Trajektorien werden an einen festen Lehrer-Abstraktor ( $M_T$ ) weitergeleitet, der komposite Tools vorschlägt. Ein Vorschlag wird nur übernommen, wenn er die Azyklizität bewahrt und Abhängigkeits-/Spezifikationsprüfungen besteht (via INSERTTOOL).
Planer-Update: Der Planer wird unter Verwendung eines DAG-induzierten Rewards aktualisiert. Neben dem Standard-Ergebnis-Reward ( $R_{res}$ $R_{r es}$ ) gewährt ein kompositioneller Reward ( $R_{comp}$ $R_{co m p}$ ) Tools Credits basierend auf ihrer „gesparten-Aufruf"-Anzahl ( $\Phi$ $Φ$ ), definiert als die Anzahl primitiver Aufrufe, die ein Kompositum ersetzt.
- $R(\tau) = R_{res}(\tau) + \lambda \sum \Phi(t_i)$ .
- Dieser Reward ermutigt den Planer, durch tiefere Komposite zu routen, was effektiv die Anzahl der für eine Aufgabe erforderlichen Tool-Aufrufe ( $T(\tau)$ ) verringert.

3. Hauptbeiträge

Problemformulierung: Die Autoren fassen das Lernen von Tool-Bibliotheken für kleine LLMs als gemeinsames Optimierungsproblem mit expliziten Suchkosten- und Kontextfenster-Beschränkungen zusammen und adressieren das gekoppelte Wachstum von Policy und Bibliothek.
Typisierte DAG-Suche: Eine code-native Suchkaskade, die Signaturen, Aufrufkanten, Spezifikationen und Beispiele nutzt, um die Prompt-Kosten sublinear zur Bibliotheksgröße zu halten.
Ko-Evolutionsverfahren: Ein Online-Mechanismus, der validierte komposite Tools einfügt und den Planer mit einem strukturellen „gesparten-Aufruf"-Reward trainiert, um die Ausnutzung neu erlernter Abstraktionen zu fördern.
Theoretische Garantien: Die Arbeit liefert Beweise für:
- Reduktion der Suchkosten und sublineare Suchzeit.
- Kompositionellen Vorteil unter dem geformten Reward (Beweis, dass die Verwendung von Kompositen strikt höhere Rewards liefert als äquivalente primitive Sequenzen).
- Monotone Ko-Evolution unter konservativen Updates.
- DAG-Ordnungsgemäßheit (Azyklizität und Tiefenbeschränkungen).

4. Experimentelle Ergebnisse

CoCoDA wurde an sechs Benchmarks evaluiert, die mathematisches Schlussfolgern (GSM8K, MATH), Tabellenanalyse (WikiTableQuestions, FinQA) und Code-Aufgaben (EvalPlus, MBPP) abdecken.

Leistung: Ein mit CoCoDA trainiertes 8B-Studentenmodell erreichte auf GSM8K (93,67 vs. 93,40) und MATH (63,18 vs. 61,62) Ergebnisse, die einem 32B-Lehrermodell entsprachen oder diese übertrafen.
Skalierung: Die Verbesserungen gegenüber dem reinen Chain-of-Thought (CoT) waren bei kleineren Skalen am signifikantesten (z. B. +10,7 auf GSM8K für das 0,6B-Modell).
Basislinien: CoCoDA übertraf konsistent starke Tool-Nutzung-Basislinien (ReAct, ToRL, ReTool) und Methoden zum Bibliothekslernen (CREATOR, TroVE). Bemerkenswerterweise schnitten Bibliotheksaufbau-Basislinien ohne einen engen Schüler-Lehrer-Loop bei mathematischen und Code-Aufgaben schlechter ab als reines CoT, was die Notwendigkeit der Ko-Evolution bestätigt.
Effizienz: Als die Bibliotheksgröße auf 1.600 Knoten anwuchs, waren CoCoDAs Suchkosten etwa 11,4 $\times$ niedriger als bei flacher Suche und 4,7 $\times$ niedriger als bei text-hierarchischem RAG.
Ablationsstudie: Das Entfernen des Kompositionellen Tool-DAG (CTD) verursachte den größten Leistungsabfall (2–4 Punkte) und unterstreicht die Bedeutung von Abhängigkeitskanten. Das Deaktivieren der Typisierten DAG-Suche (TDR) beeinträchtigte Tabellenaufgaben am stärksten, während das Entfernen des graphenbewussten Rewards (GAR) die Leistung einheitlich reduzierte.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CoCoDA die Spannung zwischen Bibliothekswachstum und Kontextbeschränkungen auflöst, indem es die einzigartigen strukturellen Eigenschaften ausführbaren Codes nutzt. Durch die Darstellung der Bibliothek als kompositioneller DAG ermöglicht das Framework:

Sublineare Suche: Die Fähigkeit, komplexe, wiederverwendbare Abstraktionen zu Tage zu fördern, ohne die Kontextkosten linear zu erhöhen.
Strukturelles Lernen: Ein Reward-Signal, das den Planer explizit dafür würdigt, primitive Sequenzen in Komposite zu komprimieren, was die Ko-Evolution von Policy und Bibliothek vorantreibt.
Skalierbarkeit: Die Fähigkeit kleiner Modelle (8B), die Leistung viel größerer Modelle (32B) zu erreichen, indem sie ein externes, sich entwickelndes prozedurales Gedächtnis effektiv nutzen.

Die Autoren schließen, dass dieser Ansatz einen gangbaren Weg für kleine Sprachmodelle bietet, Berechnungen und symbolische Manipulationen effizient auszulagern, sofern die Bibliothek mit der Policy durch eine Struktur ko-evolviert, die die ausführbare Natur der Tools respektiert. Als zukünftige Arbeit wird die Erweiterung auf multimodale Szenarien und Multi-Agenten-Szenarien erwähnt.