🤖 AI

ToolSelf: Unifying Task Execution and Self-Reconfiguration via Tool-Driven Emergent Adaptation

Das Papier führt ToolSelf ein, ein Paradigma, das die Aufgabenausführung und die Laufzeit-Selbstrekonfiguration innerhalb einer einzigen Policy vereint, um die Starrheit statischer Konfigurationen zu überwinden, wobei durch einen neuartigen konfigurationsbewussten zweistufigen Trainingsansatz (Configuration-Aware Two-stage Training, CAT) signifikante Leistungssteigerungen erzielt werden.

Ursprüngliche Autoren: Jingqi Zhou, Sheng Wang, Dezhao Deng, Junwen Lu, Junwei Su, Qintong Li, Jiahui Gao, Hao Wu, Jiyue Jiang, Lingpeng Kong, Dunhong Jin, Chuan Wu

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jingqi Zhou, Sheng Wang, Dezhao Deng, Junwen Lu, Junwei Su, Qintong Li, Jiahui Gao, Hao Wu, Jiyue Jiang, Lingpeng Kong, Dunhong Jin, Chuan Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen hochintelligenten Assistenten ein, um ein sehr komplexes, mehrstufiges Rätsel zu lösen.

Der alte Weg (Statische Konfiguration):
In traditionellen KI-Systemen müssen Sie vor dem Beginn der Arbeit ein striktes „Regelwerk“ für Ihren Assistenten schreiben. Sie sagen ihm: „Du bist ein Detektiv. Verwende diese 5 spezifischen Werkzeuge. Führe deine Notizen in diesem speziellen Notizbuchformat. Dein Ziel ist es, die verschwundene Katze zu finden.“

Das Problem ist: Sobald die Arbeit beginnt, ist der Assistent an dieses Regelwerk gebunden.

Wenn er merkt, dass er ein anderes Werkzeug benötigt (wie ein Mikroskop statt einer Lupe), kann er es nicht bekommen.
Wenn er merkt, dass seine „Detektiv“-Persona zu starr ist und er eher ein „Wissenschaftler“ sein müsste, kann er das nicht ändern.
Wenn sein Notizbuch zu voll mit nutzlosen Notizen ist, kann er es nicht aufräumen.
Er ist gezwungen, weiterhin zu versuchen, das Rätsel mit den falschen Werkzeugen und der falschen Einstellung zu lösen, was oft zum Scheitern führt, weil sich die Situation geändert hat, seine Anweisungen jedoch nicht.

Der neue Weg (TOOLSELF):
Das Paper stellt TOOLSELF vor, ein System, bei dem der Assistent nicht nur einem Regelwerk folgt, sondern sein eigenes Regelwerk schreibt, während er arbeitet.

Stellen Sie sich TOOLSELF wie einen Assistenten vor, der einen speziellen „Zauberstab“ besitzt (ein Werkzeug namens reconfigure).

Die Schleife: Der Assistent arbeitet an einem Teil der Aufgabe. Wenn er auf ein Hindernis stößt oder einen Schritt abgeschlossen hat, hält er inne.
Der Check-in: Er fragt sich selbst: „Funktioniert mein aktueller Plan? Habe ich die richtigen Werkzeuge? Ist mein Notizbuch zu unordentlich?“
Der Zauberstab: Wenn die Antwort „Nein“ lautet, schwingt er den Zauberstab. Dieses Werkzeug gibt ihm nicht nur ein neues Werkzeug, sondern erlaubt es ihm, seine gesamte Stellenbeschreibung für den nächsten Schritt umzuschreiben.
- „Okay, für den nächsten Schritt bin ich kein Detektiv mehr, sondern ein Datenanalyst.“
- „Ich muss meine Lupe gegen einen Taschenrechner austauschen.“
- „Ich muss die alten Notizen löschen und mit einer frischen Zusammenfassung beginnen.“
Das Ergebnis: Der Assistent nimmt sofort diese neue Identität an, verwendet die neuen Werkzeuge und macht weiter. Er passt sich im Moment des Geschehens an das an, was die Aufgabe erfordert.

Wie sie dem Assistenten das Beibringen haben (CAT-Training):
Sie könnten fragen: „Woher weiß die KI, wann sie ihre Meinung ändern soll und was sie daraus machen soll?“ Die Autoren verwendeten eine zweistufige Trainingsmethode namens CAT (Configuration-Aware Two-stage Training):

Schritt 1: Die „Gute Beispiele“-Phase (RFT): Sie zeigten der KI viele Beispiele für erfolgreiche Missionen, bei denen der Assistent die richtigen Änderungen aus eigener Kraft erkannt und durchgeführt hat. Die KI lernte, dieses gute Verhalten zu kopieren.
Schritt 2: Die „Bewertungsbogen“-Phase (KTO): Sie ließen die KI Aufgaben eigenständig versuchen. Wenn die KI die gesamte Mission erfolgreich abschloss, erhielt sie einen „Goldstern“. Wenn sie scheiterte, erhielt sie ein „Rotes X“. Entscheidend war, dass die KI lernte, dass jede einzelne Entscheidung, die sie im Laufe des Prozesses traf (einschließlich der Entscheidung, wann sie ihre eigenen Regeln ändert), zu diesem finalen Goldstern oder Roten X beitrug. Dies lehrte die KI, bessere Selbstjustierungs-Entscheidungen zu treffen, um am Ende zu gewinnen.

Die Ergebnisse:
Das Paper testete dies bei schwierigen Aufgaben wie tiefgehender Recherche (Informationsbeschaffung über viele Websites hinweg), allgemeiner KI-Assistenz und der Fehlerbehebung in Software-Code.

Ohne zusätzliches Training (Zero-shot): Selbst wenn sie nur die „Zauberstab“-Methode verwendeten, schnitt der TOOLSELF-Assistent besser ab als spezialisierte Assistenten, die manuell für spezifische Aufgaben programmiert worden waren.
Mit Training (CAT): Nach dem zweistufigen Training verbesserte der TOOLSELF-Assistent seine Leistung im Durchschnitt um massive 28,8 Punkte im Vergleich zu den alten „statischen Regelwerk“-Assistenten.

Zusammenfassend:
TOOLSELF ist wie die Gabe eines Jobs an eine KI, bei der sie ihren eigenen Chef entlassen, neue Werkzeuge anheuern und ihre eigenen Anweisungen während der Arbeit umschreiben kann – basierend auf dem, was tatsächlich vor ihr geschieht. Dies macht sie viel flexibler und erfolgreicher bei der Lösung langer, komplizierter Probleme als Systeme, die an einen Plan gebunden sind, der vor dem Start erstellt wurde.

Technisches Resümee: TOOLSELF

Problemstellung

Aktuelle durch Large Language Models (LLM) gesteuerte agentische Systeme stehen vor einem grundlegenden Spannungsverhältnis zwischen domänenspezifischer Leistung und aufgabenübergreifender Generalisierung. Bestehende Systeme verlassen sich typischerweise auf statische Konfigurationen (vor der Ausführung festgelegt), die die Strategie, das Werkzeugset (Toolbox), das Kontextmanagement und den Denkstil des Agenten definieren.

Spezialisierung vs. Generalisierung: Starke Domänen-Priors und kompakte Toolspaces fördern die Leistung bei spezifischen Aufgaben, schwächen jedoch die Übertragbarkeit. Umgekehrt erweitern generalistische Agenten mit breiten Toolspaces und aufgabenagnostischen Workflows die Abdeckung, leiden aber oft unter verwässerter Anleitung und beeinträchtigter Performance bei langfristigen Aufgaben (long-horizon performance).
Limitierungen bestehender Lösungen: Vorangegangene Ansätze versuchen dies durch folgende Methoden zu lösen:
- Optimierung vor der Ausführung: Erzeugt spezialisierte Konfigurationen offline, kann aber zur Laufzeit nicht mehr adaptieren.
- Planner-Worker-Orchestrierung: Entkoppelt Planung von Ausführung, was zu Informationsverlust und fragmentierter Kreditzuweisung (credit assignment) führt.
- Konfigurations-Patching: Modifiziert isolierte Dimensionen (z. B. Kontext oder Tools) über externe Module, was zu einer fragmentierten Optimierung führt, die systemweite Änderungen nicht koordinieren kann.
Kernherausforderung: Diese Methoden entkoppeln die Adaptation von der Ausführung, wodurch der Agent daran gehindert wird, seine Konfiguration proaktiv basierend auf dem Echtzeit-Fortschritt und dem Feedback der Aufgabe zu aktualisieren.

Methodik: TOOLSELF

Die Autoren schlagen TOOLSELF (Tool-driven Self-reconfiguration) vor, ein Paradigma, das die Aufgabenausführung und die Selbstrekonfiguration zur Laufzeit innerhalb einer einzigen, optimierbaren Policy vereint.

1. Kernmechanismus: Einheitlicher Aktionsraum

TOOLSELF behandelt die Konfiguration nicht als vorab festgelegten Konstrukt, sondern als dynamischen, werkzeugaktualisierbaren Zustand. Der Ausführungsagent $\pi_i$ operiert unter einer Konfiguration $C_i = (q_i, \sigma_i, T_i, K_i, m_i)$ , wobei:

$q_i$ : Aktuelles Teilziel (sub-goal).
$\sigma_i$ : Ausführungsstrategie.
$T_i$ : Stadienspezifisches Werkzeugset (Teilmenge eines globalen Pools).
$K_i$ : Lokales Wissen und Constraints.
$m_i$ : Kontext-Management-Modus.

Der Agent ist mit einem standardisierten Rekonfigurations-Werkzeug ( $T_{reconfig}$ ) ausgestattet. Wenn der Agent feststellt, dass die aktuelle Konfiguration nicht mit den Aufgabenanforderungen übereinstimmt (z. B. Strategiefehler, fehlendes Wissen oder abgeschlossenes Teilziel), ruft er $T_{reconfig}$ auf. Dieses Werkzeug:

Archiviert die Zusammenfassung des aktuellen Stadiums in einem globalen Historien-Pool.
Liefert eine Konfigurations-Generierungsspezifikation ( $z_i$ ) zurück, die dieselbe Policy anleitet, die nächste Konfiguration $C_{i+1}$ zu synthetisieren.

Dieses Design stellt sicher, dass Konfigurations-Updates native Aktionen innerhalb des Aktionsraums des Agenten sind, was es ermöglicht, Subziele, Strategien, Tools und das Kontextmanagement gleichzeitig ganzheitlich zu aktualisieren.

2. Trainings-Framework: Configuration-Aware Two-stage Training (CAT)

Um die Selbstrekonfiguration als Meta-Fähigkeit zu internalisieren, führen die Autoren CAT ein, ein End-to-End-Trainings-Framework:

Stufe I: Cold-Start Initialisierung (RFT): Verwendet Rejection Sampling Fine-tuning (RFT) auf erfolgreichen Trajektorien, die von einem Teacher-Modell (Qwen3-235B) generiert wurden. Die Policy lernt, gültige Stadium-Trajektorien und Konfigurations-Updates zu generieren, die auf erfolgreiche Ergebnisse konditioniert sind.
Stufe II: Reinforcement Learning Refinement (KTO): Nutzt Kahneman-Tversky Optimization (KTO) mit Trajektorien-basierter binärer Rückmeldung. Da die Qualität der Selbstrekonfiguration nur durch den Erfolg der nachgelagerten Aufgabe beobachtbar ist, wird die Kreditzuweisung auf alle Entscheidungen (Ausführung und Rekonfiguration) innerhalb einer Trajektorie basierend auf dem finalen Aufgabenergebnis (Erfolg/Misserfolg) übertragen.

Zentrale Beiträge

TOOLSELF-Paradigma: Eine neuartige Architektur, die Konfigurations-Updates als standardisiertes Werkzeug-Interface abstrahiert und somit Ausführung und Adaptation innerhalb des Aktionsraums einer einzigen Policy vereint. Dies ermöglicht eine gemeinsame Optimierung und emergente Adaptivität ohne manuell injizierte Anleitung.
CAT-Framework: Ein zweistufiger Trainingsansatz (RFT + KTO), der Agenten dazu lehrt, stufenübergreifende Selbstrekonfiguration durchzuführen und Konfigurationsentscheidungen explizit für den Erfolg der nachgelagerten Aufgabe zu optimieren.
Einheitliche Optimierung: Durch die Zusammenlegung von Adaptation und Ausführung eliminiert die Methode Informationsverluste durch die Weitergabe zwischen Modulen und ermöglicht eine End-to-End-Kreditzuweisung, was Fähigkeiten wie langfristige Planung und Selbstkorrektur fördert.

Experimentelle Ergebnisse

Die Autoren evaluierten TOOLSELF auf fünf Datensätzen aus den Bereichen Deep Research (FRAMES, xbench), allgemeine KI-Assistenz (GAIA, GAIA(WS)) und Software Engineering (SWE-Lite) unter Verwendung von Qwen3-8B und Qwen3-14B Modellen.

Zero-Shot-Leistung: Selbst ohne CAT-Training erreicht Zero-Shot TOOLSELF das Niveau spezialisierter Agenten (z. B. WebSailor, SWE-Agent), während es gleichzeitig eine starke aufgabenübergreifende Generalisierung beibehält.
Trainingsgewinne: Nach dem CAT-Training erzielt TOOLSELF eine durchschnittliche Verbesserung von 28,8 Punkten gegenüber statischen Konfigurations-Baselines.
- Bei Qwen3-8B stieg die durchschnittliche Genauigkeit von 16,5 % (Vanilla Agent) auf 45,3 % (TOOLSELF + RFT + KTO).
- Auf FRAMES (Qwen3-14B) erreichte es 61,5 % und übertraf damit spezialisierte Baselines wie WebSailor (42,0 %) und Co-Sight (46,0 %).
Ablationsstudien:
- Integriert vs. Entkoppelt: Das integrierte Design (einheitliche Policy) schneidet signifikant besser ab als eine entkoppelte Variante, bei der ein separates LLM die Konfigurationen generiert, was bestätigt, dass der feingliedrige Ausführungskontext entscheidend für eine effektive Rekonfiguration ist.
- Komponentenanalyse: Wissens-Transfer und Subziel-Planung wurden als die kritischsten Konfigurationsdimensionen für langfristiges (long-horizon) Reasoning identifiziert.
- Effizienz: TOOLSELF demonstrierte trotz tieferer Exploration eine höhere Token-Effizienz im Vergleich zu spezialisierten Agenten wie Co-Sight.

Bedeutung und Ansprüche

Das Paper behauptet, dass TOOLSELF den Weg zu emergenter Adaptivität in agentischen Systemen aufzeigt. Durch den Ersatz von manuell injizierter Anleitung durch lernbare, zur Laufzeit stattfindende Selbstrekonfiguration kann das System:

Dynamisch für diverse Aufgaben und Ausführungsstadien spezialisieren, während die allgemeine Flexibilität erhalten bleibt.
Fortgeschrittene Fähigkeiten wie langfristige Planung, Selbstverfeinerung und Selbstkorrektur internalisieren.
State-of-the-Art-Leistung auf komplexen Benchmarks erreichen, ohne auf aufgabenspezifische statische Konfigurationen oder externe Orchestratoren angewiesen zu sein.

Die Autoren betonen, dass dieser Ansatz das Spezialisierungs-Generalisierungs-Dilemma löst, indem er die Konfiguration zu einer lernbaren, dynamischen Variable statt zu einer statischen Beschränkung macht, was es Agenten ermöglicht, durch Trajektorien-basiertes Feedback zu „lernen, sich anzupassen“.