💬 NLP

AutoTool: Dynamic Tool Selection and Integration for Agentic Reasoning

AutoTool ist ein Trainings-Framework, das die Anpassungsfähigkeit von LLM-Agenten an sich entwickelnde Toolsets durch den Einsatz einer zweiphasigen Optimierungspipeline und eines groß angelegten Datensatzes verbessert, um eine dynamische Werkzeugauswahl zu ermöglichen, was im Vergleich zu bestehenden Methoden zu einer überlegenen Leistung bei vielfältigen Denkaufgaben führt.

Ursprüngliche Autoren: Jiaru Zou, Ling Yang, Yunzhe Qi, Sirui Chen, Mengting Ai, Ke Shen, Jingrui He, Mengdi Wang

Veröffentlicht 2026-06-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiaru Zou, Ling Yang, Yunzhe Qi, Sirui Chen, Mengting Ai, Ke Shen, Jingrui He, Mengdi Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen brillanten, aber etwas starren Assistenten (eine KI), der hervorragend darin ist, Rätsel zu lösen, aber stecken bleibt, wenn sich die Werkzeuge in seinem Werkzeugkasten ändern.

Das Problem: Die „Fixierte Werkzeugkiste“-Falle
Die meisten aktuellen KI-Assistenten sind wie ein Koch trainiert worden, der nur weiß, wie man mit genau 10 Messern und 5 Töpfen kocht, die auf seiner Arbeitsplatte stehen. Wenn man ihm eine neue Art von Pfanne oder eine andere Art von Messer gibt, das er noch nie gesehen hat, erstarrt er. Sie sind darauf trainiert, spezifische Werkzeuge für spezifische Aufgaben zu verwenden, aber sie können sich nicht anpassen, wenn sich die „Küche“ entwickelt oder man ihnen ein brandneues Gadget reicht.

Die Lösung: AutoTool
Das Paper stellt AutoTool vor, eine neue Trainingsmethode, die die KI in einen Meister des „Werkzeug-Shoppings“ verwandelt, statt nur in einen Werkzeugnutzer. Anstatt eine feste Liste von Werkzeugen auswendig zu lernen, lehrt AutoTool die KI:

Das Problem zu betrachten.
Ein riesiges, sich ständig änderndes Regal mit tausenden von Werkzeugen zu scannen.
Das Richtige spontan auszuwählen, selbst wenn es ein Werkzeug ist, das die KI noch nie zuvor gesehen hat.

Wie es funktioniert: Das Zwei-Phasen-Bootcamp
Die Forscher haben die KI mit einem Zwei-Phasen-„Bootcamp“-Ansatz trainiert:

Phase 1: Lernen, wie man denkt und handelt (Stabilisierung)
Zuerst haben sie der KI beigebracht, wie man ein Problem Schritt für Schritt durchdenkt (wie eine lange Gedankenkette) und wie man reibungslos zwischen dem Denken und der Nutzung eines Werkzeugs wechselt. Stellen Sie sich vor, man bringt einem Studenten bei, wie man einen Aufsatz schreibt und wie man einen Taschenrechner benutzt, ohne verwirrt zu werden, wann man was tun soll. Diese Phase macht das Denken der KI stabil und kohärent.
Phase 2: Lernen, auszuwählen (Verfeinerung)
Dies ist das Geheimrezept. Sobald die KI weiß, wie man Werkzeuge benutzt, haben sie ihr beigebracht, wie man das beste auswählt.
- Die Analogie: Stellen Sie sich ein Spiel vor, bei dem die KI ein Werkzeug wählen muss, um ein Matheproblem zu lösen. In der Vergangenheit hätte sie es vielleicht einfach geraten. Mit AutoTool lernt die KI, dass die Wahl des „Code Interpreters“ für ein Matheproblem so ist, als würde man den „richtigen Schlüssel“ für ein Schloss wählen, während die Wahl einer „Suchmaschine“ so ist, als würde man den „falschen Schlüssel“ wählen.
- Der magische Trick (Embeddings): Anstatt Werkzeugnamen auswendig zu lernen (wie „Werkzeug A“ oder „Werkzeug B“), lernt die KI das „Vibe“ oder das „Wesen“ der Werkzeuge. Es ist, als würde man lernen, dass ein „Hammer“ sich schwer anfühlt und zum Schlagen da ist, anstatt nur das Wort „Hammer“ zu speichern. Dies ermöglicht es der KI, ein brandneues, seltsames Werkzeug anzusehen und zu sagen: „Das fühlt sich wie ein Hammer an, also werde ich ihn benutzen, um diesen Nagel zu schlagen“, selbst wenn sie genau diesen speziellen Hammer noch nie gesehen hat.

Die „Bibliothek“, die sie gebaut haben
Um dies zu lehren, haben die Forscher nicht nur ein paar Beispiele verwendet. Sie bauten eine massive Bibliothek aus 200.000 Trainingsbeispielen, die über 1.000 verschiedene Werkzeuge (wie Code-Interpreter, Suchmaschinen, Bildleser) in über 100 Aufgaben umfassten.

Entscheidendes Detail: Sie haben die KI mit 460 Werkzeugen trainiert, sie dann aber in einer Bibliothek von 1.346 Werkzeugen getestet. Das bedeutet, dass 65 % der Werkzeuge, die die KI während des Tests verwendete, völlig neu für sie waren. Sie musste sie vor Ort verstehen.

Die Ergebnisse: Ein klügerer, flexiblerer Assistent
Als sie AutoTool gegen andere fortgeschrittene KI-Modelle testeten:

Wurde es besser in Mathematik und Naturwissenschaften (komplexe Probleme lösen).
Wurde es besser in der Suche (die richtigen Antworten im Web finden).
Wurde es besser im Programmieren (Computerprogramme schreiben).
Wurde es besser in multimodalen Aufgaben (Bilder und Diagramme verstehen).

Das Fazit
AutoTool beweist, dass eine KI nicht darauf trainiert werden muss, jedes existierende Werkzeug zu kennen, um nützlich zu sein. Indem man ihr beibringt, wie man wählt, und ihr einen Weg gibt, das „Wesen“ von Werkzeugen zu verstehen, kann sie in einen Raum voller Gadgets gehen, die sie noch nie gesehen hat, und trotzdem das richtige auswählen, um die Aufgabe zu erledigen. Es ist der Unterschied zwischen einem Roboter, der nur weiß, wie man einen spezifischen Schraubendreher benutzt, und einem Menschen, der in einen Werkzeugkasten schauen, herausfinden kann, welches Werkzeug zur Schraube passt, und die Arbeit erledigt.

Technisches Resümee: AutoTool: Dynamische Werkzeugauswahl und Integration für agentisches Denken

1. Problemstellung

Jüngste Fortschritte im Bereich des Agentic Reinforcement Learning (RL) haben es Large Language Models (LLMs) ermöglicht, lange Chain-of-Thought (CoT)-Trajektorien zu generieren, die mit der Nutzung externer Werkzeuge (Tools) verzahnt sind. Bestehende Ansätze gehen jedoch typischerweise von einem festen Inventar an Werkzeugen aus, die für spezifische Aufgaben vordefiniert sind. Während dies in geschlossenen Umgebungen effektiv ist, versagen diese Methoden in realistischen Szenarien, in denen:

Agenten geeignete Werkzeuge aus komplexen, domänenspezifischen Werkzeugsets auswählen müssen.
Neue, während der Inferenz nicht im Training vorhandene Werkzeuge eingeführt werden.

Aktuelle Modelle riskieren, auf statische Werkzeuglisten zu übertrainieren (Overfitting), und es mangelt ihnen an der Fähigkeit, zu sich entwickelnden Werkzeugumgebungen zu generalisieren. Die Kernherausforderung, die mit dieser Arbeit adressiert wird, lautet: Wie können LLM-Agenten während des agentischen Denkens dynamisch Werkzeuge aus sich entwickelnden Werkzeugsets auswählen und dabei gleichzeitig starke Denkfähigkeiten bewahren?

2. Methodik: AutoTool-Framework

Die Autoren schlagen AutoTool vor, ein Trainingsframework, das darauf ausgelegt ist, LLM-Agenten mit dynamischen Werkzeugauswahlfähigkeiten auszustatten. Das Framework integriert Denken und Werkzeugnutzung in eine einheitliche Trajektorie und verwendet eine duale Phasen-Optimierungspipeline.

2.1. Werkzeugbewusste Trajektoriengenerierung

Das Framework konzeptualisiert eine Denk-Trajektorie $\tau$ als Zusammenspiel aus drei Komponenten:

Inneres Denken ( $\tau^{reason}$ ): Standardmäßige interne CoT-Argumentation.
Werkzeugauswahl ( $\tau^{select}$ ): Der Agent argumentiert über das Werkzeugset $\mathcal{T}$ , um ein Werkzeug $t_k$ auszuwählen.
Werkzeugintegration ( $\tau^{integrate}$ ): Ausführung des ausgewählten Werkzeugs und Rückführung des Feedbacks in die Generierung.

Um mit sich entwickelnden Werkzeugsets umzugehen, nutzt AutoTool die Embedding-verankerte Werkzeugauswahl:

Werkzeug-Embeddings: Jedem Werkzeug $t_k$ wird eine Merkmalsbeschreibung $\mu(t_k)$ (Name, Funktionalität, Schema) zugeordnet und mittels der internen Embedding-Schicht des LLMs in ein latentes Embedding $e_{t_k}$ kodiert.
Auswahlmechanismus: Anstatt Werkzeugnamen direkt zu generieren (was bei unbekannten Werkzeugen fehlschlägt), generiert der Agent eine Auswahlbegründung $s_i$ und ein prädiziertes Embedding-Anker-Element $e'_i$ . Das Werkzeug wird durch Sampling aus einer Softmax-Verteilung basierend auf der Frobenius-Norm-Distanz zwischen $e'_i$ und den Kandidaten-Werkzeug-Embeddings $e_{t_k}$ ausgewählt. Dies ermöglicht es dem Agenten, neue Werkzeuge über Repräsentationsausrichtung (Representation Alignment) statt über memorierte Identifikatoren auszuwählen.

2.2. Duale Phasen-Optimierungspipeline

Der Trainingsprozess besteht aus zwei distinkten Phasen:

Phase I: Trajektorien-Stabilisierung

Ziel: Den Agenten mit stabiler, langfristiger CoT-Argumentation und validen Werkzeugintegrationsmustern auszustatten.
Methode: Der Agent wird von einem Basis-Referenzmodell ( $\pi_{\theta_{ref}}$ ) initialisiert und mittels Supervised Fine-Tuning (SFT) gefolgt von RL-basierter Policy-Optimierung (z. B. GRPO) trainiert. Dies stellt sicher, dass das Modell kohärente Trajektorien generieren kann, die aus Argumentation, Auswahl und Ausführungsschritten bestehen.

Phase II: Verfeinerung der Werkzeugauswahl

Ziel: Den Prozess der Werkzeugauswahl explizit zu optimieren, um mit dynamischen Werkzeugsets umzugehen.
Methode: Die Optimierung konzentriert sich spezifisch auf die Schritte der Werkzeugauswahl, wobei die Schritte des inneren Denkens und der Integration maskiert werden. Die Autoren rahmen die Werkzeugauswahl als ein Plackett–Luce (PL) Ranking-Problem.
- Theoretische Brücke: Die Autoren beweisen, dass die Optimierung der KL-regularisierten RL-Zielfunktion äquivalent zum Matching der durch die Policy induzierten PL-Ranking-Verteilung über Kandidaten-Trajektorien ist.
- Zielsetzung: Die Policy wird so optimiert, dass sie einem belohnungsgesteuerten Ranking entspricht, bei dem Trajektorien mit besseren Werkzeugauswahl-Begründungen und korrekten Endergebnissen höher eingestuft werden.
- Verlustfunktion: Eine handhabbare Cross-Entropy (CE) Loss wird verwendet, um die Policy $\pi_\theta$ in Richtung der optimalen Policy $\pi^*$ zu trainieren, indem die Differenz zwischen dem durch das Modell induzierten Ranking und dem belohnungsbasierten Ranking minimiert wird.

3. Datakuratierung

Um dynamische Werkzeugumgebungen zu unterstützen, haben die Autoren einen Datensatz im 200k-Maßstab mit expliziten Werkzeugauswahl-Begründungen erstellt.

Umfang: Deckt 1.346 Werkzeuge (Code, Suche, Multimodal) und über 120 Aufgabentypen in den Bereichen Mathematik, Naturwissenschaften, Codegenerierung und multimodales Verständnis ab.
Pipeline:
1. Erfassung: Zusammenstellung von Werkzeugen und Aufgaben.
2. Generierung von Begründungen: Ein Experten-Reasoning-Modell (DeepSeek-R1) wurde genutzt, um explizite Rechtfertigungen dafür zu generieren, warum ein spezifisches Werkzeug in jedem Schritt gewählt wurde, um die Übereinstimmung zwischen Kontext und Auswahl sicherzustellen.
3. Augmentierung: Ungültige Begründungen wurden herausgefiltert und valide Begründungen in die Trajektorien eingefügt, um qualitativ hochwertige Trainingsdaten zu erzeugen.
Evolvierendes Setting: Nur 460 Werkzeuge (34,2 %) wurden während des Trainings verwendet. Die verbleibenden 886 Werkzeuge wurden als unbekannt gehalten und ausschließlich für die Evaluation in der Inferenz reserviert, um die Generalisierung zu prüfen.

4. Experimentelle Ergebnisse

Die Experimente wurden auf zehn diversen Benchmarks unter Verwendung von Qwen3-8B und Qwen2.5-VL-7B als Basismodellen durchgeführt.

4.1. Leistungssteigerungen

AutoTool übertraf konsistent fortgeschrittene LLM-Agenten und spezialisierte Werkzeugintegrationsmethoden:

Mathematik- & Naturwissenschaftliches Denken: Durchschnittlicher Gewinn von +6,4 %.
Suchbasierte Beantwortung (QA): Durchschnittlicher Gewinn von +4,5 %.
Codegenerierung: Durchschnittlicher Gewinn von +7,7 %.
Multimodales Verständnis: Durchschnittlicher Gewinn von +6,9 %.
Vergleich: AutoTool (8B/7B Parameter) erreichte eine Leistung, die mit oder sogar höher als derer viel größerer Modelle (z. B. Qwen2.5-72B, GPT-4o) und spezialisierter RL-Baselines (z. B. ReTool, Search-R1) ist, was eine ausgewogene Robustheit demonstriert.

4.2. Generalisierung auf unbekannte Werkzeuge

Leistung bei unbekannten Werkzeugen: Bei der Evaluierung auf einem vollständig unbekannten Werkzeugsatz (886 Werkzeuge) während der Inferenz behielt AutoTool eine starke Leistung bei, mit einem marginalen Rückgang von weniger als 2 % im Vergleich zur Nutzung des vollen Werkzeugsatzes.
Trefferquote (Hit Rate): Höhere Trefferraten bei der Werkzeugauswahl (Auswahl des korrekten Werkzeugs) korrelierten direkt mit verbesserter Downstream-Genauigkeit.
Ablation: Modelle, die mit Werkzeugauswahl-Begründungen trainiert wurden, schnitten signifikant besser ab als solche ohne, was die erfolgreichen Werkzeugausführungen um 13,5 % steigerte.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass AutoTool einen bedeutenden Schritt in Richtung erweiterbarer agentischer Systeme darstellt, die in der Lage sind, in sich entwickelnden Umgebungen zu operieren.

Über statische Werkzeuge hinaus: Im Gegensatz zu bisheriger Arbeit, die von festen Werkzeuginventaren ausgeht, ermöglicht AutoTool es Agenten, Werkzeuge adaptiv aus dynamischen, offen endenden Sets auszuwählen.
Generalisierung: Durch die Verankerung der Auswahl im Embedding-Raum und die Optimierung via PL-Ranking erreicht das Framework eine starke Generalisierung auf Werkzeuge, die während des Trainings nie gesehen wurden.
Effizienz: Die Methode erzielt diese Ergebnisse mit weniger Parametern (8B/7B) als viele konkurrierende State-of-the-Art-Agenten, was die Effizienz der expliziten Werkzeugauswahl-Optimierung hervorhebt.
Praktische Auswirkungen: Das Framework adressiert die Lücke zwischen Closed-Loop-Training und dem realen Einsatz, in dem Werkzeugsets fließend sind und sich kontinuierlich erweitern.

Die Autoren kommen zu dem Schluss, dass die explizite Optimierung der Werkzeugauswahl – und nicht nur der Werkzeugnutzung – entscheidend ist, um Agenten zu bauen, die effektiv in komplexen, sich verändernden Umgebungen denken und agieren können.