EvoTool: Self-Evolving Tool-Use Policy Optimization in LLM Agents via Blame-Aware Mutation and Diversity-Aware Selection

EvoTool ist ein selbstentwickelndes Framework, das die Tool-Nutzung von LLM-Agenten durch einen gradientenfreien evolutionären Ansatz mit modularer Fehlerlokalisierung, zielgerichteter Mutation und diversitätserhaltender Selektion optimiert und dabei auf vier Benchmarks signifikant bessere Ergebnisse als starke Baselines erzielt.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr klugen, aber manchmal etwas chaotischen Assistenten (eine KI), der Ihnen helfen soll, komplexe Aufgaben zu erledigen – zum Beispiel eine Reise zu planen, bei der Sie Hotels buchen, Flüge vergleichen und Restaurants finden müssen. Dazu muss der Assistent verschiedene Werkzeuge (APIs) nutzen.

Das Problem ist: Manchmal macht der Assistent einen Fehler. Aber wo genau lag der Fehler? War es die Planung? Hat er das falsche Werkzeug gewählt? Hat er die Daten falsch eingegeben? Oder hat er am Ende die Antwort falsch zusammengefasst?

Bisherige Methoden waren wie ein blinder Schuss im Dunkeln:

1. Der "Alles-Ändere"-Ansatz: Wenn etwas schiefging, wurde der gesamte Befehl des Assistenten komplett neu geschrieben. Das ist wie wenn ein Koch, dem das Essen schmeckt, plötzlich das ganze Rezept, die Messer und den Herd austauscht. Oft wird das Essen dann noch schlimmer, weil man etwas Gutes kaputtgemacht hat.
2. Der "Einzel-Teil"-Ansatz: Man versucht nur, einen Teil zu verbessern (z. B. nur die Planung), ignoriert aber, dass der Fehler vielleicht vom Werkzeug-Kommentar kam. Das ist wie wenn man nur den Motor eines Autos repariert, obwohl das Problem am Reifen lag.

EVOTOOL ist eine neue, clevere Methode, die dieses Problem löst. Man kann es sich wie einen meisterhaften Chefkoch mit einem diagnostischen Team vorstellen.

Hier ist, wie EVOTOOL funktioniert, einfach erklärt:

1. Das Team aus vier Spezialisten (Modularisierung)

Statt einen riesigen, undurchsichtigen Befehl zu haben, teilt EVOTOOL den Assistenten in vier klare Rollen auf:

• Der Planer: Überlegt, welche Schritte nötig sind.
• Der Wähler: Entscheidet, welches Werkzeug (z. B. "Flugsuchmaschine") benutzt wird.
• Der Aufrufer: Füllt die Formulare für das Werkzeug korrekt aus.
• Der Zusammensteller: Nimmt alle Ergebnisse und schreibt die finale Antwort.

2. Der "Schuld-Zuordner" (Blame Attribution)

Wenn eine Aufgabe fehlschlägt, schaut sich EVOTOOL nicht nur das Endergebnis an. Es schaut sich die gesamte Spur (den "Fingerabdruck") der Interaktion an.
Stellen Sie sich vor, der Assistent hat einen Fehler gemacht. Ein spezielles KI-System (der "Schuld-Zuordner") analysiert die Spur und sagt: "Aha! Der Planer war gut, der Wähler hat das richtige Werkzeug gewählt, aber der Aufrufer hat die Flugnummer falsch eingegeben. Der Fehler liegt also beim Aufrufer!"
Das ist wie ein Detektiv, der genau weiß, welcher Zeuge gelogen hat, anstatt alle Verdächtigen zu verhaften.

3. Der gezielte "Chirurgische Eingriff" (Targeted Mutation)

Sobald klar ist, wer schuld ist (z. B. der Aufrufer), wird nur dieser eine Teil repariert.
Statt das ganze Rezept zu ändern, gibt der Chefkoch dem Aufrufer einen spezifischen Hinweis: "Du hast die Flugnummer falsch formatiert. Ab jetzt prüfe immer, ob die Nummer 10 Ziffern hat, bevor du sie abschickst."
Die anderen drei Spezialisten (Planer, Wähler, Zusammensteller) bleiben unverändert und funktionieren weiter wie vorher. So wird nichts kaputtgemacht, was schon gut funktioniert.

4. Der "Vielfalt-Erhalter" (Diversity-Aware Selection)

Ein häufiges Problem bei KI-Optimierung ist, dass sie zu schnell auf eine einzige Lösung festgefahren ist (wie ein Auto, das nur noch geradeaus fährt, obwohl eine Kurve nötig wäre).
EVOTOOL hält sich daher eine Gruppe von verschiedenen Versionen des Assistenten. Es wählt nicht nur den "besten" aus, sondern behält auch diejenigen, die in speziellen Situationen (z. B. bei sehr langen Aufgaben) besonders gut sind.
Das ist wie ein Sportteam: Man braucht nicht nur einen Allrounder, sondern auch einen Spezialisten für Strafecken und einen für die Abwehr. EVOTOOL sorgt dafür, dass das Team vielfältig bleibt und nicht alle nur noch das Gleiche tun.

Das Ergebnis

Durch diese Methode lernt der Assistent viel schneller und effizienter. Er macht weniger Fehler, braucht weniger "Token" (Rechenleistung/Geld) und kann sein Wissen sogar auf neue Aufgaben übertragen, ohne neu trainiert werden zu müssen.

Zusammenfassend:
EVOTOOL ist wie ein selbstverbessernder Roboter-Arzt. Wenn der Patient (die KI) krank ist (einen Fehler macht), diagnostiziert er genau, welches Organ (welcher Modul) betroffen ist, operiert nur dort präzise nach und sorgt dafür, dass der Rest des Körpers gesund bleibt. Das Ergebnis ist ein robusterer, schlauerer und vielseitigerer KI-Assistent.

Technische Zusammenfassung

1. Problemstellung

LLM-basierte Agenten, die externe Tools nutzen, sind entscheidend für die Bewältigung komplexer Aufgaben in Bereichen wie Reasoning, Entscheidungsfindung und Automatisierung. Die größte Herausforderung besteht jedoch in der Optimierung der Tool-Use-Policy (der Strategie, wie der Agent Tools plant, auswählt, aufruft und Ergebnisse synthetisiert).

Die bestehenden Optimierungsansätze leiden unter zwei Hauptproblemen:

• Verzögerte Supervision und Kreditvergabe (Credit Assignment): In langen Interaktionspfaden (Long-Horizon-Trajectories) wird das Feedback (Erfolg/Misserfolg) oft erst am Ende der Aufgabe gegeben. Es ist schwierig zu bestimmen, welcher spezifische Schritt (Planung, Tool-Auswahl, Aufruf oder Synthese) für einen Fehler verantwortlich war.
• Grenzen bestehender Methoden:
  • Monolithische Optimierung: Behandelt den gesamten Agenten-Prompt als eine Einheit. Dies führt zu „verflochtenen" Verhaltensweisen, bei denen die Korrektur eines Fehlers andere Fähigkeiten destabilisiert (Regressionsprobleme).
  • Einzelaspekt-Optimierung: Optimiert nur einzelne Module isoliert (z. B. nur die Planung). Dies ignoriert jedoch die Fehlerfortpflanzung zwischen den Modulen und die Interdependenzen in langen Aufgabenketten.

2. Methodik: EVOTOOL

EVOTOOL ist ein selbst-evolvierendes Framework, das eine modulare Tool-Use-Policy durch ein gradientenfreies evolutionäres Paradigma optimiert. Der Agent wird in vier spezialisierte Module zerlegt:

1. Planner: Zerlegt die Aufgabe in Teilziele.
2. Selector: Entscheidet, welches Tool aufgerufen werden soll.
3. Caller: Konstruiert die Argumente und führt den Tool-Aufruf aus.
4. Synthesizer: Integriert die Tool-Ergebnisse in die finale Antwort.

Das Framework nutzt drei innovative Mechanismen in einem iterativen Schleifenprozess:

A. Trajectory-Grounded Blame Attribution (Fehlerschuld-Zuschreibung)

Anstatt den gesamten Prompt global zu ändern, identifiziert EVOTOOL das spezifische Modul, das für einen Fehler verantwortlich ist.

• Prozess: Aus der Interaktionstrajektorie werden strukturierte Diagnose-Ereignisse extrahiert (z. B. Tool-Auswahl, Argumentvalidität, Ausführungsergebnis).
• Blamer-LLM: Ein spezielles LLM analysiert die Trajektorie und weist jedem Modul einen „Schuld-Score" (Blame Score) zu. Das Modul mit dem höchsten Score wird als Ziel für die Mutation identifiziert. Dies löst das Kreditvergabe-Problem, indem es den Fehler lokalisiert.

B. Feedback-Guided Targeted Mutation (Gezielte Mutation)

Sobald das fehlerhafte Modul identifiziert ist, wird nur dieses spezifische Modul aktualisiert.

• Prozess: Ein „Mutator-LLM" generiert basierend auf der fehlerhaften Trajektorie und dem Blame-Score eine natürliche Sprach-Rückmeldung (Critique).
• Aktion: Diese Rückmeldung dient als Anleitung, um die Spezifikation (Prompt) des betroffenen Moduls minimal und gezielt zu bearbeiten. Die anderen drei Module bleiben unverändert. Dies verhindert Regressionen in anderen Fähigkeiten.

C. Diversity-Aware Population Selection (Diversitätsbewusste Populationsauswahl)

Um eine vorzeitige Konvergenz auf eine einzige, suboptimale Strategie zu vermeiden, wird eine Population von Policy-Varianten verwaltet.

• Strategie: Anstatt nur den global besten Kandidaten auszuwählen, wird eine „Instance-Level"-Auswahl getroffen. Ein Kandidat wird nur dann behalten, wenn er auf mindestens einer Instanz in einem Validierungsdatensatz die beste Leistung zeigt.
• Ziel: Dies erhält komplementäre Stärken (z. B. einen Spezialisten für komplexe Planung und einen für präzise Tool-Aufrufe) und fördert die Vielfalt der Lösungen.

3. Wichtige Beiträge

• EVOTOOL Framework: Ein neuartiger Ansatz zur selbst-evolvierenden Optimierung modularer Agenten-Policies ohne Gradienten.
• Lokalisierung von Fehlern: Einführung von Trajectory-Grounded Blame Attribution, die es ermöglicht, Fehler präzise einem Modul zuzuordnen, anstatt den gesamten Agenten zu optimieren.
• Gezielte Updates: Feedback-Guided Targeted Mutation nutzt natürliche Sprache, um nur das verantwortliche Modul zu korrigieren, was die Stabilität des Gesamtsystems erhöht.
• Erhaltung von Diversität: Diversity-Aware Population Selection verhindert den „Mode Collapse" und sichert robuste Leistungen über verschiedene Aufgabentypen hinweg.

4. Ergebnisse

Die Evaluation erfolgte auf vier verschiedenen Benchmarks: ToolBench, RestBench, τ-Bench (langfristige, zustandsbehaftete Interaktionen) und BFCL (Function Calling).

• Leistung: EVOTOOL übertrifft starke Baselines (sowohl handgefertigte Prompts als auch monolithische und einzelaspektige Optimierungsmethoden wie OPRO, EvoPrompt, DRAFT, EASYTOOL) konsistent.
  • Auf GPT-4.1 wurde ein durchschnittlicher Gewinn von über 5 Punkten (insgesamt 70,6 vs. 63,8 beim besten Einzelaspekt-Baseline) erzielt.
  • Auf dem Open-Source-Modell Qwen3-8B wurde ebenfalls ein signifikanter Vorsprung von über 5 Punkten gegenüber den besten Baselines erreicht.
• Robustheit: Der Ansatz zeigt sich besonders stark bei komplexen, langfristigen Aufgaben (τ-Bench), wo andere Methoden aufgrund der Vernachlässigung von Modul-Interdependenzen versagen.
• Effizienz: EVOTOOL ist token-effizienter als monolithische Suchmethoden, da Mutationen nur auf einzelne Module beschränkt sind.
• Transferierbarkeit: Die optimierten Policies zeigen eine hohe Transferfähigkeit zwischen verschiedenen Datensätzen und sogar zwischen unterschiedlichen Backbone-Modellen (z. B. von Qwen3-8B auf GPT-4.1).

5. Bedeutung und Fazit

EVOTOOL adressiert eine fundamentale Lücke in der Agenten-Entwicklung: die Fähigkeit, aus spärlichem, verzögertem Feedback zu lernen, ohne die Gesamtkohärenz des Agenten zu zerstören.

• Paradigmenwechsel: Der Ansatz bewegt sich weg von „Black-Box"-Optimierung ganzer Prompts hin zu einer modularen, diagnostikgesteuerten Evolution.
• Skalierbarkeit: Durch die Trennung der Kompetenzen (Planung, Auswahl, Aufruf, Synthese) kann das System gezielt Schwächen beheben, was für den Einsatz in realen, dynamischen Umgebungen entscheidend ist.
• Zukunftsausblick: Die Arbeit legt den Grundstein für robustere, selbstverbessernde Agentensysteme, die weniger anfällig für Fehlerfortpflanzung sind und effizienter lernen.

Zusammenfassend demonstriert EVOTOOL, dass die Zerlegung von Agenten-Policies in Module kombiniert mit einer schuldzuweisenden, evolutionären Optimierung zu überlegenen Ergebnissen führt, die sowohl in der Genauigkeit als auch in der Effizienz den aktuellen State-of-the-Art übertreffen.