💬 NLP

CurateEvo: Data-Curation Evolving for Agentic Post-Training

CurateEvo ist ein fehlersgesteuertes dynamisches Evolutionsframework, das die Datenkuratierung als ausführbaren Code darstellt und diesen iterativ unter Verwendung von Agenten-Fehlerverläufen umschreibt, um sowohl die Effektivität als auch die Effizienz von Post-Training-Daten für Large Language Model Agents zu optimieren.

Ursprüngliche Autoren: Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che

Veröffentlicht 2026-07-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber unerfahrenen Roboter-Assistenten beizubringen, komplexe reale Probleme zu lösen, wie zum Beispiel eine Flugbuchung unter Berücksichtigung eines Budgets oder das Debuggen eines Stücks Code. Sie verfügen über eine riesige Bibliothek alter Protokolle, die zeigen, wie Menschen (und andere Roboter) versucht haben, diese Aufgaben zu bewältigen. Einige Protokolle zeigen perfekten Erfolg, aber viele zeigen, wie der Roboter stecken bleibt, falsche Züge macht oder abstürzt.

Das Paper stellt ein neues System namens CURATEEVO vor, um ein spezifisches Problem zu lösen: Wie verwandeln wir diese unordentliche Bibliothek von Protokollen in das perfekte Trainingshandbuch für unseren Roboter?

Das Problem: Der „statische Koch“ vs. der „schlaue Editor“

Derzeit agieren die meisten Methoden, mit denen Roboter-Assistenten trainiert werden, wie ein statischer Koch. Sie nehmen die rohe Bibliothek der Protokolle und wenden einen festen Satz von Regeln an: „Füge mehr Beispiele hinzu“, „Wirf die schlechten weg“ oder „Behalte alles“.

Der Fehler: Sobald der Roboter versucht zu lernen und bei einem neuen Test scheitert, ändert der Koch das Rezept nicht. Er kocht einfach weiter mit denselben alten, potenziell fehlerhaften Anweisungen. Er ignoriert die Tatsache, dass der Roboter aufgrund einer spezifischen Schwäche gescheitert ist (wie zum Beispiel dem Vergessen, das Wetter zu prüfen) und behebt diesen spezifischen Mangel nicht in den Trainingsdaten.

CURATEEVO ist anders. Es agiert wie ein schlauer, sich entwickelnder Editor. Anstatt nur Daten auszuwählen, schreibt es die Regeln dafür um, wie die Daten ausgewählt werden.

Wie CURATEEVO funktioniert: Die „Übungsschleife“

Betrachten Sie CURATEEVO als einen Coach, der eine kontinuierliche Feedbackschleife durchläuft:

Der Testlauf: Der Coach nimmt das aktuelle „Trainingshandbuch“ (die Regeln zur Datenselektion) und lässt den Roboter an einer Reihe von Testfragen (einem „Held-out“ Entwicklungsdatensatz) üben.
Der Fehlerbericht: Wenn der Roboter scheitert, notiert der Coach nicht nur die Punktzahl. Er analysiert, warum er gescheitert ist. Hat er das falsche Werkzeug gewählt? Hat er einen Schritt vergessen? Ist er durch ein langes Gespräch verwirrt worden?
Das Umschreiben der Regeln (Die Evolution): Der Coach geht dann zum Computercode, der entscheidet, welche Daten verwendet werden. Er schreibt diesen Code um, um die in Schritt 2 gefundenen spezifischen Probleme zu beheben.
- Wenn der Roboter gescheitert ist, weil er nicht wusste, wie man ein bestimmtes Werkzeug benutzt, wird der Code aktualisiert, um mehr Beispiele dieses Werkzeugs in die Trainingsdaten hinzuzufügen.
- Wenn der Roboter durch zu viel Rauschen verwirrt wurde, wird der Code aktualisiert, um die unordentlichen Beispiele herauszufiltern.
- Wenn der Roboter zu viel Zeit mit langen, nutzlosen Schritten verschwendet hat, wird der Code aktualisiert, um diese Schritte herauszuschneiden, damit das Training schneller abläuft.
Wiederholung: Dies geschieht immer und immer wieder. Mit jeder Runde wird das „Trainingshandbuch“ besser auf die spezifischen Schwächen des Roboters zugeschnitten.

Die zwei Hauptziele: Effektivität und Effizienz

Das Paper sagt, dass CURATEEVO zwei Dinge ausbalanciert, wie ein Koch, der versucht, ein Gericht zuzubereiten, das sowohl köstlich als auch schnell zu kochen ist:

Effektivität (Es köstlich machen): Das System schaut darauf, wo der Roboter scheitert, und fügt Daten hinzu oder verfeinert sie, um genau diese Lücken zu schließen. Es stellt sicher, dass der Roboter genau das lernt, was er wissen muss.
Effizienz (Es schnell machen): Das System fragt auch die Trainingsdaten: „Ist das notwendig?“ Wenn der Roboter ein Konzept bereits gelernt hat oder wenn ein Trainingsbeispiel zu lang und repetitiv ist, schneidet CURATEEVO es heraus. Dies spart Zeit und Rechenleistung, ohne die Leistung des Roboters zu beeinträchtigen.

Die Ergebnisse: Bessere Roboter, weniger Verschwendung

Die Forscher haben dieses System an drei verschiedenen Arten von Roboter-Herausforderungen (Benchmarks) unter Verwendung von zwei Arten von Daten getestet:

Gelabelte Daten: Saubere, von Menschen annotierte Protokolle (wie ein Lehrbuch).
Wilddaten: Unordentliche, reale Protokolle aus tatsächlichen Benutzerinteraktionen (wie ein chaotisches Tagebuch).

Die Ergebnisse waren eindeutig:

Bessere Punktzahlen: Roboter, die mit CURATEEVO trainiert wurden, erzielten signifikant höhere Werte (im Durchschnitt etwa 3 bis 4 Punkte besser) als Roboter, die mit älteren, statischen Methoden trainiert wurden.
Funktioniert mit unordentlichen Daten: Selbst wenn die Eingangsdaten „wild“ und verrauscht waren, konnte CURATEEVO sie in hochwertige Trainingsmaterialien filtern und verfeinern.
Schnelleres Training: Durch das Weglassen redundanter Schritte reduzierte CURATEEVO die Zeit und die benötigte Rechenleistung für das Training des Roboters um etwa 50 % im Vergleich zu anderen Methoden.
Universell: Es funktionierte gut, unabhängig von welchem spezifischen Trainingsrezept (Algorithmus) für den Roboter selbst verwendet wurde.

Das Fazit

Das Paper argumentiert, dass wir anstatt die Datenaufbereitung als einen einmaligen, feststehenden Schritt zu betrachten, sie als einen dynamischen, sich entwickelnden Prozess behandeln sollten. Indem wir die Strategie zur Datenselektion „lernen“ lassen, aus den Fehlern des Roboters zu lernen und ihre eigenen Regeln selbstständig umzuschreiben, können wir intelligentere, effizientere KI-Agenten bauen, die besser in der Lage sind, komplexe, reale Probleme zu lösen.

Technisches Resümee: CURATEEVO

Problemstellung

Large Language Model (LLM) Agents benötigen Post-Training-Methoden, die in der Lage sind, die langfristige Entscheidungsfindung (long-horizon decision-making) mittels Umgebung-Feedback zu verbessern. Während die Datenqualität ein bekannter Bestimmungsfaktor für die Performance beim agentischen Post-Training ist, leiden bestehende Kuratierungs-Pipelines unter zwei primären Einschränkungen:

Vernachlässigung der Kuratierung (Curation Neglect): Die meisten Methoden konzentrieren sich primär auf die Datenausweitung (das Sammeln von mehr fehlgeschlagenen Trajektorien), während sie die kritischen Operationen des Filterns und Verfeinerns von Daten vernachlässigen. Dies führt häufig zur Einbeziehung von qualitativ minderwertigen oder redundanten Daten, was die Trainingskosten erhöht, ohne proportionale Leistungssteigerungen zu erzielen.
Anpassungsstarre (Adaptation Rigidity): Bestehende Pipelines verlassen sich auf feste Datenverarbeitungsregeln. Diese statischen Strategien haben Schwierigkeiten, sich an Out-of-Distribution-Downstream-Anwendungen oder sich entwickelnde Fehlermodi anzupassen, da sie sich nicht dynamisch an die spezifischen Schwächen der aktuellen Agenten-Policy anpassen können.

Methodik: CURATEEVO

Die Autoren schlagen CURATEEVO vor, einen fehlergetriebenen, dynamischen Evolutionsrahmen für die agentische Post-Training-Datenkuratierung. Im Gegensatz zu traditionellen Ansätzen, die die Kuratierung als statischen Vorverarbeitungsschritt behandeln, betrachtet CURATEEVO die Kuratierungsstrategie als ausführbaren Code, der iterativ basierend auf Umgebung-Feedback umgeschrieben wird.

Kernframework

Das Framework operiert in Multi-Epochen-Evolutionszyklen:

Repräsentation: Die Kuratierungsstrategie $\rho$ $ρ$ wird als ausführbarer Code repräsentiert, der einen festen Rohkorpus ( $D_{raw}$ $D_{r a w}$ ) in drei Ressourcen transformiert:
- Supervised Fine-Tuning Daten ( $D_{SFT}$ ).
- Reinforcement Learning Daten ( $D_{RL}$ ).
- Eine Inference-Zeit-Memory-Bank ( $M_{mem}$ ).
Training & Evaluierung: Eine Agenten-Policy wird ausgehend von einem festen Basismodell mit einem festen Rezept (SFT + GRPO) auf den kuratierten Daten trainiert. Die Policy wird anschließend auf einem separat gehaltenen Entwicklungsdatensatz ( $Q_{dev}$ ) evaluiert.
Feedback-Erfassung: Fehlgeschlagene Trajektorien aus dem Entwicklungsdatensatz werden zusammen mit Statistiken über die aktuelle kuratierte Datenmenge (Skalierung, Turn-Verteilung, Redundanz) gesammelt.
Code-Evolution: Ein LLM-basierter Code-Evolutions-Agent analysiert die fehlgeschlagenen Trajektorien, um wiederkehrende Fehlermodi zu diagnostizieren (z. B. falsche Werkzeugwahl, schwache Planung, Memory-Mismatches). Er schreibt daraufhin den Kuratierungs-Code ( $\rho$ ) um, um diese Probleme zu adressieren.

Optimierungsziel

Der Evolutionsprozess optimiert eine kostenbewusste Zielfunktion $J(\rho) = P(\rho) - \lambda C(\rho)$ , wobei:

Effektivität ( $P(\rho)$ ): Gemessen an der Downstream-Performance des mit den kuratierten Ressourcen trainierten Agenten. Der Evolutions-Agent zielt zuerst darauf ab, indem er Daten zur Abdeckung fehlender Fähigkeiten ergänzt, irreführende Beispiele herausfiltert und schwache Trajektorien verfeinert.
Effizienz ( $C(\rho)$ ): Gemessen an den normalisierten Training-Turn-Kosten. Nachdem die Effektivität adressiert wurde, beschneidet der Agent redundante Turns, entfernt instabile bzw. wenig nützliche Samples und kürzt übermäßig lange Trajektorien, um die Trainingsskala zu reduzieren, während kritische Supervision-Signale erhalten bleiben.

Falls eine evolvierte Strategie die Zielfunktion nicht verbessert, erfolgt ein Rollback, um eine Fehlerkaskade zu verhindern.

Zentrale Beiträge

Dynamischer Evolutionsrahmen: Der Vorschlag von CURATEEVO, welcher die Datenkuratierung von einer statischen Pipeline zu einem dynamischen, codebasierten Evolutionsprozess verschiebt, der durch Agenten-Fehler getrieben wird.
Gemeinsame Optimierung: Das Framework betrachtet die Datenausweitung, das Filtern und das Verfeinern gemeinsam, was Leistungsverbesserungen ermöglicht und gleichzeitig die Trainingskosten senkt.
Anpassungsfähigkeit: Durch die dynamische Revision des Kuratierungs-Codes basierend auf Evaluierungs-Feedback passt sich die Methode an Out-of-Distribution-Anwendungen und spezifische Fehlermodi an, im Gegensatz zu festen Pipelines.
Ressourcenkonstruktion: Die Methode konstruiert explizit nicht nur Trainingsdaten (SFT/RL), sondern auch eine Inference-Zeit-Memory-Bank, wodurch ein ganzheitlicher Ressourcensatz für das Agenten-Training entsteht.

Experimentelle Ergebnisse

Die Autoren evaluierten CURATEEVG auf ACEBench-Agent, BFCL-V4 und $\tau^2$ -Bench unter zwei Settings: Labeled Data (menschenannotierte Trajektorien) und Wild Data (reale Nutzerinteraktionslogs).

Leistungssteigerungen:
- Im Labeled Data Setting verbesserte CURATEEVO die durchschnittlichen Scores um 3,2 Punkte gegenüber den stärksten bisherigen Baselines.
- Im Wild Data Setting verbesserte es die durchschnittlichen Scores um 2,7 Punkte.
- Bemerkenswerterweise übertraf CURATEEVO mit einem 4B-Parameter-Modell (QWEN3-4B) mehrere bisherige Methoden, die 8B-Modelle nutzen, was darauf hindeutet, dass adaptive Kuratierung ebenso wirkungsvoll sein kann wie die Erhöhung der Modellgröße.
Effizienz: CURATEEVO reduzierte den Token-Overhead um etwa 48 % und den Wall-Clock-Overhead um 50 % pro 1.000 beibehaltenen Trainings-Turns im Vergleich zu vorherigen Baselines. Diese Effizienz ergibt sich aus der Evolution des Codes über einen festen Korpus, statt sich auf teure Umgebung-Interaktionen oder simulierte Nutzer zu verlassen.
Kompatibilität: Die durch CURATEEVO produzierten Ressourcen sind mit verschiedenen Post-Training-Rezepten (z. B. AgentGym-RL, ProRL-Agent) kompatibel und erzielten in Kombination mit diesen Methoden eine zusätzliche durchschnittliche Verbesserung von 21,3 Punkten.
Ablationsstudien:
- Das Entfernen der effektivitätsorientierten Revision verursachte den größten Leistungsabfall (~7 Punkte), was bestätigt, dass die Diagnose von Fehlermodi der primäre Erfolgsfaktor ist.
- Das Entfernen der effizienzorientierten Revision führte ebenfalls zu einem konsistenten Abfall, was zeigt, dass das Beschneiden von Redundanzen die Datenqualität verbessert, nicht nur die Skalierung reduziert.
- Alle drei Ressourcen (SFT, RL, Memory) erwiesen sich als komplementär.

Bedeutung und Ansprüche

Das Paper behauptet, dass adaptive, feedbackgesteuerte Datenkuratierung eine praktische und effektive Richtung zur Verbesserung von LLM-Agenten ist. Die Bedeutung von CURATEEVO liegt in der Fähigkeit:

Den Kuratierungsprozess von einem „festen Vorverarbeitungsschritt“ in eine iterative, fehlerbewusste Optimierungsschleife zu verwandeln.
Zu demonstrieren, dass Filtern und Verfeinern für das agentische Post-Training ebenso kritisch sind wie die Datenausweitung.
Aufzuzeigen, dass kostenbewusste Kuratierung den Trainings-Overhead reduzieren kann, während sie gleichzeitig die Downstream-Performance verbessert, was sie für reale Agenten-Anwendungen geeignet macht, bei denen Daten verrauscht oder unvollkommen sein können.

Die Autoren positionieren CURATEEVO nicht als Ersatz für spezifische Policy-Optimierungsalgorithmen, sondern als modulare, datenseitige Erweiterung, welche die Qualität und Effizienz der Trainingsressourcen ( $D_{SFT}$ , $D_{RL}$ , $M_{mem}$ ) verbessert, die in jede agentische Post-Training-Pipeline eingespeist werden.