🤖 AI

Can Generalist Agents Automate Data Curation?

Dieses Paper führt Curation-Bench ein, um zu demonstrieren, dass allgemeine Coding-Agenten zwar den Datenkuratierungszyklus automatisieren und bestehende Baselines erreichen können, das Erreichen überlegener, auf Forschungsniveau liegender Datenstrategien jedoch ein Scaffolding erfordert, das Agenten dazu zwingt, vorangegangene Methoden zu zitieren und anzupassen, anstatt sich auf offene Prompting-Verfahren zu verlassen.

Ursprüngliche Autoren: Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber unerfahrenen Studenten (einem KI-Modell) beizubringen, wie man komplexe Rätsel löst. Sie haben eine riesige Bibliothek von 665.000 Übungsaufgaben, aber Sie haben nur Zeit, ihm 10.000 zu geben. Die Frage ist: Wie wählen Sie die besten 10.000 aus?

In der Vergangenheit mussten Menschen dies manuell tun. Sie würden raten, welche Aufgaben gut sind, den Studenten testen, sehen, wo er scheiterte, und dann ihre Liste anpassen. Das war langsam, teuer und erschöpfend.

Diese Arbeit fragt: Kann ein intelligenter Computer-Agent (ein „Generalist Agent“) diese Aufgabe für uns erledigen? Kann er als Forschungsassistent fungieren, der die Daten auswählt, das Modell trainiert, die Ergebnisse überprüft und automatisch wieder von vorn beginnt?

Hier ist die Geschichte dessen, was sie herausgefunden haben, unter Verwendung einiger einfacher Analogien.

1. Das Setup: Der „Kochwettbewerb“

Die Forscher bauten eine spezielle Küche namens CURATION-BENCH.

Der Chef (Der Agent): Ein intelligenter KI-Agent, der Dateien lesen, Code schreiben und Befehle ausführen kann.
Die Zutaten (Die Daten): Ein riesiger Haufen gemischter Rezepte (Bilder und Text).
Die Regeln: Der Agent kann weder die Ofentemperatur ändern (den Trainingscode) noch das Bewertungspanel (die Tests). Das Einzige, was der Agent ändern kann, ist, welche Zutaten er in den Topf gibt.
Das Ziel: Eine kleine Charge von 10.000 Zutaten zu kreieren, die so gut schmeckt wie ein Gericht, das mit den vollen 665.000 Zutaten zubereitet wurde.

2. Der erste Versuch: „Der intuitive Koch“

Die Forscher ließen die Agenten mit offenen Prompts kochen. Sie sagten im Grunde: „Such dir einfach die besten 10.000 Rezepte aus, die du finden kannst.“

Das Ergebnis: Die Agenten waren überraschend gut in den Grundlagen.

Sie begriffen schnell, dass es schlecht war, einfach wahllos Rezepte zu greifen.
Sie begannen, die Mischung anzupassen: „Lass uns mehr Kochrezepte und weniger Matheaufgaben hinzufügen“ oder „Lass uns sicherstellen, dass wir genug lange, detaillierte Anweisungen haben“.
Die Analogie: Denken Sie an einen Hobbykoch, der die Grundlagen beherrscht. Er braucht kein Lehrbuch, um zu wissen, dass er mehr Wasser hinzufügen muss, wenn die Suppe zu salzig schmeckt. Die Agenten konnten das Rezept „feintunen“, indem sie einfache Regler anpassten (wie das Verhältnis verschiedener Datenquellen).
Die Grenze: Sie gerieten in eine Sackgasse. Sie passten immer wieder das gleiche Rezept an (z. B. „Vielleicht 60 % Kochen, 40 % Mathe? Nein, vielleicht 55/45?“). Sie dachten selten daran, einen völlig anderen Kochstil auszuprobieren, wie zum Beispiel: „Was wäre, wenn wir die Rezepte umschreiben, anstatt nur die Auswahl zu treffen?“

3. Das Problem: „Die Ausführungslücke“

Die Agenten waren großartige Ausführer (sie konnten die Schleife durchlaufen und Anweisungen folgen), aber schlechte Forscher (sie wussten nicht, wie man neue Ideen erforscht).

Selbst als die Forscher ihnen eine Liste mit „coolen Kochtechniken“ oder einen Stapel „berühmter Kochbücher“ (wissenschaftliche Arbeiten) gaben, ignorierten die Agenten diese meistens. Sie sagten in ihren Notizen zwar: „Ich werde Diversitäts-Sampling ausprobieren!“, aber dann änderten sie in der Realität doch nur wieder das Verhältnis der Zutaten. Sie steckten in der „lokalen Optimierung“ fest – sie optimierten denselben kleinen Bereich, anstatt die ganze Küche zu erkunden.

4. Die Lösung: „Der strenge Sous-Chef“ (Scaffolding)

Um dies zu beheben, führten die Forscher Scaffolds (Gerüste) ein. Betrachten Sie diese als strenge Regeln oder Trainingsräder, die den Agenten dazu zwingen, wie ein echter Wissenschaftler zu denken.

Sie probierten zwei Arten aus:

Leichte Scaffolds: „Hey, hier sind einige coole Techniken, die du ausprobieren könntest.“ (Dies führte dazu, dass die Agenten mehr über Ideen sprachen, aber sie kochten immer noch auf die gleiche Weise weiter).
Starke Scaffolds: „Bevor du das Rezept änderst, musst du ein spezifisches Kochbuch zitieren, genau erklären, warum du diese Technik verwendest, und zeigen, wie du sie an deine Zutaten angepasst hast.“

Der Durchbruch:
Die starken Scaffolds wirkten wie Magie.

Die Agenten hörten auf, nur Verhältnisse anzupassen. Sie begannen, die „Kochbücher“ (wissenschaftliche Arbeiten) zu lesen und tatsächlich komplexe, neue Strategien zu implementieren.
Ein Agent entdeckte eine Methode namens EL2N (was so etwas ist wie das Auswählen der Rezepte, bei denen der Student am meisten geschwierig getan hat, aber dabei diejenigen herauszufiltern, die einfach nur fehlerhaft oder verwirrend waren).
Das Ergebnis: Dieser „scaffolded“ Agent erstellte einen Datensatz von 10.000 Beispielen, der besser abschnitt als von Menschen entworfene Baselines, die 100.000 Beispiele verwendeten. Er erreichte dieselben (oder bessere) Ergebnisse mit nur einem Zehntel der Daten.

5. Die wichtigste Erkenntnis

Das Paper kommt zu folgendem Schluss:

Agenten können die Schleife durchlaufen: Sie sind großartig darin, die repetitive Arbeit des Testens und Anpassens zu erledigen.
Aber sie brauchen einen Wegweiser: Oh ohne strenge Regeln, die sie dazu zwingen, Beweise zu zitieren und spezifische Methoden anzuwenden, bleiben sie im Modus eines „Vibe-Checks“ stecken – sie machen kleine, sichere Änderungen statt großer Entdeckungen.
Rechenleistung ist das neue Datum: Wenn man nicht mehr Daten bekommen kann, kann man mehr „Computerzeit“ (Iterationen) investieren, um die perfekte Art und Weise zu suchen, die bereits vorhandenen Daten zu nutzen.

Kurz gesagt: Man kann einer intelligenten KI die Aufgabe geben, Daten zu kuratieren, aber wenn man will, dass sie ein echter Forscher und nicht nur ein Anpasser ist, muss man ihr eine strikte Checkliste geben, die sie zwingt, von vergangenen Entdeckungen zu lernen, anstatt nur zu raten.

Technisches Resümee: Können Generalistische Agenten die Datenkuratierung automatisieren?

Problemstellung

Die moderne KI-Entwicklung stützt sich stark auf die Kuratierung von Trainingsdaten – ein Prozess, der sowohl folgenschwer als auch arbeitsintensiv ist. Praktiker durchlaufen typischerweise eine iterative Schleife aus dem Vorschlagen, Implementieren, Evaluieren und Überarbeiten von Datenrichtlinien basierend auf verrauschtem Benchmark-Feedback. Während vorangegangene Arbeiten einzelne Datenoperationen (z. B. Pruning, Deduplizierung, Umschreiben) automatisiert haben, bleibt der übergeordnete Entscheidungsprozess – zu entscheiden, welche Technik anzuwenden ist, wie sie anzupassen ist und wann sie zu revidieren ist – weitgehend manuell. Bestehende Benchmarks optimieren entweder feste Daten und Trainingsrezepte (z. B. ML-Research-Agenten) oder behandeln Daten als statischen Input für Analysen (z. B. Data-Science-Agenten), wodurch eine Lücke bei der Evaluierung der iterativen Entdeckung von Datenrichtlinien durch autonome Agenten entsteht.

Methodik: CURATION-BENCH

Um diese Lücke zu schließen, führen die Autoren CURATION-BENCH ein, einen agentenzentrierten Benchmark, der darauf abzielt zu evaluieren, ob generalistische Coding-Agenten die Datenkuratierungs-Schleife automatisieren können.

Designprinzipien des Benchmarks

Datenisolation: Die Modellarchitektur, das Trainingsrezept und die Evaluierungssuite sind fixiert. Die einzige Variable des Agenten ist die kuratierte Datenrichtlinie.
Terminale Realitätstreue: Agenten operieren in einer Standard-Terminal-Arbeitsumgebung, interagieren mit Dateien, schreiben Skripte, führen Befehle aus und debuggen, was reale Engineering-Workflows widerspiegelt.
Kontaminationskontrolle: Ein automatischer Audit prüft eingereichte Datensätze auf exakte Übereinstimmungen oder Textüberlappungen mit hohen Anteilen gegenüber den Evaluierungs-Benchmarks, um Datenleckagen zu verhindern.
Trajektorien-Lesbarkeit: Das System zeichnet die vollständige Kuratierungs-Trajektorie auf (Skripte, Manifeste, Logs, Scores), um nicht nur das Endergebnis, sondern auch die Qualität des Suchprozesses zu bewerten.

Aufgabenformalisierung

Eine Aufgabe ist definiert durch ein Tupel $\tau = (M_0, D_{pool}, B, T, E, C)$ , wobei $M_0$ das initiale Modell ist, $D_{pool}$ der Kandidatenpool, $B$ das Datenbudget, $T$ das feste Trainingsverfahren, $E$ die Evaluierungssuite und $C$ die Constraints darstellt. Der Agent muss eine Richtlinie $\pi$ erzeugen, die $D_{pool}$ auf einen kuratierten Datensatz $D_\pi$ abbildet ( $|D_\pi| \le B$ ). Die Richtlinie wird durch $S(\pi) = E(T(M_0, D_\pi))$ bewertet.

Experimentelles Setup

Die primäre Instanziierung konzentriert sich auf multimodales Instruction Tuning:

Daten: Auswahl von 10k Samples aus dem LLaVA-665K Datensatz (insgesamt 665k) zur Feinabstimmung des LLaVA-1.5-7B Modells.
Agenten: Generalistische Coding-Agenten (Claude Code, Codex, Kimi, Qwen), die über das OpenHands-Harness operieren.
Scaffolds: Die Studie vergleicht Open-Prompt-Agenten mit leichten Scaffolds (optionale Anleitung zu Strategien oder Papern) und schweren Scaffolds (bindende Protokolle, die evidenzbasiert begründete Hypothesen oder die obligatorische Anpassung vorangegangener Methoden erfordern).

Zentrale Beiträge

1. Benchmark für iterative Datenkuratierung

CURATION-BENCH ist der erste Benchmark, der die Trainingsdaten-Kuratierung als zentrales Objekt der Optimierung für autonome Agenten isoliert und die vollständige Suchtrajektorie aufzeichnet, um zwischen effektiver Exploration und lokaler Feinabstimmung zu unterscheiden.

2. Die Execution–Research-Lücke

Die Studie identifiziert eine beständige Lücke, in der Agenten zwar fähige Exekutoren, aber begrenzte Forscher sind.

Execution: Open-Prompt-Agenten können die Kuratierungsschleife zuverlässig durchführen, gültige Datensätze produzieren und die Trainingsergebnisse gegenüber einer Zufallsauswahl verbessern.
Forschungslimitierung: Agenten neigen dazu, lokale Policy-Familien zu "über-exploitieren" (z. B. Anpassung von Quotenverhältnissen, Längen-Schwellenwerten oder Random Seeds), anstatt distinkte Policy-Familien zu explorieren. Selbst mit Zugang zu Strategie-Leitfäden und Paper-Referenzen scheitern Agenten oft daran, abstrakte Forschungs-Ideen ohne weitere strukturelle Einschränkungen in ausführbare Richtlinien zu operationalisieren.

3. Die Rolle des Scaffolding

Die Arbeit zeigt, dass Scaffolding der entscheidende Hebel ist, um die Ausführung eines Agenten in echte Forschungs-Exploration zu verwandeln.

Leichte Scaffolds: Das Bereitstellen von Listen von Strategien oder Paper-Referenzen erweitert die deklarierten Optionen des Agenten, ändert aber selten die ausgeführte Richtlinie, da Agenten auf kostengünstige lokale Heuristiken zurückfallen.
Schwere Scaffolds: Das Auflegen bindender Protokolle (z. B. „Adapt Papers“), die verlangen, dass Agenten eine spezifische vorangegangene Methode zitieren, deren Anwendbarkeit erklären und sie an das aktuelle Budget anpassen, erzwingt einen Wechsel hin zu methodengestützter Exploration. Dieser Ansatz ermöglicht es Agenten, neuartige, hochperformante Richtlinien zu entdecken, die Open-Prompt-Agenten entgehen.

Ergebnisse

Performance von Open-Prompt-Agenten

Basiserreichung: Open-Prompt-Agenten erreichen innerhalb von zehn Iterationen starke publizierte Datenselektions-Baselines (z. B. ICONS, ARDS).
Effizienz: Sie gewinnen etwa 59% des Gewinns der Full-Data-Feinabstimmung unter Verwendung von nur 1,5% des ursprünglichen Datenpools (10k vs. 665k).
Limitierung: Ihr Erfolg wird durch lokale heuristische Feinabstimmung getrieben, statt durch die Exploration neuer Policy-Familien.

Einfluss von schwerem Scaffolding

Durchbruch-Performance: Unter dem „Adapt Papers“-Scaffold komponierte ein Agent autonom eine hybride Richtlinie, die eine EL2N-Stil Top-Loss Selektion mit einem Assistant-Loss Noise Filter kombiniert.
Überlegenheit: Dieser scaffolded Agent erreichte einen Durchschnittswert von 34,9 und übertraf damit sowohl den Open-Prompt-Agenten als auch starke Nicht-Agent-Baselines (ICONS, ARDS), während er nur ein Zehntel des Datenbudgets benötigte, das von diesen Baselines erforderlich war (10k vs. 100k).
Trajektorien-Qualität: Schwere Scaffolds eliminierten „flache“ Operationen (Rückgang von 47% auf 0% im besten Fall) und erhöhten die „fundierten“ Iterationen auf 100%.

Skalierung des Rechenbudgets

Die Erweiterung des Iterationsbudgets des Agenten von 10 auf 50 zeigt, dass die Performance weiter steigt, ohne ein klares Plateau zu erreichen. Dies deutet darauf hin, dass in Finite-Data-Regimen zusätzliche Rechenleistung effektiv für die Suche über Datenrichtlinien statt nur für das Training mit mehr Daten aufgewendet werden kann.

Signifikanz und Ansprüche

Das Paper behauptet, dass aktuelle generalistische Agenten die Kuratierungsschleife zwar ausführen, aber keine verlässliche Datenforschung ohne scaffolded Methodenanpassung betreiben können.

Autonom vs. Assistent: Die Unterscheidung wird zwischen autonomer Ausführung (Durchlaufen einer Schleife mit klarer lokaler Verifizierung) und agenten-gestützter Forschung (Navigieren in einem diskontinuierlichen Policy-Raum mit spärlichem Feedback) gezogen. Datenkuratierung fällt in die zweite Kategorie.
Scaffolds als Artefakte: Die Autoren argumentieren, dass Scaffolds nicht bloß Prompts sind, sondern experimentelle Designobjekte, die die Denkfähigkeit des Agenten bestimmen. Zukünftige Evaluierungen autonomer Datenforschung müssen die Stärke des Scaffolds und die Trajektorien-Diagnostik melden, nicht nur die Endscores.
Dateneffiziente Rechenleistung: Die Arbeit legt ein neues Paradigma vor, um die Modellperformance in Finite-Data-Regimen zu verbessern: Rechenleistung für die Suche über Datenrichtlinien (Selektion, Anpassung, Validierung) einzusetzen, anstatt lediglich Daten zu wiederverwenden oder synthetisch zu expandieren.

Die Autoren kommen zu dem Schluss, dass während offen formulierte Prompts nützliche Exekutoren liefern, verlässliche Datenforschung eine scaffolded Methodenanpassung erfordert, um die Lücke zwischen abstraktem methodischem Wissen und ausführbaren Datenrichtlinien zu schließen.