🤖 AI

Can Generalist Agents Automate Data Curation?

Dit artikel introduceert Curation-Bench om aan te tonen dat hoewel generalistische programmeeragenten de datacuratie-loop kunnen automatiseren en bestaande baselines kunnen evenaren, het bereiken van superieure, op onderzoek gebaseerde databeleid een ondersteuning vereist die agenten dwingt om eerdere methoden te citeren en aan te passen in plaats van te vertrouwen op open-ended prompting.

Oorspronkelijke auteurs: Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar onervaren student (een AI-model) probeert te leren hoe hij complexe puzzels moet oplossen. Je hebt een enorme bibliotheek van 665.000 oefenopgaven, maar je hebt slechts tijd om er 10.000 aan hem te geven. De vraag is: Hoe kies je de beste 10.000?

In het verleden moesten mensen dit handmatig doen. Ze gokten welke problemen goed waren, testten de student, keken waar hij faalde, en pasten vervolgens hun lijst aan. Het was traag, duur en uitputtend.

Deze paper vraagt: Kan een slimme computeragent (een "Generalist Agent") dit werk voor ons doen? Kan het fungeren als een onderzoeksassistent die de data selecteert, het model traint, de resultaten controleert en automatisch opnieuw probeert?

Hier is het verhaal van wat ze ontdekten, met behulp van enkele eenvoudige analogieën.

1. De Opzet: De "Kookwedstrijd"

De onderzoekers bouwden een speciale keuken genaamd CURATION-BENCH.

De Chef (De Agent): Een slimme AI die bestanden kan lezen, code kan schrijven en commando's kan uitvoeren.
De Ingrediënten (De Data): Een enorme stapel gemengde recepten (afbeeldingen en tekst).
De Regels: De agent kan de oventemperatuur niet veranderen (de trainingscode) of het jurypaneel (de tests). Het enigste wat de agent kan veranderen, is welke ingrediënten hij in de pan doet.
Het Doel: Een kleine batch van 10.000 ingrediënten maken die net zo goed smaakt als een gerecht gemaakt met de volledige 665.000.

2. De Eerste Poging: "De Intuïtieve Kok"

De onderzoekers lieten de agenten koken met open-ended prompts. Ze zeiden in feite: "Ga maar aan de slag, kies de beste 10.000 recepten die je kunt vinden."

Het Resultaat: De agenten waren verrassend goed in de basiszaken.

Ze begrepen snel dat het simpelweg pakken van willekeurige recepten slecht was.
Ze begonnen de mix aan te passen: "Laten we meer kookrecepten toevoegen en minder wiskundige problemen," of "Laten we ervoor zorgen dat we genoeg lange, gedetailleerde instructies hebben."
De Analogie: Denk hierbij aan een thuiskok die de basis beheerst. Hij heeft geen tekstboek nodig om te weten dat als de soep te zout is, hij er water aan moet toevoegen. De agenten konden het recept "tunen" door eenvoudige knoppen aan te passen (zoals de verhouding van verschillende databronnen).
De Limiet: Ze kwamen in een sleur terecht. Ze bleven steeds weer hetzelfde recept aanpassen (bijv. "Misschien 60% kookrecepten, 40% wiskunde? Nee, misschien 55/45?"). Ze dachten zelden na over het proberen van een compleet andere kookstijl, zoals: "Wat als we de recepten herschrijven in plaats van alleen maar te kiezen?"

3. Het Probleem: "De Executie-kloof"

De agenten waren goede uitvoerders (ze konden de loop draaien en instructies opvolgen) maar slechte onderzoekers (ze wisten niet hoe ze nieuwe ideeën moesten verkennen).

Zelfs toen de onderzoekers hen een lijst met "coole kooktechnieken" of een stapel "beroemde kookboeken" (wetenschappelijke papers) gaven, negeerden de agenten deze grotendeels. Ze zouden in hun aantekeningen zeggen: "Ik ga diversiteits-sampling proberen!", maar in de praktijk veranderden ze gewoon weer de verhouding van de ingrediënten. Ze zaten vast in "lokale optimalisatie"—het tweaken van hetzelfde kleine gebied in plaats van de hele keuken te verkennen.

4. De Oplossing: "De Strenge Sous-Chef" (Scaffolding)

Om dit op te lossen, introduceerden de onderzoekers Scaffolds. Denk hierbij aan strikte regels of zijwieltjes die de agent dwingen om als een echte wetenschapper te denken.

Ze probeerden twee soorten:

Lichte Scaffolds: "Hé, hier zijn wat coole technieken die je zou kunnen proberen." (Dit zorgde ervoor dat de agenten meer ideeën gingen bespreken, maar ze kookten nog steeds op dezelfde manier).
Zware Scaffolds: "Voordat je het recept aanpast, moet je een specifiek kookboek citeren, precies uitleggen waarom je die techniek gebruikt, en laten zien hoe je deze hebt aangepast aan jouw ingrediënten."

De Doorbraak:
De Zware Scaffolds werkten als een tovermiddel.

De agenten stopten met het simpelweg aanpassen van verhoudingen. Ze begonnen de "kookboeken" (wetenschappelijke papers) te lezen en implementeerden daadwerkelijk complexe, nieuwe strategieën.
Eén agent ontdekte een methode genaamd EL2N (wat zoiets is als het selecteren van de recepten waar de student het meest mee worstelde, maar dan wel de recepten filteren die gewoon kapot of verwarrend waren).
Het Resultaat: Deze "scaffolded" agent creëerde een dataset van 10.000 voorbeelden die beter presteerde dan menselijk ontworpen baselines die 100.000 voorbeelden gebruikten. Ze behaalden hetzelfde (of beter) resultaat met slechts één tiende van de data.

5. De Belangrijkste Les

De paper concludeert dat:

Agenten kunnen de loop draaien: Ze zijn erg goed in het doen van het repetitieve werk van testen en bijsturen.
Maar ze hebben een gids nodig: Zonder strikte regels die hen dwingen om bewijs te citeren en specifieke methoden aan te passen, blijven ze hangen in een "vibe check"-modus, waarbij ze kleine, veilige veranderingen aanbrengen in plaats van grote ontdekkingen te doen.
Compute is de nieuwe data: Als je niet meer data kunt krijgen, kun je meer "computertijd" (iteraties) besteden aan het zoeken naar de perfecte manier om de data die je al hebt te gebruiken.

Kortom: Je kunt een slimme AI de taak geven om data te cureren, maar als je wilt dat het een echte onderzoeker is en niet alleen een tweaker, dan moet je het een strikte checklist geven die het dwingt om te leren van eerdere ontdekkingen in plaats van simpelweg te gokken.

Technische Samenvatting: Kunnen Generalistische Agenten Datacuratie Automatiseren?

Probleemstelling

Moderne AI-ontwikkeling leunt zwaar op het cureren van trainingsdata, een proces dat zowel doorslaggevend als arbeidsintensief is. Praktijkgebruikers gaan doorga af in een iteratieve lus van het voorstellen, implementeren, evalueren en herzien van databeleid op basis van ruisende benchmark-feedback. Hoewel eerder werk individuele data-operaties heeft geautomatiseerd (bijv. pruning, deduplicatie, herschrijven), blijft het proces van hogere orde besluitvorming — beslissen welke techniek te gebruiken, hoe deze aan te passen en wanneer deze te herzien — grotendeels handmatig. Bestaande benchmarks of optimaliseren de data en de trainingsrecepten (bijv. ML-research agents), of behandelen data als een statische input voor analyse (bijv. data-science agents), waardoor er een gat ontstaat in het evalueren van iteratieve data-beleidsontdekking door autonome agenten.

Methodologie: CURATION-BENCH

Om dit gat te dichten, introduceren de auteurs CURATION-BENCH, een agent-centrische benchmark die evalueert of generalistische programmeeragenten de data-curatie-lus kunnen automatiseren.

Ontwerpprincipes van de Benchmark

Data-isolatie: De modelarchitectuur, het trainingsrecept en de evaluatiesuite zijn vastgesteld. De enige variabele van de agent is het gecureerde databeleid.
Terminale Realisme: Agenten werken in een standaard terminal-workspace, waarbij ze interageren met bestanden, scripts schrijven, commando's uitvoeren en debuggen, wat het workflow van echte engineering weerspiegelt.
Contaminatiecontrole: Een automatische audit controleert ingediende datasets op exacte overeenkomsten of tekstsegmenten met een hoge overlap met evaluatiebenchmarks om datalekage te voorkomen.
Traject-leesbaarheid: Het systeem legt het volledige curatietraject vast (scripts, manifesten, logs, scores) om niet alleen de uiteindelijke uitkomst, maar ook de kwaliteit van het zoekproces te evalueren.

Taakformalisering

Een taak wordt gedefinieerd door een tupel $\tau = (M_0, D_{pool}, B, T, E, C)$ , waarbij $M_0$ het initiële model is, $D_{pool}$ de kandidaat-pool is, $B$ het databudget is, $T$ de vaste trainingsprocedure is, $E$ de evaluatiesuite is, en $C$ de beperkingen vertegenwoordigt. De agent moet een beleid $\pi$ produceren dat $D_{pool}$ mapt naar een gecureerde dataset $D_\pi$ ( $|D_\pi| \le B$ ). Het beleid wordt gescoord door $S(\pi) = E(T(M_0, D_\pi))$ .

Experimentele Opzet

De primaire instantie richt zich op multimodale instructie-afstemming:

Data: Het selecteren van 10k samples uit de LLaVA-665K dataset (665k totaal) om het LLaVA-1.5-7B model te finetunen.
Agenten: Generalistische programmeeragenten (Claude Code, Codex, Kimi, Qwen) opererend via de OpenHands-harness.
Scaffolds: De studie vergelijkt open-prompt agenten met lichte scaffolds (optionele begeleiding over strategieën of papers) en zware scaffolds (bindende protocollen die bewijs-gegronde hypothesen vereisen of de verplichte aanpassing van eerdere methoden).

Belangrijkste Bijdragen

1. Benchmark voor Iteratieve Datacuratie

CURATION-BENCH is de eerste benchmark die datacuratie isoleert als het centrale object van optimalisatie voor autonome agenten, waarbij het volledige zoektraject wordt vastgelegd om onderscheid te maken tussen effectieve exploratie en lokale tuning.

2. De Executie–Research Kloof

De studie identificeert een hardnekkige kloof waarbij agenten in staat zijn tot executie maar beperkt zijn als onderzoeker.

Executie: Open-prompt agenten kunnen de curatie-lus betrouwbaar uitvoeren, waarbij ze geldige datasets produceren en de training-uitkomsten verbeteren ten opzichte van willekeurige selectie.
Onderzoeksbeperking: Agenten hebben de neiging om lokale beleidsfamilies te "overexploiteren" (bijv. het aanpassen van bronratio's, lengtedrempels of willekeurige seeds) in plaats van verschillende beleidsfamilies te verkennen. Zelfs met toegang tot strategiehandleidingen en paper-referenties, slagen agenten er vaak niet in om abstracte onderzoeksconcepten te operationaliseren naar uitvoerbare beleidsregels zonder verdere structurele beperkingen.

3. De Rol van Scaffolding

De paper demonstreert dat scaffolding de cruciale hefboom is om de executie van de agent om te zetten in echte onderzoeks-exploratie.

Lichte Scaffolds: Het verstrekken van lijsten met strategieën of paper-referenties verbreedt de genoemde opties van de agent, maar verandert zelden het uitgevoerde beleid, aangezien agenten terugvallen op laag-kosten lokale heuristieken.
Zware Scaffolds: Het opleggen van bindende protocollen (bijv. "Adapt Papers") die eisen dat agenten een specifieke eerdere methode citeren, de toepasbaarheid ervan uitleggen en deze aanpassen aan het huidige budget, dwingt tot een verschuiving naar methode-gestuurde exploratie. Deze aanpak stelt agenten in staat om nieuwe, hoog-presterende beleidsregels te ontdekken die open-prompt agenten missen.

Resultaten

Prestaties van Open-Prompt Agenten

Basale Prestatie: Open-prompt agenten bereiken sterke gepubliceerde data-selectie baselines (bijv. ICONS, ARDS) binnen tien iteraties.
Efficiëntie: Ze herstellen ongeveer 59% van de winst van de volledige data fine-tuning met gebruik van slechts 1,5% van de oorspronkelijke datapool (10k vs. 665k).
Beperking: Hun succes wordt gedreven door lokale heuristische tuning in plaats van het verkennen van nieuwe beleidsfamilies.

Impact van Zware Scaffolding

Doorbraakprestatie: Onder de "Adapt Papers" scaffold componeerde een agent autonoom een hybride beleid dat een EL2N-stijl top-loss selectie combineert met een assistant-loss noise filter.
Superioriteit: Deze scaffolded agent behaalde een gemiddelde score van 34,9, waarmee zowel de open-prompt agent als sterke niet-agent baselines (ICONS, ARDS) werd overtroffen, terwijl hij slechts één tiende van het databudget gebruikte dat nodig was voor die baselines (10k vs. 100k).
Trajectkwaliteit: Zware scaffolds elimineerden "ondiepe" operaties (daalden van 47% naar 0% in het beste geval) en verhoogden "gegronde" iteraties naar 100%.

Schalen van Computebudget

Het uitbreiden van het iteratiebudget van de agent van 10 naar 50 laat zien dat de prestaties blijven verbeteren zonder een duidelijk plateau, wat suggereert dat in scenario's met beperkte data, extra rekenkracht effectief kan worden besteed aan het zoeken naar databeleidsregels in plaats van alleen het trainen op meer data.

Betekenis en Claims

De paper claimt dat huidige generalistische agenten de curatie-lus kunnen draaien, maar niet betrouwbaar datacommercieel onderzoek kunnen doen zonder gescaffolded methode-adaptatie.

Autonoom vs. Geassisteerd: Er wordt een onderscheid gemaakt tussen autonome executie (het draaien van een lus met duidelijke lokale verificatie) en agent-geassisteerd onderzoek (het navigeren door een discontinue beleidsruimte met schaarse feedback). Datacuratie valt in de laatste categorie.
Scaffolds als Artefacten: De auteurs stellen dat scaffolds niet louter prompts zijn, maar experimentele ontwerpobjecten die het redeneervermogen van de agent bepalen. Toekomstige evaluaties van autonoom dataonderzoek moeten de kracht van de scaffold en trajectdiagnostiek rapporteren, niet alleen de eindscores.
Data-efficiënte Compute: Het werk suggereert een nieuw paradigma voor het verbeteren van modelprestaties in scenario's met beperkte data: het besteden van extra rekenkracht aan het zoeken naar databeleidsregels (selectie, aanpassing, validatie) in plaats van enkel het hergebruiken van data of synthetische expansie.

De auteurs concluderen dat hoewel open-ended prompting nuttige uitvoerders oplevert, betrouwbaar dataonderzoek gescaffolded methode-adaptatie vereist om de kloof tussen abstracte methodologische kennis en uitvoerbare databeleidsregels te overbruggen.