🤖 AI

Can Generalist Agents Automate Data Curation?

Este artículo presenta Curation-Bench para demostrar que, si bien los agentes de codificación generalistas pueden automatizar el bucle de curación de datos y equipararse a las líneas base existentes, lograr políticas de datos superiores, de nivel de investigación, requiere un andamiaje que obligue a los agentes a citar y adaptar métodos previos en lugar de depender de un prompting abierto.

Autores originales: Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

Publicado 2026-06-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un estudiante brillante pero inexperto (un modelo de IA) cómo resolver acertijos complejos. Tienes una biblioteca masiva de 665,000 problemas de práctica, pero solo tienes tiempo para darle 10,000. La pregunta es: ¿Cómo eliges los mejores 10,000?

En el pasado, los humanos tenían que hacer esto manualmente. Elegían a ojo qué problemas eran buenos, probaban al estudiante, veían dónde fallaba y luego ajustaban su lista. Era lento, costoso y agotador.

Este artículo plantea: ¿Puede un agente informático inteligente (un "Agente Generalista") hacer este trabajo por nosotros? ¿Puede actuar como un asistente de investigación que selecciona los datos, entrena al modelo, comprueba los resultados e intenta de nuevo automáticamente?

Aquí está la historia de lo que encontraron, utilizando algunas analogías sencillas.

1. La configuración: El "Concurso de Cocina"

Los investigadores construyeron una cocina especial llamada CURATION-BENCH.

El Chef (El Agente): Una IA inteligente que puede leer archivos, escribir código y ejecutar comandos.
Los Ingredientes (Los Datos): Una enorme pila de recetas mezcladas (imágenes y texto).
Las Reglas: El agente no puede cambiar la temperatura del horno (el código de entrenamiento) ni el panel de jueces (las pruebas). La única cosa que el agente puede cambiar es qué ingredientes pone en la olla.
El Objetivo: Crear un lote pequeño de 10,000 ingredientes que haga que el plato sepa tan bien como un plato hecho con los 665,000 completos.

2. El primer intento: "El Cocinero Intuitivo"

Los investigadores dejaron que los agentes cocinaran con prompts abiertos. Básicamente dijeron: "Adelante, elige las mejores 10,000 recetas que encuentres".

El Resultado: Los agentes fueron sorprendentemente buenos en lo básico.

Rápidamente comprendieron que simplemente agarrar recetas al azar era malo.
Empezaron a ajustar la mezcla: "Añadamos más recetas de cocina y menos problemas de matemáticas", o "Asegurémonos de tener suficientes instrucciones largas y detalladas".
La Analogía: Piensa en esto como un cocinero casero que conoce los conceptos básicos. No necesita un libro de texto para saber que si la sopa está demasiado salada, debe añadir más agua. Los agentes pudieron "ajustar" la receta ajustando perillas simples (como la proporción de diferentes fuentes de datos).
El Límite: Se quedaron estancados en una rutina. Seguían ajustando la misma receta una y otra vez (por ejemplo, "¿Tal vez 60% cocina, 40% matemáticas? ¿No, tal vez 55/45?"). Rara vez pensaron en probar un estilo de cocina completamente diferente, como "¿Qué pasa si reescribimos las recetas en lugar de solo seleccionarlas?".

3. El Problema: "La Brecha de Ejecución"

Los agentes eran excelentes ejecutores (podían realizar el bucle y seguir instrucciones) pero malos investigadores (no sabían cómo explorar nuevas ideas).

Incluso cuando los investigadores les dieron una lista de "técnicas de cocina geniales" o una pila de "libros de cocina famosos" (artículos científicos), los agentes los ignoraron en su mayoría. Decían: "¡Probaré el muestreo de diversidad!" en sus notas, pero luego en realidad solo cambiaban la proporción de los ingredientes otra vez. Estaban atrapados en una "optimización local": ajustando la misma área pequeña en lugar de explorar toda la cocina.

4. La Solución: "El Sous-Chef Estricto" (Andamiaje)

Para solucionar esto, los investigadores introdujeron Andamios (Scaffolds). Piensa en ellos como reglas estrictas o rueditas de entrenamiento que los obligan a pensar como un verdadero científico.

Probaron dos tipos:

Andamios Ligeros: "Oye, aquí hay algunas técnicas geniales que podrías probar". (Esto hizo que los agentes hablaran de más ideas, pero seguían cocinando de la misma manera).
Andamios Pesados: "Antes de cambiar la receta, debes citar un libro de cocina específico, explicar exactamente por qué estás usando esa técnica y mostrar cómo la adaptaste a tus ingredientes".

El Gran Avance:
Los Andamios Pesados funcionaron como magia.

Los agentes dejaron de solo ajustar proporciones. Empezaron a leer los "libros de cocina" (artículos científicos) y a implementar estrategias compleas y nuevas de verdad.
Un agente descubrió un método llamado EL2N (que es como seleccionar las recetas con las que el estudiante más tuvo dificultades, pero luego filtrar aquellas que simplemente estaban rotas o eran confusas).
El Resultado: Este agente "andamiado" creó un conjunto de datos de 10,000 ejemplos que funcionó mejor que los modelos de referencia diseñados por humanos que usaron 100,000 ejemplos. Lograron los mismos (o mejores) resultados con una décima parte de los datos.

5. La Gran Conclusión

El artículo concluye que:

Los agentes pueden ejecutar el bucle: Son excelentes realizando el trabajo repetitivo de probar y ajustar.
Pero necesitan un guía: Sin reglas estrictas que los obliguen a citar evidencia y adaptar métodos específicos, se quedan en un modo de "verificación de sensaciones" (vibe check), realizando cambios pequeños y seguros en lugar de grandes descubrimientos.
El cómputo es el nuevo dato: Si no puedes conseguir más datos, puedes dedicar más "tiempo de computadora" (iteraciones) a buscar la forma perfecta de usar los datos que ya tienes.

En resumen: Puedes darle a una IA inteligente la tarea de curar datos, pero si quieres que sea un verdadero investigador y no solo un ajustador, tienes que darle una lista de verificación estricta que la obligue a aprender de los descubrimientos pasados en lugar de simplemente adivinar.

Resumen Técnico: ¿Pueden los Agentes Generalistas Automatizar la Curación de Datos?

Planteamiento del Problema

El desarrollo moderno de la IA depende en gran medida de la curación de datos de entrenamiento, un proceso que es tanto trascendental como laborioso. Los profesionales suelen participar en un bucle iterativo de proponer, implementar, evaluar y revisar políticas de datos basadas en el feedback ruidoso de los benchmarks. Si bien trabajos previos han automatizado operaciones de datos individuales (por ejemplo, poda, deduplicación, reescritura), el proceso de toma de decisiones de nivel superior —decidir qué técnica utilizar, cómo adaptarla y cuándo revisarla— sigue siendo mayoritariamente manual. Los benchmarks existentes o bien fijan los datos y optimizan las recetas de entrenamiento (ej. agentes de investigación de ML) o tratan los datos como una entrada estática para el análisis (ej. agentes de ciencia de datos), dejando un vacío en la evaluación de la descubrimiento iterativo de políticas de datos por parte de agentes autónomos.

Metodología: CURATION-BENCH

Para abordar este vacío, los autores presentan CURATION-BENCH, un benchmark centrado en agentes diseñado para evaluar si los agentes de codificación generalistas pueden automatizar el bucle de curación de datos.

Principios de Diseño del Benchmark

Aislamiento de Datos: La arquitectura del modelo, la receta de entrenamiento y la suite de evaluación son fijas. La única variable del agente es la política de curación de datos.
Realismo Terminal: Los agentes operan en un espacio de trabajo de terminal estándar, interactuando con archivos, escribiendo scripts, ejecutando comandos y depurando, lo que refleja los flujos de trabajo de ingeniería del mundo real.
Control de Contaminación: Una auditoría automática verifica si los conjuntos de datos enviados tienen coincidencias exactas o tramos de texto de alta superposición con los benchmarks de evaluación para prevenir la fuga de datos.
Legibilidad de la Trayectoria: El sistema registra la trayectoria completa de la curación (scripts, manifiestos, logs, puntuaciones) para evaluar no solo el resultado final, sino también la calidad del proceso de búsqueda.

Formalización de la Tarea

Una tarea se define mediante una tupla $\tau = (M_0, D_{pool}, B, T, E, C)$ , donde $M_0$ es el modelo inicial, $D_{pool}$ es el pool de candidatos, $B$ es el presupuesto de datos, $T$ es el procedimiento de entrenamiento fijo, $E$ es la suite de evaluación y $C$ representa las restricciones. El agente debe producir una política $\pi$ que mapee $D_{pool}$ a un conjunto de datos curado $D_\pi$ ( $|D_\pi| \le B$ ). La política se califica mediante $S(\pi) = E(T(M_0, D_\pi))$ .

Configuración Experimental

La instanciación principal se centra en el ajuste de instrucciones multimodal:

Datos: Selección de 10k muestras del conjunto de datos LLaVA-665K (665k en total) para realizar el fine-tuning del modelo LLaVA-1.5-7B.
Agentes: Agentes de codificación generalistas (Claude Code, Codex, Kimi, Qwen) operando a través del entorno OpenHands.
Andamiajes (Scaffolds): El estudio compara agentes de prompt abierto frente a andamiajes ligeros (orientación opcional sobre estrategias o artículos) y andamiajes pesados (protocolos vinculantes que requieren hipótesis fundamentadas en evidencia o la adaptación obligatoria de métodos previos).

Contribuciones Clave

1. Benchmark para la Curación Iterativa de Datos

CURATION-BENCH es el primer benchmark que aisla la curación de datos de entrenamiento como el objeto central de optimización para agentes autónomos, registrando la trayectoria completa de búsqueda para distinguir entre una exploración efectiva y un ajuste local.

2. La Brecha Ejecución–Investigación

El estudio identifica una brecha persistente donde los agentes son capaces ejecutores pero investigadores limitados.

Ejecución: Los agentes de prompt abierto pueden ejecutar de manera fiable el bucle de curación, produciendo conjuntos de datos válidos y mejorando los resultados del entrenamiento sobre la selección aleatoria.
Limitación de Investigación: Los agentes tienden a "sobreexplotar" familias de políticas locales (por ejemplo, ajustando ratios de origen, umbrales de longitud o semillas aleatorias) en lugar de explorar distintas familias de políticas. Incluso con acceso a guías de estrategia y referencias de artículos, los agentes a menudo fallan al operacionalizar ideas de investigación abstractas en políticas ejecutables sin restricciones estructurales adicionales.

3. El Papel del Andamiaje (Scaffolding)

El artículo demuestra que el andamiaje es la palanca crítica para convertir la ejecución del agente en una verdadera exploración de investigación.

Andamiajes Ligeros: Proporcionar listas de estrategias o referencias de artículos amplía las opciones declaradas del agente, pero rara vez cambia la política ejecutada, ya que los agentes recurren por defecto a heurísticas locales de bajo coste.
Andamiajes Pesados: Imponer protocolos vinculantes (ej. "Adaptar Artículos") que requieren que los agentes citen un método previo específico, expliquen su aplicabilidad y lo adapten al presupuesto actual, fuerza un cambio hacia una exploración guiada por métodos. Este enfoque permite a los agentes descubrir políticas novedosas y de alto rendimiento que los agentes de prompt abierto pasan por alto.

Resultados

Rendimiento de los Agentes de Prompt Abierto

Logro de la Línea Base: Los agentes de prompt abierto alcanzan baselines de selección de datos publicados y sólidos (ej. ICONS, ARDS) dentro de diez iteraciones.
Eficiencia: Recuperan aproximadamente el 59% de la ganancia del fine-tuning de datos completos utilizando solo el 1.5% del pool de datos original (10k vs. 665k).
Limitación: Su éxito es impulsado por el ajuste de heurísticas locales en lugar de la exploración de nuevas familias de políticas.

Impacto del Andamiaje Pesado

Rendimiento de Ruptura: Bajo el andamiaje "Adapt Papers", un agente compuso autónomamente una política híbrida que combina la selección de top-loss estilo EL2N con un filtro de ruido de asistente-loss.
Superioridad: Este agente con andamiaje logró una puntuación media de 34.9, superando tanto al agente de prompt abierto como a los baselines no basados en agentes (ICONS, ARDS), utilizando solo un décimo del presupuesto de datos requerido por esos baselines (10k vs. 100k).
Calidad de la Trayectoria: Los andamiajes pesados eliminaron las operaciones "superficiales" (cayendo del 47% al 0% en el mejor de los casos) e incrementaron las iteraciones "fundamentadas" al 100%.

Escalamiento del Presupuesto de Cómputo

Extender el presupuesto de iteración del agente de 10 a 50 muestra que el rendimiento continúa mejorando sin un plateau claro, lo que sugiere que, en regímenes de datos finitos, se puede gastar computación adicional efectivamente en la búsqueda sobre políticas de datos en lugar de solo entrenar con más datos.

Significado y Reivindicaciones

El artículo sostiene que los agentes generalistas actuales pueden ejecutar el bucle de curación pero no pueden realizar investigación de datos de forma fiable sin la adaptación de métodos mediante andamiaje.

Autónomo vs. Asistido: La distinción se traza entre la ejecución autónoma (ejecutar un bucle con verificación local clara) y la investigación asistida por agentes (navegar por un espacio de políticas discontinuo con feedback disperso). La curación de datos cae en esta última categoría.
Los Andamiajes como Artefactos: Los autores argumentan que los andamiajes no son meros prompts, sino objetos de diseño experimental que determinan las capacidades de razonamiento del agente. Las evaluaciones futuras de la investigación de datos autónoma deben reportar la fuerza del andamiaje y los diagnósticos de la trayectoria, no solo las puntuaciones finales.
Cómputo Eficiente en Datos: El trabajo sugiere un nuevo paradigma para mejorar el rendimiento de los modelos en regímenes de datos finitos: gastar computación extra en la búsqueda sobre políticas de datos (selección, adaptación, validación) en lugar de únicamente en el reuso de datos o la expansión sintética.

Los autores concluyen que, si bien el prompting abierto genera ejecutores útiles, la investigación de datos fiable requiere una adaptación de métodos mediante andamiaje para cerrar la brecha entre el conocimiento metodológico abstracto y las políticas de datos ejecutables.