Resumo Técnico: Agentes Generalistas Podem Automatizar a Curadoria de Dados?

Definição do Problema

O desenvolvimento moderno de IA depende fortemente da curadoria de dados de treinamento, um processo que é tanto consequencial quanto laborioso. Os profissionais geralmente se envolvem em um loop iterativo de propor, implementar, avaliar e revisar políticas de dados com base em feedbacks ruidosos de benchmarks. Embora trabalhos anteriores tenham automatizado operações de dados individuais (ex: poda, deduplicação, reescrita), o processo de tomada de decisão de nível superior — decidir qual técnica usar, como adaptá-la e quando revisá-la — permanece amplamente manual. Benchmarks existentes ou fixam os dados e otimizam as receitas de treinamento (ex: agentes de pesquisa de ML) ou tratam os dados como uma entrada estática para análise (ex: agentes de ciência de dados), deixando uma lacuna na avaliação da descoberta iterativa de políticas de dados por agentes autônomos.

Metodologia: CURATION-BENCH

Para preencher essa lacuna, os autores introduzem o CURATION-BENCH, um benchmark centrado em agentes projetado para avaliar se agentes de codificação generalistas podem automatizar o loop de curadoria de dados.

Princípios de Design do Benchmark

1. Isolamento de Dados: A arquitetura do modelo, a receita de treinamento e o conjunto de avaliação são fixos. A única variável do agente é a política de curadoria de dados.
2. Realismo de Terminal: Os agentes operam em um workspace de terminal padrão, interagindo com arquivos, escrevendo scripts, executando comandos e depurando, espelhando fluxos de trabalho reais de engenharia.
3. Controle de Contaminação: Um auditor automático verifica os conjuntos de dados submetidos em busca de correspondências exatas ou spans de texto com alta sobreposição contra os benchmarks de avaliação para evitar vazamento de dados.
4. Legibilidade de Trajetória: O sistema registra a trajetória completa de curadoria (scripts, manifestos, logs, pontuações) para avaliar não apenas o resultado final, mas a qualidade do processo de busca.

Formalização da Tarefa

Uma tarefa é definida por uma tupla $\tau = (M_0, D_{pool}, B, T, E, C)$, onde $M_0$ é o modelo inicial, $D_{pool}$ é o pool de candidatos, $B$ é o orçamento de dados, $T$ é o procedimento de treinamento fixo, $E$ é o conjunto de avaliação e $C$ representa as restrições. O agente deve produzir uma política $\pi$ que mapeie $D_{pool}$ para um conjunto de dados curado $D_\pi$ ($|D_\pi| \le B$). A política é pontuada por $S(\pi) = E(T(M_0, D_\pi))$.

Configuração Experimental

A principal instanciação foca em ajuste fino de instrução multimodal:

• Dados: Selecionar 10k amostras do dataset LLaVA-665K (665k no total) para realizar o ajuste fino do LLaVA-1.5-7B.
• Agentes: Agentes de codificação generalistas (Claude Code, Codex, Kimi, Qwen) operando via o harness OpenHands.
• Scaffolds (Andaimas): O estudo compara agentes de prompt aberto contra scaffolds leves (orientação opcional sobre estratégias ou artigos) e scaffolds pesados (protocolos vinculativos que exigem hipóteses fundamentadas em evidências ou adaptação mandatória de métodos anteriores).

Principais Contribuições

1. Benchmark para Curadoria Iterativa de Dados

O CURATION-BENCH é o primeiro benchmark a isolar a curadoria de dados de treinamento como o objeto central de otimização para agentes autônomos, registrando a trajetória completa de busca para distinguir entre exploração eficaz e ajuste local.

2. O Gap Execução–Pesquisa

O estudo identifica um gap persistente onde os agentes são capazes executores, mas pesquisadores limitados.

• Execução: Agentes de prompt aberto conseguem executar o loop de curadoria de forma confiável, produzindo datasets válidos e melhorando os resultados de treinamento em relação à seleção aleatória.
• Limitação de Pesquisa: Agentes tendem a "sobre-explotar" famílias de políticas locais (ex: ajustando razões de fontes, limiares de comprimento ou sementes aleatórias) em vez de explorar famílias de políticas distintas. Mesmo com acesso a guias de estratégia e referências de artigos, os agentes frequentemente falham em operacionalizar ideias de pesquisa abstratas em políticas executáveis sem restrições estruturais adicionais.

3. O Papel do Scaffolding

O artigo demonstra que o scaffolding é a alavanca crítica para converter a execução do agente em uma pesquisa genuína.

• Scaffolds Leves: Fornecer listas de estratégias ou referências de artigos amplia as opções declaradas do agente, mas raramente altera a política executada, pois os agentes recorrem a heurísticas locais de baixo custo.
• Scaffolds Pesados: Impor protocolos vinculativos (ex: "Adapt Papers") que exigem que os agentes citem um método anterior específico, expliquem sua aplicabilidade e o adaptem ao orçamento atual força uma mudança para a exploração guiada por métodos. Essa abordagem permite que os agentes descubram políticas inovadoras e de alto desempenho que os agentes de prompt aberto perdem.

Resultados

Desempenho de Agentes de Prompt Aberto

• Alcance da Linha de Base: Agentes de prompt aberto atingem fortes baselines publicados de seleção de dados (ex: ICONS, ARDS) dentro de dez iterações.
• Eficiência: Eles recuperam aproximadamente 59% do ganho de ajuste fino de dados totais usando apenas 1,5% do pool de dados original (10k vs. 665k).
• Limitação: Seu sucesso é impulsionado pelo ajuste de heurísticas locais em vez da exploração de novas famílias de políticas.

Impacto do Scaffolding Pesado

• Desempenho de Ruptura: Sob o scaffold "Adapt Papers", um agente compôs autonomamente uma política híbrida combinando seleção de top-loss estilo EL2N com um filtro de ruído de perda de assistente (assistant-loss).
• Superioridade: Este agente com scaffold alcançou uma pontuação média de 34,9, superando tanto o agente de prompt aberto quanto os fortes baselines não-agentes (ICONS, ARDS), enquanto utilizava apenas um décimo do orçamento de dados exigido por esses baselines (10k vs. 100k).
• Qualidade da Trajetória: Scaffolds pesados eliminaram operações "rasas" (caindo de 47% para 0% no melhor caso) e aumentaram as iterações "fundamentadas" para 100%.

Escalonamento do Orçamento de Computação

Estender o orçamento de iteração do agente de 10 para 50 mostra que o desempenho continua a melhorar sem um platô claro, sugerindo que, em regimes de dados finitos, o computação adicional pode ser efetivamente gasto na busca sobre políticas de dados, em vez de apenas treinar com mais dados.

Significância e Alegações

O artigo afirma que os agentes generalistas atuais podem rodar o loop de curadoria, mas não podem conduzir pesquisa de dados de forma confiável sem a adaptação de métodos via scaffolding.

• Autônomo vs. Assistido: A distinção é traçada entre execução autônoma (rodar um loop com verificação local clara) e pesquisa assistida por agente (navegar em um espaço de política descontínuo com feedback esparso). A curadoria de dados entra nesta última categoria.
• Scaffolds como Artefatos: Os autores argumentam que os scaffolds não são meros prompts, mas objetos de design experimental que determinam as capacidades de raciocínio do agente. Avaliações futuras de pesquisa de dados autônoma devem reportar a força do scaffold e diagnósticos de trajetória, não apenas pontuações finais.
• Computação Eficiente em Dados: O trabalho sugere um novo paradigma para melhorar o desempenho do modelo em regimes de dados finitos: gastar computação extra na busca sobre políticas de dados (seleção, adaptação, validação) em vez de apenas reutilizar dados ou expansão sintética.

Os autores concluem que, embora o prompting aberto gere executores úteis, a pesquisa de dados confiável requer adaptação de método com scaffolding para preencher o gap entre o conhecimento metodológico abstrato e as políticas de dados executáveis.