💻 computer science

DataClawEval: A Benchmark for Data Engineering Agents in Real Industrial Harness

Este artigo apresenta o DataClawEval, o primeiro benchmark abrangente para avaliar agentes autônomos em tarefas de engenharia de dados ponta a ponta no mundo real através de cinco motores de execução, revelando que os modelos de fronteira atuais carecem de proficiência geral e permanecem limitados por uma especialização estrita de domínio.

Autores originais: Debin Meng, Jiaming Yang, Zefang Zong, Tengyue Xu, Haining Xie, Yang Li, Peng Chen

Publicado 2026-07-31

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Debin Meng, Jiaming Yang, Zefang Zong, Tengyue Xu, Haining Xie, Yang Li, Peng Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores não apenas conversam com você, mas realmente fazem coisas. Este é o reino dos Agentes de IA. Pense neles não como chatbots inteligentes que lhe dão conselhos, mas como estagiários digitais que podem abrir um laptop, ler uma planilha bagunçada, descobrir o que precisa ser corrigido, escrever o código para corrigir e, depois, verificar o próprio trabalho para garantir que realmente funciona. Por muito tempo, cientistas testaram esses estagiários digitais em tarefas simples, como traduzir uma frase em uma consulta de banco de dados (algo como pedir a um bibliotecário para encontrar um livro com base em uma descrição vaga). Mas o mundo real dos dados é muito mais bagunçado. Ele envolve conectar diferentes tipos de bancos de dados, lidar com fluxos de informações ao vivo e depurar códigos que travam de maneiras inesperadas. A grande questão que os pesquisadores estão fazendo é: esses agentes de IA conseguem realmente lidar com o trabalho complexo e real de um engenheiro de dados profissional, ou eles apenas parecem bons no papel?

Apresentamos o DataClawEval, um novo "teste de estresse" para esses agentes de IA, criado por pesquisadores da Tencent e da Universidade Xidian. Em vez de pedir à IA que apenas escreva uma única linha de código, este benchmark lança os agentes em uma simulação industrial realista. Os pesquisadores construíram um ambiente de testes contendo 100 tarefas diferentes de engenharia de dados, variando desde a análise do crescimento de usuários até o gerenciamento de riscos de segurança. Essas tarefas exigem que a IA utilize cinco "motores" diferentes (ferramentas especializadas como PySpark, MySQL e FlinkSQL) para construir, executar e depurar pipelines de dados inteiros. O diferencial? A IA não é avaliada apenas se escreve as palavras certas; ela é avaliada se o código realmente executa e produz os dados corretos em um ambiente ao vivo.

Os resultados deste experimento foram um choque de realidade. Os pesquisadores testaram 16 dos modelos de IA mais inteligentes disponíveis hoje. Mesmo o modelo "campeão", o GPT 5.5, conseguiu apenas uma pontuação de 74,9 de 100. Isso sugere que, embora a IA esteja melhorando, o sonho de um engenheiro de dados totalmente autônomo ainda está longe de ser resolvido. O estudo descobriu que nenhum modelo de IA é mestre em todos os ofícios; alguns são ótimos em um tipo de banco de dados, mas terríveis em outro. Por exemplo, enquanto a maioria dos modelos lidou bem com tarefas de MySQL, eles tiveram dificuldades significativas com HiveSQL. Além disso, os pesquisadores descobriram que usar mais "poder cerebral" (consumindo mais tokens de computador) não levava necessariamente a melhores resultados. Na verdade, os agentes mais eficientes eram frequentemente aqueles que não apenas tentavam adivinhar e repetir o processo infinitamente.

Talvez a descoberta mais surpreendente tenha sido sobre como devemos avaliar esses agentes de IA. A equipe testou se uma segunda IA poderia atuar como juiz para pontuar o trabalho, mas acabou sendo um desastre. O "juiz de IA" foi excessivamente generoso, dando pontuações altas para agentes que falharam em executar seu código corretamente, simplesmente porque o texto parecia bonito. Os pesquisadores concluíram que apenas um sistema rigoroso, baseado em regras, que realmente execute o código e verifique os dados, pode dizer a verdade. Em suma, o DataClawEval nos mostra que, embora os agentes de IA sejam promissores, eles ainda têm muito o que amadurecer antes de poderem ser confiados para operar nossos sistemas de dados críticos sem um humano vigiando sobre seus ombros.

Resumo Técnico: DataClawEval

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) e agentes autônomos tenham demonstrado potencial em engenharia de software e tarefas de Text-to-SQL, o domínio da engenharia de dados empresarial de ponta a ponta permanece amplamente inexplorado nos benchmarks existentes. Os esforços de avaliação atuais tipicamente isolam capacidades singulares: benchmarks de Text-to-SQL (ex: BIRD, Spider 2.0) focam na geração de consultas sobre esquemas fixos; benchmarks de execução de código (ex: InfiAgent-DABench) medem respostas analíticas em vez de pipelines implantáveis; e benchmarks de análise exploratória carecem do rigor de fluxos de trabalho de engenharia de nível de produção.

A engenharia de dados do mundo real difere fundamentalmente dessas tarefas. Ela exige que os agentes inspecionem esquemas de bancos de dados, compreendam semânticas de negócio, raciocinem sobre a lógica de transformação, implementem programas executáveis em motores heterogêneos (batch e streaming), depurem iterativamente falhas de tempo de execução e validem saídas de produção. Os benchmarks existentes falham em capturar essa complexidade, carecendo de tarefas de ETL realistas, suporte a múltiplos motores, ambientes de execução reproduzíveis e protocolos determinísticos que verifiquem todo o processo de engenharia em vez de apenas uma resposta final.

Metodologia

Construção do Conjunto de Dados: DataClawEval

Os autores introduzem o DataClawEval, o primeiro benchmark executável projetado especificamente para agentes autônomos de engenharia de dados. O conjunto de dados compreende 100 tarefas rigorosas de ponta a ponta derivadas de código de produção escrito por engenheiros de dados empresariais profissionais da Tencent.

Escopo: As tarefas abrangem cinco motores de execução: PySpark, MySQL, HiveSQL, PrestoSQL/Trino e FlinkSQL. Elas cobrem cargas de trabalho tanto offline (batch) quanto online (streaming).
Domínios: As tarefas são extraídas de cinco domínios de negócio: Governança de Operações e Recursos, Análise de Dados e Crescimento de Usuários, Controle de Risco e Segurança, Conteúdo e Comunidade, e Publicidade e Marketing.
Pipeline de Construção: Os autores utilizam uma metodologia human-in-the-loop para garantir tarefas com respostas identificáveis:
1. Curadoria: Código de produção de alta qualidade é dessensibilizado, deduplicado e estratificado.
2. Reconstrução: Um LLM infere a intenção do usuário e sintetiza tabelas de entrada baseadas no código de verdade fundamental (ground-truth).
3. Validação Iterativa: Um loop de teste diferencial garante que as entradas sintetizadas caracterizem unicamente a implementação de verdade fundamental. Especialistas humanos perturbam o código para verificar se implementações incorretas produzem resultados distinguíveis.
4. Scripts de Avaliação: Scripts de avaliação determinísticos e específicos para cada caso são desenvolvidos por especialistas para avaliar a correção do esquema, a precisão numérica e a lógica de negócio.
5. Auditoria Final: Especialistas de domínio verificam a consistência da intenção, entradas, código e critérios de avaliação.

Estrutura de Avaliação

O DataClawEval opera dentro de contêineres Docker isolados e específicos para cada caso para evitar vazamento de informações e garantir a reprodutibilidade.

Avaliação Orientada a Artefatos: Em vez de comparar o código fonte, a estrutura avalia a correção dos artefatos de dados produzidos (tabelas/arquivos) contra critérios específicos de negócio.
Avaliação Orientada ao Processo: A estrutura rastreia a trajetória de execução do agente, medindo a adequação da exploração, eficiência de execução e comportamentos de autoverificação.
Pontuação: A pontuação final é uma combinação ponderada ( $Score = \alpha S_{artifact} + (1-\alpha) S_{process}$ ), com $\alpha=0.7$ na maioria dos casos, priorizando a correção final enquanto recompensa processos de engenharia eficientes.
Avaliação Determinística: Os autores rejeitam explicitamente o "LLM-as-a-Judge" para pontuação, citando inflação sistemática de scores, não determinismo e viés. Eles utilizam scripts baseados em regras que executam as saídas contra bancos de dados reais.

Principais Resultados

Os autores avaliaram 16 agentes baseados em LLM de fronteira (incluindo GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro, DeepSeek V4 e outros) usando um harness de agente unificado (Tencent CodeBuddy).

Margem Significativa de Melhoria: O campo está longe de estar saturado. O modelo mais forte, GPT-5.5, alcançou uma pontuação geral de apenas 74.9/100, indicando substancial espaço para melhorias.
Ausência de Modelo Dominante: Nenhum modelo único domina em todos os motores. O desempenho é altamente específico por motor:
- MySQL é o mais fácil (scores >74 para todos os agentes).
- HiveSQL é o mais difícil (nenhum agente ultrapassa 69.8; alguns caem abaixo de 60).
- PySpark e FlinkSQL apresentam as maiores disparidades de desempenho, separando efetivamente agentes capazes de agentes fracos.
Custo de Tokens vs. Qualidade: Não há correlação positiva entre o consumo de tokens e a qualidade da solução. Alguns modelos (ex: Gemini 3.5 Flash) consomem significativamente mais tokens com scores de nível médio, enquanto outros (ex: GPT 5.5) alcançam precisão de alto nível com orçamentos de tokens menores.
Problemas de Estabilidade: Execuções repetidas revelam que alto desempenho de pico não garante robustez. Modelos como o Hy3 mostraram grandes lacunas de pontuação entre as melhores e piores execuções, e o pass^3 (resolver em todas as três execuções) foi significativamente menor que o pass@3 (resolver em qualquer uma das três execuções) para vários agentes.
Eficiência de Chamada de Ferramentas (Tool Call): A frequência de chamadas de ferramentas não tem correlação com o sucesso. Agentes líderes alcançam pontuações altas com menos chamadas de ferramentas, enquanto agentes ineficientes acumulam chamadas sem melhorar os artefatos.

Significância e Alegações

O artigo afirma que o DataClawEval estabelece um novo padrão para a avaliação de agentes autônomos em cenários realistas de engenharia de dados industrial. Suas principais contribuições são:

Primeiro Benchmark Executável: É o primeiro benchmark fundamentado em fontes de dados comerciais reais que exige que os agentes completem fluxos de trabalho de ponta a ponta (inspeção de esquema, codificação, depuração e materialização) em vez de apenas gerar trechos de código.
Avaliação Determinística Baseada em Regras: Ao rejeitar juízes de LLM em favor de scripts de avaliação executáveis e específicos para cada caso, o benchmark fornece uma avaliação confiável, detalhada e reproduzível das capacidades dos agentes.
Revelação de Especialização de Domínio: A avaliação expõe que os agentes atuais possuem especialização estrita de domínio em vez de proficiência onipotente, com o desempenho dependendo fortemente do motor de execução específico.
Lacunas de Confiabilidade: Os resultados destacam que a engenharia de dados autônoma continua sendo um desafio formidável e não resolvido, com os modelos atuais carecendo da estabilidade e eficiência necessárias para cargas de trabalho de produção não supervisionadas.

Os autores disponibilizam o conjunto de dados, os ambientes conteinerizados e os scripts de avaliação determinísticos para facilitar pesquisas futuras neste domínio crítico.