Resumo Técnico: DSAgentBench

Declaração do Problema

A ciência de dados no mundo real envolve fluxos de trabalho complexos e de longo horizonte que abrangem manipulação de dados, exploração, modelagem, visualização e validação. Essas tarefas exigem o uso coordenado de diversas ferramentas — incluindo notebooks, IDEs, terminais, navegadores e bancos de dados — dentro de um sistema operacional funcional. Embora avanços recentes em modelos de linguagem de grande escala (LLMs) tenham demonstrado capacidades na geração de código ou na execução de tarefas analíticas isoladas, os benchmarks existentes falham em avaliar se agentes podem executar autonomamente fluxos de trabalho completos de ciência de dados de ponta a ponta em ambientes computacionais realistas.

Os benchmarks atuais dividem-se em duas categorias: aqueles que avaliam a geração de código de forma isolada (ex: DS-1000, DSEval) sem exigir interação com o sistema, e aqueles que avaliam o controle geral de computadores (ex: OSWorld, WebArena) sem avaliar o raciocínio analítico específico do domínio. Consequentemente, há uma carência de frameworks de avaliação que testem a capacidade de um agente de navegar em sistemas de arquivos, gerenciar dependências, interpretar erros e refinar análises com base em saídas intermediárias dentro de um ambiente de SO real.

Metodologia

Construção do Benchmark (DSAgentBench)

Os autores introduzem o DSAgentBench, o primeiro benchmark projetado para avaliar fluxos de trabalho autônomos de ciência de dados dentro de sistemas operacionais reais. O benchmark consiste em 275 tarefas diversas, elaboradas por humanos, cobrindo todo o ciclo de vida da ciência de dados.

• Formulação de Tarefas: As tarefas são definidas como tuplas $(C_i, I_i, V_i)$, onde $C_i$ é a configuração inicial do sistema (datasets, estrutura de arquivos, bibliotecas instaladas), $I_i$ é uma instrução em linguagem natural e $V_i$ é um avaliador Python determinístico.
• Obtenção de Dados: Os datasets são extraídos de fontes heterogêneas do mundo real, incluindo Kaggle, OpenML, GitHub, bancos de dados SQLite e APIs web. Os dados incluem modalidades tabular (95,3%), imagem (3,6%) e texto (1,1%).
• Categorias de Tarefas: As tarefas são organizadas em seis categorias de capacidade: Aquisição de Dados, Análise Exploratória de Dados (EDA), Engenharia de Atributos (Feature Engineering), Modelagem, Avaliação/Implantação e Visualização/Relatórios.
• Protocolo de Avaliação: Diferente dos benchmarks que pontuam a execução de código, o DSAgentBench utiliza avaliadores determinísticos que verificam a correção analítica, a qualidade da saída visual e o desempenho do modelo. Uma tarefa é considerada bem-sucedida apenas se as saídas finais do agente satisfizerem os critérios do avaliador (score $\ge 0,95$).
• Pipeline de Construção: O benchmark foi construído através de um processo de três estágios: obtenção de datasets, design colaborativo de tarefas/avaliadores por especialistas humanos (com LLMs usados apenas para refinamento) e verificação por duplo anotador para garantir reprodutibilidade e correção técnica.

Arquitetura do Ambiente

O DSAgentBench estende o framework OSWorld para criar um ambiente de execução realista:

• SO: Ubuntu com Python pré-instalado e bibliotecas de ciência de dados.
• Ferramentas: Visual Studio Code, Jupyter Notebook, Chrome e acesso às APIs do Kaggle/OpenML.
• Espaço de Observação: Os agentes recebem uma captura de tela de 1920×1080 ou uma modalidade híbrida de Captura de Tela + Árvore de Acessibilidade (A11y), que fornece metadados estruturados da UI (funções, caixas delimitadoras, estados de interação).
• Espaço de Ação: Os agentes interagem via ações de GUI (cliques de mouse, entrada de teclado) e meta-ações (WAIT, DONE, FAIL). O ambiente captura as transações de estado após cada ação.

Modelos Avaliados

Os autores avaliaram 15 agentes de código aberto e fechado, incluindo:

• Código Fechado: GPT-4o, GPT-5 (e mini), O4-mini, Claude Sonnet 4/4.5/4.6, Gemini 2.5 Pro e o Agente de Computador da OpenAI.
• Código Aberto: UI-TARS (2B/7B), GUI-OWL-7B, OpenCUA-72B e modelos híbridos (Jedi pareado com GPT-4o).

Principais Resultados

Desempenho Geral

Os experimentos revelam uma lacuna substancial de capacidade entre os sistemas agênticos atuais e as demandas de fluxos de trabalho reais de ciência de dados:

• Agente Mais Forte: O Claude-4.6-Sonnet alcançou o maior desempenho com 56,70% de sucesso nas tarefas sob a configuração de Captura de Tela + Árvore A11y.
• Outros Modelos de Código Fechado: O desempenho caiu significativamente para outros modelos, com o GPT-5 em 29,81% e outros (GPT-4o, Gemini-2.5-Pro) pairando em torno de 20%.
• Modelos de Código Aberto: Todos os agentes de código aberto alcançaram menos de 1% de sucesso, falhando frequentemente na orquestração de ferramentas, fundamentação no SO (OS grounding) e raciocínio de múltiplos passos.
• Baseline Humano: Especialistas humanos alcançaram uma taxa de sucesso de 85,09%, destacando a lacuna remanescente mesmo para os agentes de IA mais fortes.

Ablação e Análise de Erros

• Complexidade da Tarefa: O desempenho degrada monotonicamente com a dificuldade. Tarefas "difíceis" (5+ passos) continuam sendo as mais desafiadoras. Fluxos de trabalho de múltiplos estágios (56,7% das tarefas) são significativamente mais difíceis do que tarefas de estágio único devido à necessidade de manutenção de estado e recuperação de erros.
• Uso de Ferramentas: Tarefas executadas em Jupyter Notebooks tiveram melhor desempenho do que aquelas no VS Code, em grande parte devido a menos falhas relacionadas ao terminal e ao ambiente.
• Modalidade de Observação: Adicionar informações da árvore A11y geralmente melhorou o desempenho, sugerindo que metadados estruturados da UI auxiliam na fundamentação, embora os ganhos tenham variado por modelo.
• Modos de Falha:
  • Agentes de código aberto falharam quase exclusivamente (97–98%) devido a erros de fundamentação (incapacidade de alinhar instruções com o estado do desktop).
  • Agentes de código fechado mais fortes exibiram falhas mistas, incluindo erros de terminal, falhas de geração de código e déficits de raciocínio.
  • Estrutura Temporal: Modelos de código aberto e modelos mais fracos frequentemente falhavam cedo (incapacidade de abrir terminais), enquanto modelos mais fortes tendiam a falhar em estágios posteriores após exploração prolongada e ineficaz.
• Sensibilidade ao Orçamento: Aumentar o orçamento de interação de 15 para 50 passos rendeu apenas ganhos marginais (24,54% $\to$ 25,81%), indicando que as falhas não são primariamente devidas aos limites de passos, mas sim a questões fundamentais de planejamento e raciocínio.

Significância e Alegações

O artigo posiciona o DSAgentBench como um recurso fundamental para o desenvolvimento de agentes de ciência de dados fundamentados, verificáveis e autônomos. Suas principais contribuições são:

1. Primeiro Benchmark de SO Real: É o primeiro benchmark a avaliar fluxos de trabalho autônomos de ciência de dados dentro de um sistema operacional funcional, cobrindo todo o ciclo de vida, desde a aquisição de dados até a validação.
2. Avaliação Baseada em Execução: Ele desloca o paradigma de avaliação de "correção de código" para "correção analítica", exigindo que os agentes produzam artefatos válidos (visualizações, modelos, relatórios) verificados por scripts determinísticos.
3. Revelando a Lacuna: Os resultados expõem uma limitação significativa nos sistemas agênticos atuais, demonstrando que mesmo os modelos mais fortes lutam com a coordenação de ferramentas, raciocínio de longo horizonte e fundamentação no SO necessária para a ciência de dados do mundo real.
4. Direção Futura: Ao identificar modos de falha específicos (fundamentação, planejamento, orquestração de ferramentas), o benchmark fornece um roteiro claro para pesquisas futuras visando construir agentes capazes de realizar tarefas de ciência de dados reais.

Os autores disponibilizam o benchmark em https://github.com/vis-nlp/DSAgentBench para facilitar pesquisas adicionais neste domínio.