TML-Bench: Benchmark for Data Science Agents on Tabular ML Tasks

Este artigo apresenta o TML-Bench, um novo benchmark para avaliar agentes de ciência de dados autônomos em tarefas de aprendizado de máquina tabular baseadas em competições do Kaggle, demonstrando que o modelo MiniMax-M2.1 obteve o melhor desempenho agregado entre os 10 modelos de linguagem de código aberto testados sob diferentes limites de tempo.

O essencial

Imagine que você é um gerente de uma grande fábrica de dados. Você tem quatro problemas diferentes para resolver (como prever quem vai cancelar uma assinatura ou quanto tráfego de pedestres haverá em uma loja). Você contrata 10 "robôs programadores" (Inteligências Artificiais) para tentar resolver esses problemas.

O artigo que você leu, chamado TML-bench, é como um relatório de testes de corrida desses robôs. Mas, em vez de ver apenas quem chegou primeiro, o foco é ver quem é o mais confiável e consistente.

Aqui está a explicação do que aconteceu, usando analogias do dia a dia:

1. O Grande Desafio: A Corrida com Regras Rígidas

A maioria dos testes de IA pergunta: "Qual é a melhor resposta que você consegue dar se tiver sorte?". O TML-bench faz uma pergunta diferente: "Qual é a sua média de desempenho quando você tem pressa e não pode trapacear?".

• A Prova: São 4 competições de dados (como as do site Kaggle).
• O Tempo: Os robôs têm três limites de tempo diferentes para resolver cada problema:
  • 240 segundos (4 minutos): Uma corrida de "sprint".
  • 600 segundos (10 minutos): Uma corrida média.
  • 1200 segundos (20 minutos): Uma maratona.
• A Regra de Ouro: Cada robô tentou resolver cada problema 5 vezes. Para ser considerado no ranking final, o robô precisou ter sucesso em todas as 5 tentativas. Se ele falhou uma vez, ele foi desclassificado daquela categoria. Isso garante que não estamos olhando apenas para "sorte".

2. O "Jogo Limpo" (Sem Espionagem)

Para garantir que os robôs não estavam "colando" na prova, os pesquisadores usaram duas regras de segurança:

1. Modo Avião: Durante o teste, os robôs não tinham acesso à internet. Eles não podiam pesquisar a resposta no Google.
2. O Exame Cego: Os robôs treinaram em dados públicos, mas a pontuação final foi baseada em uma "prova secreta" (dados que ninguém viu antes). É como se o professor corrigisse a prova com um gabarito que o aluno nunca viu.

3. Quem Ganhou a Corrida?

O grande vencedor foi o MiniMax-M2.1-TEE.

• A Analogia: Imagine que os outros robôs são como atletas que têm dias bons e dias ruins. O MiniMax foi como um atleta olímpico que, em 5 tentativas, sempre entregou uma performance de nível de medalha, sem falhar.
• Ele teve o melhor desempenho geral em todas as 4 competições, especialmente quando teve mais tempo (1200 segundos).

4. O Que Aprendemos com Isso?

O artigo nos ensina três lições importantes sobre como usar IA hoje:

• Consistência é Rei: Ter um robô que dá a resposta perfeita uma vez em 100 tentativas é inútil para o mundo real. Você quer um robô que funcione bem 99% das vezes. O TML-bench mostra que alguns robôs são "sortudos" e outros são "confiáveis".
• Tempo Ajuda, mas não é Mágica: Deixar o robô trabalhar por 20 minutos (1200s) geralmente melhora o resultado, mas nem sempre. Alguns robôs melhoram muito com o tempo, enquanto outros ficam estagnados. É como dar mais tempo para um estudante estudar: alguns aprendem mais, outros apenas ficam ansiosos.
• A "Fragilidade" Oculta: Alguns robôs pareciam ótimos na média, mas tinham uma "instabilidade" enorme.
  • Analogia: Imagine dois carros. O Carro A faz 100 km/h sempre. O Carro B faz 100 km/h, mas às vezes faz 200 km/h e outras vezes 0 km/h (quebra). A média do Carro B pode ser alta, mas você não confiaria nele para levar você ao aeroporto. O artigo mostra que alguns modelos de IA são como o Carro B: imprevisíveis.

5. Por Que Isso Importa para Você?

Se você é um empresário ou alguém que usa tecnologia, este estudo diz: "Não olhe apenas para o recorde de velocidade. Olhe para a confiabilidade."

Antes de contratar uma Inteligência Artificial para tomar decisões importantes (como aprovar empréstimos ou diagnosticar doenças), você precisa saber se ela vai funcionar bem toda vez, e não apenas quando a lua está cheia e o computador está rápido.

Resumo em uma frase: O TML-bench é um teste de estresse que mostrou que, embora algumas IAs sejam brilhantes, o MiniMax-M2.1-TEE foi o mais confiável e consistente em resolver problemas de dados sob pressão, sem trapacear.

Resumo técnico

Resumo Técnico: TML-bench

1. O Problema

O aprendizado de máquina (ML) em dados tabulares continua sendo uma carga de trabalho prática predominante. Embora agentes de codificação autônomos consigam gerar baselines fortes rapidamente em tarefas estilo Kaggle, o valor prático real depende da correção e confiabilidade de ponta a ponta sob limites de tempo estritos.

Benchmarks existentes muitas vezes testam apenas tarefas de codificação isoladas, falhando em capturar modos de falha importantes e trade-offs do fluxo de trabalho completo (carregamento de dados, preparação de recursos, treinamento, iteração e geração de submissão). Além disso, a comparação entre modelos é dificultada pela falta de padronização em métricas heterogêneas, orçamentos de tempo variáveis e o risco de "contaminação" (quando o modelo possui conhecimento prévio sobre os dados de teste).

2. Metodologia e Protocolo

O TML-bench introduz um protocolo de avaliação rigoroso focado em tarefas tabulares estilo Kaggle, com as seguintes características principais:

• Suíte de Avaliação: O benchmark avalia modelos em 4 competições do Kaggle com diferentes métricas (AUC, RMSE, etc.).
• Orçamentos de Tempo: Três orçamentos de tempo de parede (wall-clock) são testados por competição: 240s, 600s e 1200s. Cada orçamento utiliza um conjunto de instruções fixo para o agente (o de 1200s, por exemplo, foca especificamente em XGBoost).
• Reprodutibilidade e Rigor:
  • Cada modelo é executado 5 vezes para cada combinação de tarefa e orçamento.
  • Apenas modelos com cobertura completa (5 execuções bem-sucedidas em todas as 12 configurações: 4 competições × 3 orçamentos) são incluídos na análise principal.
  • O desempenho reportado é a mediana das 5 execuções mais antigas bem-sucedidas.
• Controle de Contaminação:
  • O acesso à internet é desabilitado durante as execuções.
  • Os modelos avaliados são selecionados com base em uma data de corte de conhecimento (knowledge cutoff) anterior ao início das competições do Kaggle testadas.
• Infraestrutura: As execuções ocorrem em um ambiente limpo gerenciado pelo harness Kilo Code, que impõe os limites de tempo, valida o formato da submissão e calcula a pontuação em um conjunto de dados de holdout privado (invisível ao agente).
• Normalização de Métricas: Para permitir comparações agregadas entre competições com métricas diferentes (ex: AUC onde maior é melhor vs. RMSE onde menor é melhor), o benchmark utiliza uma normalização min-max dentro de cada configuração (competição × orçamento), convertendo tudo para uma direção "maior é melhor".

3. Principais Contribuições

O artigo apresenta as seguintes contribuições para o campo de agentes de IA:

1. Protocolo de Benchmark Rigoroso: Estabelece um padrão para tarefas tabulares com preparação determinística, validação estrita de submissão e pontuação em holdout privado.
2. Política de Relato Reprodutível: Define uma política fixa de instruções, suíte fixa e agregação por mediana de cinco execuções, com requisitos explícitos de cobertura.
3. Controles de Contaminação de Baixo Custo: Cria um ambiente de avaliação acessível (custo marginal de ~$10 para a suíte completa) que pode ser executado por pesquisadores individuais, garantindo isolamento de dados.
4. Análise de Confiabilidade e Escalabilidade: Vai além da pontuação máxima, analisando a estabilidade run-to-run, taxas de sucesso e como o desempenho escala com o tempo disponível.
5. Materiais Abertos: Disponibiliza logs de execução, scripts e materiais para regeneração completa dos gráficos e tabelas.

4. Resultados Chave

• Desempenho Agregado: O modelo MiniMax-M2.1-TEE alcançou a melhor pontuação agregada em todas as quatro competições sob o protocolo principal do artigo.
• Confiabilidade Variável: A confiabilidade (taxa de sucesso e estabilidade) varia significativamente, mesmo entre os modelos de alto desempenho. Gráficos de Pareto (desempenho vs. estabilidade) mostram uma separação clara entre modelos mais e menos confiáveis.
• Escalabilidade com o Tempo:
  • O desempenho médio melhora com orçamentos de tempo maiores.
  • No entanto, a escalabilidade é "ruidosa" para alguns modelos individuais com o número atual de execuções.
  • Cerca de 57,5% das curvas de escalabilidade (modelo × competição) são monótonas (o desempenho não piora à medida que o tempo aumenta).
• Estabilidade: Alguns modelos exibem alta variância em configurações específicas. Por exemplo, o GLM 4.7 Flash mostrou instabilidade significativa no orçamento de 1200s em uma tarefa de previsão de tráfego, com um intervalo interquartil (IQR) muito amplo.
• Comparação por Competição: Em tarefas específicas como bank-customer-churn (AUC), os melhores modelos atingiram medianas de 0,928, enquanto outros modelos subdesempenharam drasticamente em configurações específicas, destacando a importância de não confiar em uma única execução.

5. Significado e Implicações

O TML-bench representa uma mudança de paradigma na avaliação de agentes de ciência de dados:

• Da "Sorte" para a "Confiabilidade": O benchmark enfatiza que um bom agente não deve apenas conseguir uma única execução "sortuda", mas sim ser consistente e confiável em múltiplas tentativas.
• Trade-offs de Tempo: Ao testar orçamentos de tempo curtos vs. longos, o benchmark torna visíveis as compensações entre a geração rápida de baselines e a melhoria iterativa.
• Acessibilidade e Transparência: Ao reduzir o custo de avaliação e eliminar a contaminação de dados, o TML-bench permite que a comunidade científica e praticantes validem a eficácia real de agentes autônomos em cenários do mundo real, sem depender de resultados otimizados artificialmente.

Em suma, o TML-bench fornece uma base sólida e auditável para comparar a capacidade de agentes de IA de resolver problemas complexos de ML tabular de forma autônoma, segura e reprodutível.