TML-Bench: Benchmark for Data Science Agents on Tabular ML Tasks

Este artículo presenta TML-Bench, un nuevo conjunto de pruebas para evaluar la eficacia y fiabilidad de agentes de IA autónomos en tareas de aprendizaje automático tabular tipo Kaggle, demostrando que el modelo MiniMax-M2.1 obtiene el mejor rendimiento global y que los resultados mejoran con mayores límites de tiempo.

Lo esencial

Imagina que quieres contratar a un chef robot para que prepare un banquete. No solo quieres que la comida sepa bien, sino que el robot sea capaz de cocinarla rápido, sin ayuda externa (no puede mirar recetas en Google) y siempre que le pidas el mismo plato, sin importar si tiene 5 minutos o 20 minutos para hacerlo.

El artículo que me has pasado, llamado TML-bench, es como una competencia de cocina muy estricta para probar a estos "chefs de datos" (agentes de Inteligencia Artificial) en un tipo de tarea muy común: predecir cosas basándose en tablas de números (como predecir quién dejará un banco o cuánto tráfico tendrá una tienda).

Aquí te explico los puntos clave con analogías sencillas:

1. ¿Qué es el problema?

Antes, muchas pruebas de IA solo veían si el robot podía escribir una línea de código correcta. Pero en la vida real, un agente de datos necesita hacer todo el proceso: cargar los datos, limpiarlos, entrenar un modelo y entregar el resultado final.

• La analogía: Es la diferencia entre que un robot sepa atornillar una tuerca (tarea aislada) y que pueda construir un coche entero desde cero sin chocar contra la pared (tarea completa).

2. La prueba (TML-bench)

Los autores crearon un "gimnasio" con 4 competiciones reales (como las que se hacen en Kaggle, una plataforma famosa para científicos de datos).

• Las reglas del juego:
  • Sin internet: Los robots no pueden buscar respuestas en Google. Deben confiar en lo que ya saben.
  • El "examen secreto": El robot entrega su trabajo, pero los evaluadores lo comparan con una lista de respuestas secretas que el robot nunca vio. Si falla, no pasa.
  • Prueba de resistencia: Cada robot intenta la misma tarea 5 veces. No vale que tenga suerte una vez; tiene que ser consistente.
  • Límites de tiempo: Se les da tres tiempos diferentes: 4 minutos (240s), 10 minutos (600s) y 20 minutos (1200s).

3. ¿Qué descubrieron?

• El ganador: Un modelo llamado MiniMax-M2.1-TEE fue el mejor "chef" en general. Consiguió los mejores resultados combinados en todas las competiciones.
• La suerte no es suficiente: Algunos modelos hicieron un trabajo increíble en una sola prueba, pero fallaron en las otras 4. En el mundo real, queremos fiabilidad, no suerte.
• Más tiempo no siempre es mejor (para todos): A algunos robots les ayudó mucho tener más tiempo para pensar y mejorar su receta. A otros, tener más tiempo no cambió casi nada, o incluso los confundió un poco.
• Instrucciones diferentes: Para el tiempo más largo (20 minutos), les dieron instrucciones específicas para usar una herramienta llamada "XGBoost" (como darle al robot una herramienta de cocina más potente).

4. ¿Por qué es importante esto?

Este estudio nos dice que para usar estas IAs en empresas reales, no basta con que sean "inteligentes" en una sola ocasión. Necesitamos que sean:

1. Confiables: Que funcionen bien la mayoría de las veces.
2. Rápidas: Que puedan entregar resultados en tiempo récord si es necesario.
3. Transparentes: Que sepamos exactamente cómo llegaron a sus conclusiones.

En resumen

Imagina que TML-bench es un cine de pruebas de choque para coches autónomos. No solo miran si el coche llega al destino, sino que lo hacen chocar contra obstáculos, con diferentes condiciones de lluvia (tiempos) y sin que el conductor pueda mirar el mapa (sin internet).

El resultado nos dice qué "conductor robot" (modelo de IA) es el más seguro y eficiente para llevarnos a casa, en lugar de solo el que tiene el motor más potente. Y hasta ahora, el robot MiniMax parece ser el conductor más seguro y constante.

Resumen técnico

Resumen Técnico: TML-bench

1. Problema y Contexto

Los agentes de codificación autónomos han demostrado capacidad para generar líneas base sólidas en tareas de aprendizaje automático (ML) de estilo Kaggle. Sin embargo, el valor práctico de estos agentes depende de su correctitud y fiabilidad de extremo a extremo bajo limitaciones de tiempo, no solo de su capacidad para lograr un resultado afortunado en una sola ejecución.

Los benchmarks existentes (como SWE-bench o MLE-bench) a menudo se centran en la amplitud de tareas o en la ingeniería de software general, pero carecen de un enfoque estricto en:

• Tareas específicas de datos tabulares.
• La fiabilidad (consistencia entre múltiples ejecuciones).
• La evaluación bajo presupuestos de tiempo estrictos.
• La prevención de contaminación (que el modelo haya visto los datos de la competencia antes de su lanzamiento).

2. Metodología

El artículo introduce TML-bench, un protocolo de evaluación riguroso diseñado para agentes de ciencia de datos en tareas tabulares.

• Suite de Evaluación: Se utilizan 4 competiciones de Kaggle reales.
• Presupuestos de Tiempo: Se evalúan tres ventanas de tiempo (240s, 600s y 1200s). Cada presupuesto tiene un conjunto de instrucciones fijo; por ejemplo, el de 1200s utiliza un conjunto de instrucciones enfocado en XGBoost.
• Modelos Evaluados: Se probaron 10 Grandes Modelos de Lenguaje (LLM) de Código Abierto (OSS).
• Protocolo de Ejecución:
  • Cada modelo se ejecuta 5 veces por tarea y por presupuesto de tiempo.
  • Se utiliza un entorno de trabajo limpio gestionado por el harness Kilo Code.
  • Evaluación: Se utiliza una puntuación en un conjunto de datos de validación privada (holdout) que no es accesible para el agente.
  • Criterio de Éxito: Una ejecución se considera exitosa solo si produce un archivo de envío válido y una puntuación en el conjunto de holdout.
• Controles de Contaminación:
  • Sin acceso a internet durante las ejecuciones.
  • Selección de modelos cuya fecha de corte de conocimiento (knowledge cutoff) es anterior a la fecha de inicio de las competiciones de Kaggle evaluadas (octubre de 2025).
• Métricas y Normalización:
  • Se reporta la mediana de las 5 ejecuciones exitosas.
  • Para comparar competiciones con métricas diferentes (ej. AUC vs. RMSE), se aplica una normalización min-max dentro de cada configuración (competición + presupuesto), convirtiendo todo a una escala donde "mayor es mejor" (1.0 = mejor, 0.0 = peor).
  • El leaderboard principal agrupa los resultados tomando el mejor presupuesto por competición para cada modelo y promediando sobre las 4 competiciones.

3. Contribuciones Clave

1. Protocolo Estricto: Introducción de un benchmark con preparación determinista, validación estricta de envíos y puntuación en holdout privado.
2. Política de Reporte Reproducible: Uso de instrucciones fijas, una suite fija y agregación de mediana de 5 ejecuciones con requisitos explícitos de cobertura completa.
3. Enfoque en Fiabilidad: Prioriza la consistencia (éxito en múltiples intentos) sobre el "máximo rendimiento de un solo golpe".
4. Bajo Costo y Accesibilidad: El diseño permite que la evaluación completa se ejecute con un costo marginal de aproximadamente 10 USD, haciéndolo accesible para investigadores individuales.
5. Materiales Abiertos: Código, registros de ejecución y scripts para regenerar todas las figuras y tablas están disponibles públicamente.

4. Resultados Principales

• Mejor Rendimiento Global: El modelo MiniMax-M2.1-TEE logró la mejor puntuación agregada en las cuatro competiciones bajo el protocolo principal.
• Fiabilidad Variable: Incluso entre los modelos de alto rendimiento, existe una variabilidad significativa en las tasas de éxito y la estabilidad. Algunos modelos fallan frecuentemente o muestran alta varianza entre ejecuciones.
• Escalado con el Tiempo:
  • El rendimiento promedio mejora a medida que aumenta el presupuesto de tiempo.
  • Sin embargo, la escalabilidad es "ruidosa" para algunos modelos individuales con el número actual de ejecuciones (5).
  • Se observa que 23 de 40 curvas de escalado (modelo × competición) son monótonas (no empeoran al aumentar el tiempo).
• Desempeño por Competición:
  • En la tarea de bank-customer-churn, los mejores modelos alcanzaron un AUC de ~0.928.
  • En tareas de regresión (foot-traffic, playground-series), se observaron inestabilidades notables en modelos específicos (ej. GLM 4.7 Flash mostró una gran dispersión en el intervalo intercuartílico a 1200s).

5. Significado e Implicaciones

El trabajo de TML-bench es fundamental porque cambia la métrica de éxito en la evaluación de agentes de IA para ciencia de datos:

• De la "Suerte" a la "Fiabilidad": Demuestra que la capacidad de un agente para resolver una tarea una vez no es suficiente; debe ser capaz de hacerlo de manera consistente bajo restricciones de tiempo.
• Evaluación Realista: Al simular condiciones de producción (tiempo limitado, sin acceso a internet, datos ocultos), ofrece una visión más precisa del valor práctico de estos agentes que los benchmarks puramente teóricos.
• Transparencia: Al publicar los registros de ejecución y los criterios de normalización, permite a la comunidad auditar y replicar los resultados, reduciendo el riesgo de sobreajuste o contaminación de datos.

En conclusión, TML-bench establece un nuevo estándar para evaluar la madurez de los agentes autónomos en tareas de ML tabular, destacando que la robustez y la consistencia son tan críticas como la precisión máxima teórica.