TML-Bench: Benchmark for Data Science Agents on Tabular ML Tasks

Die Studie stellt TML-Bench vor, einen Benchmark zur Evaluierung autonomer Data-Science-Agenten auf Tabular-Machine-Learning-Aufgaben, der zeigt, dass das MiniMax-M2.1-Modell über vier Kaggle-Wettbewerbe hinweg die beste Gesamtleistung erzielt und die Erfolgsquote mit längeren Zeitbudgets steigt.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen digitalen Koch, der in einer Küche arbeitet, die nur aus Tabellen besteht (wie Excel-Dateien). Seine Aufgabe ist es, aus rohen Zutaten (Daten) ein perfektes Gericht (eine Vorhersage) zu kochen, das bei einem Wettbewerb gewinnt.

Das Papier, das Sie gerade lesen, ist wie ein großer, strenger Kochwettbewerb für diese digitalen Köche. Der Autor, Mykola Pinchuk, hat einen neuen Test namens TML-bench erfunden, um herauszufinden, welche dieser KI-Köche wirklich gut, zuverlässig und schnell sind.

Hier ist die Geschichte des Wettbewerbs in einfachen Worten:

1. Das Problem: Glückstreffer vs. Zuverlässigkeit

Bisher haben viele Tests nur geschaut, ob ein KI-Modell einmal ein gutes Ergebnis liefern kann. Das ist wie wenn ein Koch nur einmal ein perfektes Steak hinbekommt, aber beim zweiten Mal alles verbrennt.
In der echten Welt wollen wir aber nicht auf Glück hoffen. Wir wollen einen Koch, der jedes Mal ein gutes Steak liefert, auch wenn er unter Zeitdruck steht.

2. Der Wettbewerb (TML-bench)

Der Autor hat vier verschiedene "Kochaufgaben" (echte Daten-Wettbewerbe von der Plattform Kaggle) ausgewählt. Die KI-Modelle mussten diese Aufgaben lösen. Aber es gab drei wichtige Regeln, die den Wettbewerb besonders fair und realistisch machten:

• Die Zeitlupe (Zeitbudget): Die KIs hatten nur begrenzte Zeit: entweder 4 Minuten (240s), 10 Minuten (600s) oder 20 Minuten (1200s). Es ging also nicht nur darum, ob sie es schaffen, sondern wie schnell sie es schaffen.
• Der Blindtest (Private Holdout): Die KIs durften ihre Ergebnisse nicht selbst überprüfen. Am Ende gab es eine "Geheimtaste" mit den richtigen Antworten, die nur der Richter sah. So konnte die KI nicht einfach raten oder die Lösung auswendig lernen.
• Die 5-Versuche-Regel: Jeder Koch musste jede Aufgabe fünf Mal hintereinander kochen. Nur wenn er fünfmal erfolgreich war, wurde er im Ranking berücksichtigt. Das zeigt, ob er stabil ist oder nur zufällig Glück hatte.

3. Die Teilnehmer (Die KIs)

Der Autor hat 10 verschiedene Open-Source-KI-Modelle getestet. Man könnte sie sich wie 10 verschiedene Kochschulen vorstellen, die ihre besten Schüler geschickt haben.

4. Die Gewinner und Ergebnisse

Was hat der Wettbewerb ergeben?

• Der Gesamtsieger: Das Modell MiniMax-M2.1-TEE war der beste Allrounder. Es hat auf fast allen Aufgaben die besten Ergebnisse erzielt, egal wie viel Zeit es hatte. Es war wie der Koch, der sowohl bei 4 Minuten als auch bei 20 Minuten das beste Gericht serviert.
• Zeit ist Geld (aber nicht immer): Wenn man den KIs mehr Zeit gab, wurden sie im Durchschnitt besser. Aber nicht alle profitierten gleich stark. Manche Modelle wurden mit mehr Zeit nur ein bisschen besser, andere sprangen richtig auf.
• Stabilität ist alles: Einige Modelle waren sehr unzuverlässig. Einmal lieferten sie ein 5-Sterne-Essen, beim nächsten Mal verbrannten sie die Suppe. Der Wettbewerb hat genau diese Schwankungen aufgedeckt.

5. Warum ist das wichtig?

Bisher haben wir oft nur geschaut, wie "intelligent" eine KI theoretisch ist. Dieser Test zeigt uns, wie praktisch sie ist.

• Für Firmen: Wenn Sie eine KI einsetzen wollen, um Ihre Daten zu analysieren, wollen Sie nicht das Modell, das einmal ein Wunder vollbringt. Sie wollen das Modell, das jeden Tag zuverlässig funktioniert.
• Für die Forschung: Der Test zeigt, dass wir KIs nicht nur an einem einzigen Tag testen sollten, sondern sie unter verschiedenen Bedingungen (Zeitdruck, wiederholte Versuche) beobachten müssen.

Zusammenfassung in einer Metapher

Stellen Sie sich vor, Sie mieten einen Fahrer für eine wichtige Reise.

• Der alte Test: Hatte nur geschaut, ob der Fahrer die Strecke einmal in Rekordzeit geschafft hat.
• Der neue Test (TML-bench): Lässt den Fahrer die Strecke fünf Mal fahren, mit unterschiedlichen Zeitlimits und ohne, dass er die Karte sehen darf. Er schaut sich an: Wer kommt immer sicher an? Wer macht bei Stress Fehler? Wer ist der beste Allrounder?

Das Ergebnis dieses neuen Tests ist, dass MiniMax-M2.1-TEE der sicherste und schnellste Fahrer war, während andere Modelle manchmal sehr gut, aber oft auch sehr unzuverlässig waren.

Der Autor stellt alle seine Rezepte, seine Logbücher und die Ergebnisse kostenlos online zur Verfügung, damit jeder diesen Wettbewerb nachmachen und die Ergebnisse überprüfen kann.

Technische Zusammenfassung

1. Problemstellung und Motivation

Autonome Coding-Agenten sind in der Lage, schnell starke Baselines für tabellarische Machine-Learning-Aufgaben (ähnlich wie bei Kaggle-Wettbewerben) zu erstellen. Der praktische Nutzen dieser Agenten hängt jedoch nicht nur von der Spitzenleistung ab, sondern maßgeblich von ihrer End-to-End-Korrektheit und Zuverlässigkeit unter realistischen Zeitbedingungen.

Bestehende Benchmarks testen oft isolierte Codierungsaufgaben oder berücksichtigen nicht ausreichend die Variabilität über mehrere Durchläufe hinweg. TML-bench adressiert diese Lücke, indem es Agenten auf einem strengen, tabellarischen Benchmark evaluiert, der Private-Holdout-Scoring (Bewertung auf geheimen Testdaten, die dem Agenten nicht zugänglich sind) und strenge Zeitlimits verwendet. Das Ziel ist ein auditierbarer Leaderboard, der auf wiederholbaren Durchläufen basiert, anstatt auf einem einzelnen „glücklichen" Versuch.

2. Methodik und Benchmark-Design

Aufgabenportfolio und Design:

• Suite: Der Benchmark umfasst vier Kaggle-Wettbewerbe mit tabellarischen Daten.
• Zeitbudgets: Jeder Agent wird unter drei verschiedenen Zeitlimits getestet: 240s, 600s und 1200s.
• Wiederholbarkeit: Für jede Kombination aus Modell, Wettbewerb und Zeitbudget werden fünf unabhängige Durchläufe durchgeführt.
• Aggregation: Der Berichtswert pro Setting ist der Median der fünf erfolgreichsten Durchläufe (sortiert nach Erstellungszeitpunkt).

Bewertungsprotokoll:

• Private Holdout: Die Agenten erhalten keine Zugriff auf die privaten Testlabels. Die Bewertung erfolgt extern durch das „Kilo Code"-Harness.
• Zulassung: Ein Durchlauf gilt nur als erfolgreich, wenn er eine gültige Einreichung (Submission) erzeugt, die auf den geheimen Labels bewertet werden kann.
• Reproduzierbarkeit: Es werden feste Anweisungen (Prompts) verwendet, und die Modelle werden so ausgewählt, dass ihr Trainings-Knowledge-Cutoff vor dem Startdatum der Kaggle-Wettbewerbe liegt, um Kontamination zu vermeiden.
• Isolation: Während der Runs ist der Internetzugriff deaktiviert.

Metriken und Normalisierung:
Da verschiedene Wettbewerbe unterschiedliche Metriken verwenden (z. B. AUC, wo höher besser ist, vs. RMSE, wo niedriger besser ist), wird eine Min-Max-Normalisierung innerhalb jedes Settings (Wettbewerb × Zeitbudget) durchgeführt.

1. Berechnung des Medians der fünf erfolgreichen Runs.
2. Umwandlung in eine einheitliche Richtung („höher ist besser").
3. Normalisierung auf den Bereich [0.0, 1.0], wobei das beste Modell 1.0 und das schlechteste 0.0 erhält.
4. Der finale Leaderboard-Score wird durch die Aggregation der besten Budget-Ergebnisse pro Wettbewerb berechnet.

3. Hauptbeiträge

Das Papier leistet folgende wesentliche Beiträge:

• Strenge Benchmark-Protokolle: Einführung eines Protokolls für Kaggle-ähnliche Aufgaben mit deterministischer Vorbereitung, strenger Validierung und Private-Holdout-Scoring.
• Wiederholbare Berichterstattung: Nutzung fester Anweisungen, einer festen Testsuite und einer Aggregation über den Median von fünf Runs mit expliziten Abdeckungsanforderungen.
• Kontaminationskontrolle: Deaktivierung des Internets und Auswahl von Modellen mit passendem Knowledge-Cutoff, um das Risiko von Datenlecks zu minimieren.
• Reproduzierbarkeit: Bereitstellung von Code, Logs und Skripten zur Neuherstellung aller Abbildungen und Tabellen (verfügbar auf GitHub).
• Analyse von Zuverlässigkeit und Skalierung: Fokus nicht nur auf die beste Leistung, sondern auf Konsistenz, Stabilität und die Skalierung mit zunehmendem Zeitbudget.

4. Ergebnisse

Leistungsranking:

• MiniMax-M2.1-TEE erzielte unter der primären Aggregationsmethode (bestes Budget pro Wettbewerb) die beste Gesamtperformance über alle vier Wettbewerbe hinweg.
• Die durchschnittliche Leistung verbessert sich mit größeren Zeitbudgets, wobei die Skalierung für einige einzelne Modelle bei der aktuellen Anzahl von Runs noch verrauscht ist.

Zuverlässigkeit und Stabilität:

• Es gibt signifikante Unterschiede in der Zuverlässigkeit selbst zwischen starken Modellen. Die Erfolgsrate (wie oft ein gültiger Score erzielt wird) und die Stabilität (Varianz über die fünf Runs) variieren stark.
• Ein Pareto-Plot (Leistung vs. Stabilität) zeigt eine klare Trennung zwischen zuverlässigen und weniger zuverlässigen Modellen.

Skalierung mit Zeitbudget:

• Die meisten Modelle zeigen ein erwartetes monotones Verhalten (bessere Leistung bei mehr Zeit), aber 57,5 % der Modell-Wettbewerbs-Kurven sind strikt monoton.
• Einzelne Modelle zeigen teils starkes Rauschen; z. B. zeigte GLM 4.7 Flash bei 1200s eine hohe Instabilität (großer Interquartilsabstand) beim Wettbewerb „foot-traffic".

Einzelne Wettbewerbe:

• Bei „bank-customer-churn" (AUC) lagen die Top-Ergebnisse eng beieinander (0.92x), wobei einige Modelle (z. B. NVIDIA-Nemotron-3-Nano) unterdurchschnittlich abschnitten.
• Bei „playground-series-s6e1" (RMSE) führte MiniMax-M2.1-TEE bei 1200s, während andere Modelle bei kürzeren Budgets große Ausreißer (Failure Modes) zeigten.

5. Bedeutung und Fazit

TML-bench stellt einen wichtigen Schritt hin zu einer realistischeren Bewertung von Data-Science-Agenten dar. Im Gegensatz zu Benchmarks, die nur die theoretische Spitzenleistung messen, priorisiert TML-bench Zuverlässigkeit, Reproduzierbarkeit und die Fähigkeit, unter Zeitdruck konsistente Ergebnisse zu liefern.

Die Ergebnisse zeigen, dass:

1. Zeitbudgets und Anweisungen (Prompts) eng gekoppelt sind und die Skalierung beeinflussen.
2. Die Anzahl der Durchläufe (hier 5) für stabile Aggregationsmuster ausreicht, aber für detaillierte Modellvergleiche möglicherweise erhöht werden muss.
3. Die Wahl des Modells kritisch ist: Ein Modell, das auf einem einzelnen Lauf hervorragend abschneidet, kann in der Praxis unzuverlässig sein, wenn die Erfolgsrate oder die Stabilität gering ist.

Das Papier liefert damit ein robustes Framework für Praktiker, um Agenten nicht nur nach ihrer „Besten Leistung", sondern nach ihrer Eignung für zuverlässige, produktive Workflows zu bewerten.