TML-Bench: Benchmark for Data Science Agents on Tabular ML Tasks

Dit paper introduceert TML-Bench, een benchmark voor het evalueren van autonome data science-agenten op Kaggle-achtige tabulaire machine learning-taken, waarbij de prestaties van tien open-source LLM's worden gemeten op basis van succespercentages en scores onder verschillende tijdsbeperkingen.

De kern

Stel je voor dat je een groep slimme robots hebt die je kunt vragen om een puzzel op te lossen: "Hier is een grote tabel met gegevens, maak er een voorspelling uit." In de wereld van datawetenschap noemen we dit "tabulaire machine learning".

Deze paper, getiteld TML-bench, is eigenlijk een groot, streng examen voor deze robots. De auteur, Mykola Pinchuk, wil niet alleen weten of een robot de puzzel kan oplossen, maar vooral hoe betrouwbaar hij is en hoe snel hij het doet.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Doel: Niet alleen "slim", maar ook "stabiel"

Stel je voor dat je een kok zoekt om een maaltijd te bereiden.

• De meeste tests kijken alleen of de kok één keer een perfecte maaltijd kan maken (misschien door geluk).
• TML-bench is anders. Het vraagt de kok om vijf keer op rij te koken, binnen een strikte tijdslimiet. Als de kok drie keer de pan in de fik steekt en twee keer een goed gerecht maakt, is hij voor deze test niet goed genoeg.
• De paper test 10 verschillende "robots" (AI-modellen) op 4 verschillende data-puzzels. Ze moeten het allemaal doen binnen 4, 10 of 20 minuten.

2. De Regels: Geen Cheaten en Geen Geluk

Om te zorgen dat de test eerlijk is, heeft de auteur een paar strenge regels opgesteld, alsof het een olympische wedstrijd is:

• De "Blinde" Jury: De robots krijgen hun opdracht, maar ze mogen niet zien wat het juiste antwoord is. Pas nadat ze hun antwoord hebben ingediend, kijkt de jury (de computer) of ze goed zaten. Dit voorkomt dat robots "leren" van het antwoord in plaats van de puzzel op te lossen.
• Geen Internet: Tijdens het koken mag de robot niet naar buiten kijken op Google. Ze moeten alles weten uit hun eigen hoofd (hun training).
• Geen "Cheats" uit de toekomst: De robots die getest worden, zijn zo gekozen dat ze de puzzels nog niet kenden voordat ze werden getraind. Het is alsof je een student toetst op een examen dat gisteren pas is gemaakt; als de student het antwoord al wist, is het vals spelen.

3. De Testomgeving: De "Kilo Code" Keuken

Elke robot krijgt een eigen, schone keuken (een werkplek op de computer).

• Er is een klok die tikt. Als de tijd op is, stopt de robot direct, zelfs als hij nog niet klaar is.
• De robot moet eerst de ingrediënten (data) lezen, dan proberen te koken (modellen trainen), en dan het gerecht (het resultaat) presenteren.
• Als de robot te lang doet, wordt de proef als "mislukt" beschouwd, zelfs als het eten er later nog wel uitziet.

4. De Resultaten: Wie is de Winnaar?

Na al die tests (elke robot 5 keer per puzzel, met 3 verschillende tijdslimieten) kwamen ze tot een paar interessante conclusies:

• De Winnaar: Een robot genaamd MiniMax-M2.1-TEE deed het over het algemeen het beste. Hij was niet alleen slim, maar ook betrouwbaar.
• Tijd is Geld (en kwaliteit): Over het algemeen werden de robots beter naarmate ze meer tijd kregen. Maar niet allemaal! Sommige robots werden veel beter als ze 20 minuten kregen in plaats van 4, terwijl andere robots ongeveer even goed bleven, ongeacht de tijd.
• Betrouwbaarheid is cruciaal: Sommige robots maakten soms een perfect gerecht, maar dan weer een brandende pan. De paper laat zien dat een robot die altijd een goed gerecht maakt, waardevoller is dan een robot die soms een sterrenmaaltijd maakt en soms niets.

5. Waarom is dit belangrijk?

Voor bedrijven die AI willen gebruiken, is dit een eye-opener.

• Het is niet genoeg om te zeggen: "Kijk, deze AI kan een goede voorspelling maken!"
• Je wilt weten: "Kan deze AI dit elke dag doen, binnen de tijd die ik heb, zonder dat hij vastloopt of fouten maakt?"

Kortom:
TML-bench is een eerlijke, strenge test die laat zien welke AI-robots écht bruikbaar zijn in de echte wereld. Het is niet alleen een wedstrijd om wie het snelst is, maar een wedstrijd om wie het stevigst staat. De winnaar is niet degene die één keer het snelst was, maar degene die elke keer, onder druk, een goed resultaat leverde.

Technische samenvatting

Titel: TML-bench: Benchmark voor Data Science Agents op Tabulaire ML-taken

Auteur: Mykola Pinchuk, PhD (Onafhankelijk Onderzoeker)
Datum: 4 maart 2026

---

1. Probleemstelling

Autonome codeeragenten kunnen snel sterke baselines voor tabulaire machine learning (ML) genereren op taken van het Kaggle-type. Echter, de praktische waarde van deze agenten hangt niet alleen af van hun piekprestaties, maar vooral van hun eind-tot-eind correctheid en betrouwbaarheid onder strikte tijdsbeperkingen.

Bestaande benchmarks missen vaak belangrijke faalmodi en afwegingen omdat ze zich richten op geïsoleerde coderingstaken in plaats van de volledige workflow (data laden, feature engineering, training, evaluatie, iteratie en het produceren van een correct geformatteerde inzending). Er is behoefte aan een auditabele leaderboard die gebaseerd is op herhaalbare runs en prestaties over meerdere uitvoeringen, in plaats van op één gelukkige poging.

2. Methodologie

De Benchmark (TML-bench):
TML-bench is een strikte benchmark voor data science-agenten, specifiek gericht op tabulaire ML-taken.

• Dataset: De benchmark gebruikt een suite van vier Kaggle-competities.
• Tijdsbudgetten: Elke taak wordt uitgevoerd onder drie verschillende tijdsbeperkingen: 240s, 600s en 1200s.
• Herhaalbaarheid: Elk model wordt vijf keer uitgevoerd per taak en budget. Een run wordt alleen als succesvol beschouwd als deze een geldige inzending produceert met een score op een privé-houd-out dataset (labels die niet toegankelijk zijn voor de agent).
• Agent Harness: De uitvoering gebeurt in een schone werkruimte beheerd door Kilo Code, die de tijdslimiet afdwingt, de indeling valideert en de scores berekent.

Protocol en Contaminatiebeheersing:
Om de integriteit van de resultaten te waarborgen, zijn strikte maatregelen genomen:

• Geen internettoegang: Tijdens de runs is internettoegang uitgeschakeld.
• Kennis-cutoff: De geëvalueerde modellen zijn geselecteerd zodat hun voortrainingskennis-cutoff vóór de startdatum van de geteste Kaggle-competities ligt (de vroegste competitie startte eind oktober 2025).
• Vaste instructies: Alle runs gebruiken een vast instructie-template.
• Aggregatieregel: De gerapporteerde waarde is de mediaan van de eerste 5 succesvolle runs, gesorteerd op creatietijd.

Evaluatiemetrics:

• Normalisatie: Omdat verschillende competities verschillende metrics hebben (bijv. AUC waar hoger beter is, RMSE waar lager beter is), wordt er binnen elke setting (competitie + budget) een min-max normalisatie toegepast. De beste model krijgt een score van 1.0, de slechtste 0.0.
• Aggregatie: De primaire leaderboard berekent de beste genormaliseerde score per competitie (over de drie budgetten) en middelt deze vervolgens over de vier competities.

3. Belangrijkste Bijdragen

1. Strikt Benchmark-protocol: Introductie van een protocol voor Kaggle-achtige tabulaire taken met deterministische voorbereiding, strikte validatie en scoring op privé-houd-out data.
2. Herhaalbaar Rapportagebeleid: Een vastgesteld beleid met een vaste suite, mediaan-aggregatie over vijf runs en expliciete eisen voor volledige dekking.
3. Contaminatiecontroles: Een lage-kosten evaluatieopzet (kosten van ongeveer $10 voor de volledige suite) die door individuele onderzoekers kan worden uitgevoerd, met focus op offline uitvoering en verouderde modelkennis om datalekken te voorkomen.
4. Reproduceerbaarheid: Openbaarmaking van code, logs en scripts om figuren en tabellen te regenereren.

4. Resultaten

Algemene Prestaties:

• MiniMax-M2.1-TEE behaalde de beste geaggregeerde prestatiescore op alle vier de competities onder de primaire aggregatiemethode.
• Betrouwbaarheid: Er is een significante variatie in betrouwbaarheid, zelfs onder sterke modellen. Succespercentages en stabiliteitsgrafieken tonen een duidelijke scheiding tussen meer en minder betrouwbare modellen.
• Tijdschaling: Over het algemeen verbetert de prestatie met grotere tijdsbudgetten. Echter, schaling is "ruisig" voor sommige individuele modellen bij het huidige aantal runs (5).

Specifieke Observaties:

• Consistentie: Sommige modellen verbeteren aanzienlijk bij grotere budgetten, terwijl anderen relatief vlak blijven.
• Uitdrukkingsvermogen: De benchmark toont dat "snelle baselines" (240s) en "iteratieve verbetering" (1200s) verschillende vaardigheden vereisen.
• Uitzonderingen: Bijvoorbeeld, bij de taak foot-traffic presteerde GLM 4.7 Flash zeer slecht en instabiel bij het 1200s-budget (brede interkwartielafstand), wat waarschuwt voor het interpreteren van standpunten op basis van slechts één budget.

5. Betekenis en Impact

TML-bench verschuift de focus van "wat kan een model in één keer het beste doen?" naar "hoe betrouwbaar en consistent presteert een model onder realistische, tijdsgebonden omstandigheden?".

• Voor de Praktijk: Het biedt een realistischere maatstaf voor de inzetbaarheid van AI-agenten in data science-werkstromen, waarbij betrouwbaarheid en reproduceerbaarheid even belangrijk zijn als piekprestaties.
• Voor Onderzoek: Het introduceert een gestandaardiseerde manier om agenten te vergelijken die rekening houdt met verschillende metrics, tijdsbeperkingen en de noodzaak van herhaalbaarheid.
• Toekomstige Richting: De auteurs wijzen op beperkingen zoals het ontbreken van token-accounting in de huidige logs en de noodzaak van meer runs voor stabiele schalingsgrafieken op modelniveau.

Conclusie: TML-bench biedt een robuust, auditabel en reproduceerbaar kader om de evolutie van autonome data science-agenten te meten, met MiniMax-M2.1-TEE als huidige leider in de geëvalueerde set van open-source modellen.