TML-Bench: Benchmark for Data Science Agents on Tabular ML Tasks

Il documento presenta TML-Bench, un benchmark per agenti di data science su compiti di apprendimento automatico tabulare che valuta le prestazioni di dieci modelli LLM open source su competizioni Kaggle, rivelando che MiniMax-M2.1 ottiene i migliori risultati complessivi e che le prestazioni migliorano all'aumentare del tempo a disposizione.

L'essenziale

Immagina di dover organizzare una gara di cucina molto particolare. Non si tratta di preparare un piatto gourmet in un ristorante di lusso, ma di creare un pasto nutriente e corretto partendo da un mucchio di ingredienti grezzi (i dati), seguendo una ricetta precisa, e tutto questo mentre il timer scorre.

Il documento che hai condiviso, chiamato TML-bench, è proprio il "libro delle regole" e il "resoconto della gara" per questa sfida, ma invece di cuochi, i partecipanti sono intelligenze artificiali (agenti di codice) e invece di ingredienti, usano tabelle di dati (come fogli Excel complessi).

Ecco la spiegazione semplice, punto per punto:

1. Il Problema: "Fortunato" vs "Affidabile"

Fino a poco tempo fa, si diceva che un'intelligenza artificiale fosse brava se, per caso, riusciva a risolvere un problema una volta sola. È come se un cuoco facesse un ottimo risotto una volta su dieci, ma bruciasse il resto delle volte.
Il TML-bench cambia le regole: non basta essere bravi una volta sola. L'obiettivo è vedere se l'IA è affidabile. Se le dai lo stesso compito 5 volte, riesce a cucinare bene ogni volta? E riesce a farlo entro il tempo limite?

2. La Gara: Quattro Sfide e Tre Tempi

Gli scienziati hanno creato una piccola "palestra" con 4 competizioni diverse (simili a quelle che si trovano su siti come Kaggle, dove i data scientist gareggiano).
Per ogni competizione, hanno dato alle IA tre diversi orologi (budget di tempo):

• 240 secondi (4 minuti): "Fai una bozza veloce, un pasto veloce".
• 600 secondi (10 minuti): "Prepara un piatto più curato".
• 1200 secondi (20 minuti): "Prepara un piatto raffinato e perfetto".

Ogni IA ha dovuto provare a risolvere ogni sfida per ogni tempo, per un totale di molte prove.

3. Le Regole del Gioco (Perché è speciale)

Per evitare che le IA "barino" o siano semplicemente fortunate, gli autori hanno messo delle regole ferree:

• Nessun Wi-Fi: Durante la gara, l'IA è in una stanza isolata. Non può cercare su Google le soluzioni o copiare da internet. Deve usare solo ciò che sa già.
• Il Segreto: L'IA non vede mai la "soluzione corretta" finale. Deve consegnare il suo piatto, e solo dopo un giudice segreto (che non parla con l'IA) assaggia e dà il voto.
• La Media: Non si guarda il miglior risultato ottenuto, ma la mediana (il risultato tipico) di 5 tentativi. Se un'IA fa 4 piatti buoni e 1 terribile, il suo voto sarà basso. Questo misura l'affidabilità, non la fortuna.

4. Chi ha vinto?

Dopo aver fatto correre 10 diverse intelligenze artificiali (modelli Open Source), ecco cosa è emerso:

• Il Campione: Un modello chiamato MiniMax-M2.1-TEE è stato il più costante e bravo in media su tutte le sfide.
• Il Tempo conta: Come ci si aspettava, dare più tempo (passare da 4 a 20 minuti) ha aiutato quasi tutti a migliorare, ma non tutti allo stesso modo. Alcuni modelli sono diventati molto meglio, altri sono rimasti più o meno uguali.
• Il Caos: Alcuni modelli erano molto instabili. A volte facevano un ottimo lavoro, altre volte sbagliavano tutto. È come un atleta che corre una gara in 10 secondi e la successiva in 2 minuti: non è affidabile.

5. Perché tutto questo è importante?

Immagina di dover assumere un assistente per gestire i dati della tua azienda.

• Se assumi un modello che fa un lavoro perfetto una volta su dieci ma sbaglia tutto le altre volte, la tua azienda andrà in crisi.
• Il TML-bench ci dice: "Non comprare l'IA più veloce o quella che ha vinto una volta sola. Compra quella che è costante, che non va in tilt e che rispetta i tempi."

In sintesi

Questo documento è come un test di guida per le auto a guida autonoma, ma invece di guidare in città, guidano attraverso fogli di calcolo.
Ci dice che abbiamo finalmente un modo serio per misurare chi è davvero pronto a lavorare nel mondo reale, distinguendo chi è solo "fortunato" da chi è davvero "professionista".

Il tutto è stato fatto in modo trasparente, con i dati e i codici disponibili per chiunque voglia ricontrollare il lavoro, proprio come un giudice sportivo che mostra le telecamere lente per confermare il risultato.

Sommario tecnico

1. Il Problema e il Contesto

Gli agenti di codifica autonomi hanno dimostrato di poter generare rapidamente baseline solide per compiti di machine learning su dati tabulari (tipici delle competizioni Kaggle). Tuttavia, il valore pratico di questi agenti dipende dalla loro correttezza end-to-end e affidabilità sotto vincoli di tempo reali.
I benchmark esistenti spesso testano solo compiti di codifica isolati, trascurando i modi in cui gli agenti falliscono in un flusso di lavoro completo (caricamento dati, preparazione feature, training, iterazione, produzione del file di sottomissione). Inoltre, la capacità di un agente su una singola esecuzione "fortunata" non è sufficiente; è necessario valutare la stabilità e la ripetibilità delle prestazioni.

2. Metodologia: TML-bench

Il paper introduce TML-bench, un benchmark rigoroso progettato specificamente per agenti di data science su compiti tabulari.

• Suite di Valutazione: Il benchmark utilizza quattro competizioni di stile Kaggle e tre budget temporali distinti: 240s, 600s e 1200s.
• Protocollo di Esecuzione:
  • Ogni modello viene eseguito 5 volte per ogni combinazione di compito e budget.
  • Una run è considerata "di successo" solo se produce una sottomissione valida e ottiene un punteggio su un holdout privato (dati di test nascosti non accessibili all'agente).
  • L'agente opera in un ambiente isolato (Kilo Code harness) con accesso a Internet disabilitato per prevenire contaminazione.
• Controllo della Contaminazione:
  • I modelli valutati sono selezionati in modo che la loro data di "cutoff" della conoscenza pre-training preceda la data di inizio delle competizioni testate (la più antica inizia a fine ottobre 2025).
  • Nessuna connessione internet è permessa durante l'esecuzione.
• Metriche e Normalizzazione:
  • Vengono riportate le metriche native del compito (es. AUC, RMSE).
  • Per creare classifiche aggregate, viene applicata una normalizzazione Min-Max all'interno di ogni setting (competizione × budget), convertendo tutte le metriche in una direzione "più alto è meglio".
  • Il punteggio finale aggregato utilizza la mediana delle 5 run di successo e la strategia "miglior budget per competizione".
• Requisiti di Inclusione: Solo i modelli che hanno raggiunto una copertura completa (5 run di successo per tutti i 12 setting: 4 competizioni × 3 budget) sono inclusi nelle tabelle principali. In totale, 10 modelli LLM open-source sono stati valutati.

3. Contributi Chiave

Il paper apporta i seguenti contributi significativi al campo:

1. Protocollo Rigoroso: Introduce un protocollo di benchmark per compiti tabulari con preparazione deterministica, validazione stretta della sottomissione e scoring su holdout privato.
2. Ripetibilità e Affidabilità: Adotta una politica di reporting ripetibile con istruzioni fisse, una suite fissa e un'aggregazione basata sulla mediana di 5 run, enfatizzando la distribuzione dei punteggi piuttosto che il singolo tentativo migliore.
3. Accessibilità e Basso Costo: Il setup è progettato per essere eseguibile da singoli ricercatori (costo marginale di circa 10$ per l'intera suite) e include controlli anti-contaminazione.
4. Materiali Riproducibili: Fornisce log di esecuzione, script e materiali per rigenerare figure e tabelle, garantendo trasparenza.

4. Risultati Principali

L'analisi dei risultati su 10 modelli LLM rivela diverse dinamiche interessanti:

• Prestazioni Aggregate: Il modello MiniMax-M2.1-TEE ha ottenuto il punteggio aggregato migliore su tutte e quattro le competizioni secondo la metrica primaria del paper.
• Affidabilità e Stabilità: Esiste una variazione significativa nell'affidabilità anche tra i modelli più performanti. I grafici mostrano una chiara separazione tra modelli più e meno stabili. Alcuni modelli mostrano instabilità (ad esempio, GLM 4.7 Flash su un compito specifico a 1200s ha mostrato un intervallo interquartile molto ampio).
• Scalabilità con il Tempo:
  • In generale, le prestazioni migliorano all'aumentare del budget temporale.
  • Tuttavia, la scalabilità è "rumorosa" a livello di singoli modelli con il numero attuale di run. Circa il 57,5% delle curve di scalabilità (modello × competizione) sono monotone (migliorano o restano stabili all'aumentare del tempo), mentre il 42,5% mostra variazioni non monotone.
• Esempi Specifici:
  • Nel compito bank-customer-churn, i modelli migliori si sono raggruppati in un range stretto di AUC (0.92x), ma alcuni modelli (es. NVIDIA-Nemotron-3-Nano) hanno mostrato prestazioni significativamente inferiori in setting specifici.
  • Nel compito foot-traffic, MiniMax-M2.1-TEE è stato il migliore a tutti i budget, mentre altri modelli hanno mostrato instabilità critica.

5. Significato e Implicazioni

TML-bench sposta il focus dalla semplice "capacità di risolvere un problema" alla capacità di risolvere un problema in modo affidabile e ripetibile in un ambiente vincolato.

• Per i Praticanti: Sottolinea che un buon agente deve essere non solo potente, ma anche robusto. La capacità di ottenere risultati su una singola run "fortunata" è insufficiente per applicazioni reali.
• Per la Ricerca: Il benchmark offre un modo standardizzato per confrontare modelli su compiti tabulari reali, isolando le variabili di confusione (come la conoscenza pre-esistente o l'accesso a internet) e fornendo una visione chiara dei compromessi tra tempo di esecuzione e qualità del risultato.
• Limiti: Il paper nota che l'accounting dei token non è ancora disponibile nei log attuali e che il numero di run (5) potrebbe essere insufficiente per curve di scalabilità perfettamente stabili a livello di singolo modello, suggerendo la necessità di esecuzioni future più numerose.

In sintesi, TML-bench stabilisce un nuovo standard per la valutazione degli agenti di data science, privilegiando la realtà operativa (tempo, affidabilità, dati nascosti) rispetto alla pura capacità teorica di codifica.