💬 NLP

ML2B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation

Questo articolo introduce ML2B, il primo benchmark per la valutazione della generazione di pipeline di machine learning cross-lingue da parte di modelli linguistici di grandi dimensioni, il quale utilizza 490 coppie task-lingua attraverso 14 lingue per rivelare che il degrado delle prestazioni è altamente dipendente dal task piuttosto che seguire le tradizionali gerarchie di risorse.

Autori originali: Ekaterina Trofimova, Zosia Shamina, Maria Selifanova, Artem Zaitsev, Remi Savchuk, Maxim Minets, Daria Ozerova, Emil Sataev, Denis Zuenko, Andrey E. Ustyuzhanin

Pubblicato 2026-07-30

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ekaterina Trofimova, Zosia Shamina, Maria Selifanova, Artem Zaitsev, Remi Savchuk, Maxim Minets, Daria Ozerova, Emil Sataev, Denis Zuenko, Andrey E. Ustyuzhanin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un mondo in cui puoi chiedere a un robot super intelligente di costruire un modello di machine learning per te, semplicemente digitando una richiesta semplice come: "Prevedi quali clienti acquisteranno le nostre nuove scarpe". Per molto tempo, questi robot — chiamati Large Language Models (LLM) — sono stati incredibilmente dotati in questo, ma solo se parli con loro in inglese. È come avere uno chef brillante che sa cucinare un piatto da cinque stelle se gli dai la ricetta in inglese, ma se gli porgi una ricetta in francese, spagnolo o giapponese, potrebbe anche limitarsi a fissare gli ingredienti e bruciare la cucina.

Questo è il problema che i ricercatori stanno affrontando: mentre l'IA si diffonde in tutto il mondo, abbiamo bisogno di sapere se questi chef digitali siano effettivamente in grado di seguire istruzioni in qualsiasi lingua, non solo in quella su cui sono stati addestrati per la maggior parte del tempo. Ma c'è un intoppo. Se chiediamo loro semplicemente di risolvere enigmi che sono già presenti su internet, i robot potrebbero aver memorizzato le risposte dai loro dati di addestramento, facendoli sembrare più intelligenti di quanto siano realmente. È come dare a uno studente un test di matematica di cui ha già visto le risposte; ottiene un A, ma non sappiamo se abbia davvero capito l'algebra. Per ottenere un quadro reale, abbiamo bisogno di un test che sia fresco, equo e parlato in molte lingue diverse.

Entra in gioco ML2B, un nuovo "esame" creato da un team di ricercatori per testare quanto bene questi robot IA possano costruire pipeline complete di machine learning quando le istruzioni sono in 14 lingue diverse. Pensa a ML2B come a una massiccia competizione culinaria multilingue. Invece di chiedere ai robot di scrivere una singola riga di codice, i ricercatori hanno dato loro 35 sfide del mondo reale — come prevedere i prezzi delle case, identificare le razze canine o individuare commenti tossici — e hanno tradotto le istruzioni in lingue che vanno dall'arabo e dal cinese fino al kazako e all'ucraino.

Per assicurarsi che i robot non potessero imbrogliare memorizzando le risposte, il team ha incluso 10 competizioni "segrete" le cui soluzioni non sono mai state rese pubbliche. Hanno anche costruito una speciale cucina digitale isolata (un container isolato dalla rete) dove i robot dovevano cucinare il loro codice. Se il robot avesse cercato di intrufolare un piatto pre-preparato da internet o avesse usato una ricetta che mescolava gli ingredienti prima di cucinare (un problema chiamato "data leakage"), il sistema li avrebbe scoperti. I robot dovevano seguire regole rigide, come separare la fase di "addestramento" dalla fase di "predizione", proprio come un vero chef non assaggerebbe il piatto finale prima che sia completamente cucinato.

Quando i ricercatori hanno eseguito i test con i modelli IA di alto livello, hanno scoperto qualcosa di sorprendente che sfida ciò che molte persone assumevano. Si aspettavano che i robot avrebbero avuto più difficoltà con le lingue "a basse risorse" (lingue con meno dati digitali disponibili) e avrebbero ottenuto risultati migliori con quelle "ad alte risorse" come l'inglese o il francese. Ma i risultati hanno mostrato che la lingua in sé non era il vero capo. Invece, la difficoltà dipendeva interamente da cosa il robot stava venendo chiesto di fare. A volte, un robot performava meglio in una lingua "a basse risorse" rispetto all'inglese, altre volte falliva clamorosamente in una lingua "ad alte risorse".

Lo studio suggerisce che il vero collo di bottiglia non è solo conoscere le parole; è seguire le istruzioni complesse e passo dopo passo per costruire un modello di machine learning. I ricercatori hanno scoperto che i robot spesso fallivano non perché non capissero la lingua, ma perché sbagliavano la struttura del codice — come dimenticare di chiudere una parentesi o usare uno strumento che non esisteva nella versione del software che stavano utilizzando. Un modello, GPT-4.1-mini, era bravo nel proporre idee di alta qualità ma spesso falliva nel completare il lavoro correttamente, mentre un altro, GPT-OSS-120b, era più affidabile nel seguire le regole ma produceva talvolta risultati più semplici.

In definitiva, ML2B rivela che non possiamo semplicemente assumere che un'IA sia brava in tutto solo perché parla molte lingue. La capacità di costruire strumenti complessi dipende pesantemente dal compito specifico, non solo dalla lingua usata per chiederlo. Aprendo questo benchmark al pubblico, gli autori sperano di aiutare gli sviluppatori a costruire robot che non siano solo multilingue, ma anche veramente robusti e affidabili, indipendentemente dalla lingua in cui gli viene chiesto di parlare o dal problema che gli viene chiesto di risolvere.

Riepilogo Tecnico: ML2B – Benchmarking di LLM sulla Generazione di Pipeline ML Cross-Linguali

Definizione del Problema

Gli attuali benchmark per la generazione di codice tramite Large Language Models (LLM), come MLE-Bench e DA-Code, sono limitati a descrizioni di task in lingua inglese. Tuttavia, la ricerca nel campo del machine learning è globale e richiede che i modelli interpretino descrizioni di problemi in diverse lingue, generando al contempo codice eseguibile. I benchmark esistenti non riescono a misurare la robustezza cross-linguale nella generazione di pipeline ML end-to-end. Inoltre, molti benchmark soffrono di data leakage (dispersione dei dati), dove i dati di test o le soluzioni presenti nel benchmark si trovano anche nei corpora di addestramento degli LLM, portando a metriche di performance gonfiate. Esiste una mancanza critica di valutazione sistematica per la generazione di pipeline ML oltre l'inglese, in particolare riguardo a come la disponibilità di risorse (lingue ad alta vs bassa risorsa) correli con la performance del modello in compiti di ingegneria complessi e multi-step.

Metodologia

Gli autori introducono ML2B, un benchmark progettato per valutare gli LLM nella generazione di pipeline ML complete partendo da descrizioni in linguaggio naturale multilingue. La metodologia comprende quattro pilastri chiave:

Costruzione del Dataset:
- Ambito: Il benchmark comprende 35 competizioni Kaggle che spaziano nei domini tabulare, testuale e delle immagini.
- Lingue: Le descrizioni dei task, i domini e le data card sono stati tradotti in 14 lingue (arabo, bielorusso, cinese, francese, italiano, giapponese, kazako, polacco, rumeno, russo, spagnolo, turco, ucraino), producendo 490 coppie task-lingua.
- Qualità della Traduzione: Le traduzioni sono state eseguite tramite GPT-4o e validate da ricercatori madrelingua con competenze in ML. La qualità è stata verificata tramite punteggi BLEU di back-translation (media >0,35) e accordo tra annotatori (Gwet's AC1 >0,80 per la preservazione del significato).
- Competizioni Private: Per mitigare il data leakage, 10 delle 35 competizioni sono "private", il che significa che non hanno codice di soluzione pubblicamente disponibile, discussioni nei forum o significativa indicizzabilità sul web, riducendo la probabilità di inclusione nei dati di addestramento degli LLM.
Infrastruttura di Valutazione:
- Esecuzione Isolata: La valutazione avviene in container Docker isolati dalla rete. Il runtime dell'agente ha accesso a internet per la generazione del codice, ma il container di valutazione è limitato tramite un proxy forward alle risorse ML essenziali (HuggingFace, PyTorch, S3), bloccando l'accesso a Kaggle e GitHub per prevenire il recupero di soluzioni durante l'esecuzione.
- Formati di Sottomissione: A differenza delle sottomissioni standard di Kaggle (file singolo), ML2B utilizza due formati:
  - MONO_PREDICT: Una singola funzione che restituisce le predizioni.
  - MODULAR_PREDICT: Un formato modulare che separa le funzioni train, prepare_val e predict. Questa struttura è progettata per ridurre il preprocessing leakage (ad esempio, la normalizzazione dei dati di test utilizzando le statistiche del set di test).
- Rilevamento Statico del Leakage: Viene impiegato uno strumento di analisi statica per rilevare potenziali perdite di dati nel codice sottomesso, segnalando casi in cui i dati di training e di predizione vengono elaborati insieme.
Metriche e Baseline:
- Baseline: Per ogni competizione sono stabilite due baseline: una baseline manuale assistita da LLM (utilizzando Gemini 3 Pro per lo sviluppo iterativo) e una baseline algoritmica utilizzando AutoGluon.
- Misurazione della Performance: Gli autori utilizzano un rapporto di performance ( $r_p$ ) confrontando i tassi di errore del modello con la baseline. Utilizzano la metrica Area Under the Profile (AUP), specificamente una variante pesata ( $AUP_{-1/\ln \tau}$ ), per enfatizzare la regione in cui i modelli soddisfano o superano leggermente la baseline, distinguendo i performer costanti da quelli con successi occasionali.
Setup Sperimentale:
- Modelli: Gli esperimenti sono stati condotti con GPT-4.1-mini, GPT-OSS-120b e Gemini-2.5-Flash.
- Framework: I modelli sono stati testati utilizzando il framework AIDE e un framework ReAct modificato (per GPT-OSS-120b).
- Hardware: Le esecuzioni sono state effettuate su hardware di classe consumer (64GB RAM, singola GPU RTX 2080 Ti) per riflettere i tipici ambienti di ricerca.

Contributi Chiave

Primo Benchmark Multilingue per Pipeline ML: ML2B è il primo benchmark che valuta la generazione di pipeline ML end-to-end in 14 lingue, andando oltre il limite dell'inglese presente nei lavori precedenti.
Design Resistente al Leakage: L'inclusione di 10 competizioni private e l'uso di una valutazione isolata dalla rete riducono significativamente il rischio di contaminazione dei dati di addestramento e di recupero di soluzioni durante l'esecuzione.
Protocollo di Valutazione Modulare: L'introduzione del formato MODULAR_PREDICT e dell'analisi statica del leakage fornisce un metodo più rigoroso per valutare la qualità del codice e prevenire il preprocessing leakage rispetto ai formati di sottomissione a file singolo.
Analisi Completa dei Fallimenti: Lo studio fornisce una tassonomia dettagliata delle modalità di fallimento, inclusi errori di esecuzione, violazioni di vincoli e incongruenze di preprocessing.

Risultati

Gli esperimenti con i modelli frontier rivelano diverse scoperte critiche:

Degradazione Dipendente dal Task: La degradazione delle performance cross-linguali è altamente dipendente dal task piuttosto che seguire strettamente le tradizionali gerarchie di disponibilità di risorse. Mentre alcune lingue mostrano gap, altre performano in modo comparabile o migliore rispetto all'inglese su specifici task. La variabilità all'interno dei gruppi di risorse spesso supera la variabilità tra di essi.
Predittori di Varianza: Le caratteristiche del task, specificamente il numero di feature ( $\rho=+0,50$ ) e la terminologia specifica del dominio ( $\rho=+0,44$ ), sono predittori più forti della varianza cross-linguale rispetto all'identità della lingua o al livello di risorsa.
Trade-off tra Qualità e Robustezza: Nessun singolo modello domina sia in qualità che in affidabilità. GPT-4.1-mini ha ottenuto l'AUP medio più alto (0,768) ma il tasso di successo (pass rate) più basso (61%), indicando una forte capacità di ranking ma difficoltà nella generazione di soluzioni esatte. Al contrario, GPT-OSS-120b (AIDE) ha mostrato un alto pass rate (81%) ma un AUP inferiore.
Bottleneck Primario: Il principale modulo di fallimento identificato è il seguimento delle istruzioni della pipeline (ad esempio, l'aderenza alle firme delle funzioni, l'evitare variabili globali) piuttosto che la comprensione del linguaggio. I modelli spesso falliscono nel seguire i vincoli strutturali anche quando comprendono il task.
Prompt Strutturati: L'uso di prompt strutturati in ML2B ha portato a prestazioni e stabilità migliori rispetto ai formati offuscati utilizzati in altri benchmark (es. MLE-Bench), confermando che descrizioni chiare del task favoriscono la comprensione senza abilitare scorciatoie di memorizzazione.

Significato e Rivendicazioni

Il paper sostiene che ML2B mette in discussione le convenzionali assunzioni sulle capacità multilingue dei modelli. I risultati suggeriscono che l'assunzione secondo cui la sola disponibilità di risorse determina la performance multilingue dei modelli è insufficiente; invece, le caratteristiche specifiche del task ML (complessità, terminologia, pattern dei dati) giocano un ruolo dominante.

Gli autori sottolineano la necessità di una valutazione cross-linguale sistematica per la generazione di pipeline ML per garantire che gli strumenti di IA siano robusti e affidabili in contesti globali. Fornendo benchmark, baseline e infrastrutture open-source, ML2B mira a facilitare la ricerca riproducibile sulla robustezza cross-linguale degli LLM in domini ad alta intensità ingegneristica. Il paper conclude che, sebbene gli attuali modelli mostrino promessa, il divario tra la comprensione di un task e l'esecuzione corretta di una pipeline ML complessa e vincolata rimane un ostacolo significativo, particolarmente in contesti non inglesi.