🤖 machine learning

iML: Executable, Problem-Grounded, and Broadly Exploratory Code-Driven AutoML

Il documento presenta iML, un framework AutoML multi-agente basato su codice che garantisce soluzioni eseguibili, radicate nel problema e ampiamente esplorative attraverso blueprint strutturati e debugging iterativo, raggiungendo prestazioni allo stato dell'arte e un'elevata affidabilità su diversi benchmark di machine learning.

Autori originali: Dat Le, Duc-Cuong Le, Anh-Son Nguyen, Tuan-Dung Bui, Thu-Trang Nguyen, Son Nguyen, Hieu Dinh Vo

Pubblicato 2026-06-02

📖 5 min di lettura🧠 Approfondimento

CC0 1.0

Autori originali: Dat Le, Duc-Cuong Le, Anh-Son Nguyen, Tuan-Dung Bui, Thu-Trang Nguyen, Son Nguyen, Hieu Dinh Vo

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler costruire una macchina complessa, come un'auto da corsa ad alte prestazioni, ma di non sapere come essere un meccanico. Chiedi a un assistente molto intelligente, colto ma a volte eccessivamente sicuro di sé (un'IA) di scrivere i progetti e costruire l'auto per te.

In passato, questi assistenti spesso scrivevano piani che sembravano perfetti sulla carta, ma che crollavano nel momento stesso in cui provavi ad accendere il motore. Potevano presumere che l'auto avesse un motore V8 quando tu ne avevi solo un V6, o potevano dimenticare di avvitare le ruote perché erano troppo impegnati a scrivere un bellissimo discorso sulla velocità.

Questo articolo presenta 𝑖ML, un nuovo team di assistenti IA progettato per risolvere questi problemi. Invece di un singolo assistente che cerca di fare tutto insieme, 𝑖ML utilizza un team multi-agente che lavora come una squadra di costruzione altamente organizzata. Il loro obiettivo è costruire un modello di machine learning (l' "auto") che funzioni davvero, che sia costruito con i materiali reali a tua disposizione ed esplori molti modi diversi per vincere la gara.

Ecco come funziona 𝑖ML, suddiviso in tre semplici principi:

1. La regola del "Funziona davvero?" (Esecutabilità)

La maggior parte degli assistenti IA scrive codice che sembra bello nel testo, ma che va in crash quando provi a eseguirlo. 𝑖ML considera l'esecuzione del codice come il test più importante.

L'analogia: Immagina uno chef che non si limita a scrivere una ricetta; cucina effettivamente il piatto, lo assaggia e, se è troppo salato, lo corregge prima di servirlo al cliente.
Come fa 𝑖ML: Il team suddivide il lavoro in piccole parti (preparazione dei dati, costruzione del modello). Costruiscono ogni parte separatamente, poi provano ad assemblarle. Se le parti non si incastrano (come un perno quadrato in un foro rotondo), il sistema si ferma immediatamente, individua l'errore esatto e corregge solo quel pezzo. Continua a provare e a correggere finché l'intera macchina non funziona perfettamente. Questo garantisce che il 90% delle volte il risultato finale funzioni effettivamente.

2. La regola del "Guarda cosa hai a disposizione" (Radicamento del problema)

A volte gli assistenti IA inventano le cose. Potrebbero ipotizzare che i tuoi dati siano puliti quando invece sono disordinati, o presumere che tu voglia prevedere le vendite quando invece vuoi prevedere il meteo.

L'analogia: Immagina un appaltatore che ignora i progetti che gli hai consegnato e il terreno reale del tuo lotto, e decide invece di costruire una piscina perché pensa che tu la volessi.
Come fa 𝑖ML: Prima di scrivere una singola riga di codice, 𝑖ML invia uno "scout" a ispezionare i tuoi dati effettivi. Conta i pezzi mancanti, controlla i tipi di informazioni e cerca cosa hanno fatto altri esperti con dati simili. Crea quindi un piano rigoroso (un "progetto") basato sulla realtà, non sulle supposizioni. Questo evita che il team costruisca un modello che sia logicamente valido ma inutile per il tuo problema specifico.

3. La regola del "Prova tutto" (Esplorazione ampia)

I vecchi sistemi AutoML spesso scelgono un percorso e si tengono a quello, come un conducente che conosce solo le autostrade. Se la strada diventa sterrata, rimangono bloccati.

L'analogia: Immagina un detective che interroga un solo sospettato. 𝑖ML è come un detective che intervista tre diversi sospettati: uno che usa metodi tradizionali, uno che usa gadget tecnologici avanzati e uno che usa uno strumento personalizzato.
Come fa 𝑖ML: Il team non sceglie solo un modo per risolvere il problema. Esegue tre strategie diverse in parallelo:
1. Metodi tradizionali (affidabili, come una robusta berlina).
2. Modelli pre-addestrati (usando strumenti intelligenti esistenti, come un'auto sportiva).
3. Reti neurali personalizzate (costruendo un motore unico e su misura da zero).
  Testano tutti e tre, vedono chi vince la gara e scelgono il vincitore. Se uno fallisce, non si arrendono; passano semplicemente alla seconda migliore opzione.

La struttura del team

Per far sì che ciò accada, 𝑖ML organizza i suoi agenti IA in ruoli specifici:

Lo Strategist (Il Decisore): Legge il problema e ispeziona i dati per creare il progetto principale.
Gli Specialisti: Diversi agenti scrivono il codice per parti specifiche (uno per la pulizia dei dati, uno per la costruzione del modello) in modo da non confondersi.
L'Assemblatore e il Debugger: Assemblano i pezzi, li testano e, se qualcosa si rompe, agiscono come un meccanico con uno strumento di diagnostica per trovare e riparare l'esatto bullone rotto senza dover ricostruire l'intera auto.

I Risultati

Gli autori hanno testato questo sistema su due set di sfide difficili (come le famose competizioni Kaggle di data science).

Affidabilità: Mentre altri sistemi fallivano nel produrre un risultato funzionante circa la metà delle volte, 𝑖ML ha avuto successo il 90% delle volte.
Prestazioni: 𝑖ML non si è limitato a funzionare; ha vinto. Ha ottenuto "medaglie" (classifiche ai vertici) nel 45% delle competizioni, superando sia i vecchi strumenti automatizzati che altri agenti IA.
Robustezza: Anche quando le istruzioni erano vaghe o ridotte al minimo indispensabile (come dire "sistema questi dati" senza spiegare come), 𝑖ML è riuscito a ottenere successo nel 70% dei casi, affidandosi all'ispezione dei dati reali piuttosto che alle istruzioni testuali.

In breve, 𝑖ML è un sistema che smette di indovinare, inizia a testare e costruisce un team di specialisti per garantire che il modello di machine learning finale non sia solo un'idea carina, ma una realtà funzionante e ad alte prestazioni.

Riepilogo Tecnico: $i$ ML – AutoML guidato dal codice, eseguibile, fondato sul problema e ampiamente esplorativo

1. Definizione del Problema

Sebbene l'Automated Machine Learning (AutoML) abbia democratizzato l'accesso al machine learning, i sistemi esistenti affrontano limitazioni significative in termini di flessibilità, trasparenza e affidabilità dell'esecuzione. Gli strumenti di AutoML tradizionali operano spesso come "scatole nere" rigide, limitate a spazi di ricerca predefiniti (ad es. dati tabulari), mancando della capacità di personalizzare le pipeline per problemi complessi o multimodali.

Recenti agenti basati su Large Language Models (LLM) si sono spostati verso l'AutoML guidato dal codice, sintetizzando codice eseguibile per pre-elaborazione, addestramento e valutazione. Tuttavia, gli approcci attuali soffrono di tre criticità fondamentali:

Mancanza di Eseguibilità: Il codice generato appare spesso plausibile nel testo, ma fallisce durante l'esecuzione a causa di errori di runtime, discrepanze di tipo o assunzioni non verificate.
Insufficiente Fondamento sul Problema: Le decisioni di pianificazione si basano spesso su assunzioni testuali non verificate o proprietà dei dati "allucinate", piuttosto che su un'analisi empirica del dataset effettivo.
Esplorazione Limitata: Molti sistemi si impegnano prematuramente in un singolo percorso di modellazione (ad es. raffinando uno script monolitico o avvolgendo un backend fisso come AutoGluon), fallendo nell'esplorare strategie di soluzione diverse e aggiornate tra ML tradizionale, adattamento di modelli pre-addestrati e architetture neurali personalizzate.

2. Metodologia: Il Framework $i$ ML

Gli autori introducono $i$ ML, un framework di AutoML multi-agente guidato dal codice, progettato per soddisfare tre requisiti fondamentali: Eseguibilità, Fondamento sul Problema e Ampia Esplorazione. Il framework opera attraverso tre fasi coordinate:

Fase I: Pianificazione Strategica Guidata dal Codice

Invece di un prompting diretto al codice, $i$ ML costruisce prima un piano strategico fondato sul problema ( $B$ ).

Analisi del Task e Profilazione: Un Task Analyzer estrae vincoli semantici, mentre un Profiling Agent analizza empiricamente il dataset grezzo ( $\mathcal{D}$ ) per generare meta-feature ( $F_{meta}$ ), inclusi schema, pattern di assenza di dati e qualità dei dati.
Recupero della Conoscenza: Un Knowledge Retriever acquisisce vincoli di dominio e strategie di pre-elaborazione da fonti esterne.
Sintesi del Blueprint: Un Guideline Agent sintetizza un blueprint strutturato che specifica le direttive di pre-elaborazione, la logica di selezione del modello (scegliendo tra ML Tradizionale, Adattamento di Modelli Pre-addestrati o Architetture Neurali Personalizzate), i protocolli di addestramento e le metriche di valutazione. Questo blueprint funge da insieme di invarianti architettonici per vincolare lo spazio di ricerca.

Fase II: Implementazione Modulare del Codice

Agenti di codifica specializzati implementano i componenti separatamente sotto espliciti Contratti di Interfaccia ( $IC_{\mathcal{T}}$ ).

Preprocessing Coder: Genera uno script ( $S_{prep}$ ) per trasformare i dati grezzi in una rappresentazione verificata ( $\mathcal{D}'$ ) che soddisfi rigorosamente lo schema richiesto dalla fase di modellazione.
Modeling Coder: Genera uno script ( $S_{model}$ ) per l'addestramento e l'inferenza, garantendo la compatibilità matematica con $\mathcal{D}'$ verificato.
Design Guidato dal Contratto: Questa modularità evita l'intreccio logico e consente lo sviluppo e la riparazione indipendente dei componenti.

Fase III: Integrazione Verificabile tramite Codice

Un Assembler Agent integra $S_{prep}$ e $S_{model}$ in una pipeline unificata ( $S$ ).

Esecuzione Dinamica e Verifica: Il sistema esegue $S_{prep}$ sui dati per validare le proprietà di runtime (forme, tipi) rispetto al contratto di interfaccia prima di procedere all'addestramento.
Debugging Iterativo: Se l'esecuzione fallisce, un Error Analyzer localizza il guasto (ad es. mismatch di API, errori di forma dei tensori) utilizzando i traceback di runtime. Un Debugging Agent ripara quindi iterativamente il componente specifico, utilizzando la ricerca web per la sintassi corrente se necessario, finché non si ottiene una pipeline valida.

3. Contributi Chiave

Nuovi Principi di Design: Il documento stabilisce tre criteri per un ideale AutoML guidato dal codice: Eseguibilità (sintesi end-to-end affidabile), Fondamento sul Problema (decisioni basate su dati empirici e conoscenza recuperata) ed Esplorazione Diversificata/Aggiornata (ricerca attraverso percorsi di soluzione eterogenei).
Il Framework $i$ ML: Un'architettura multi-agente che operazionalizza questi principi attraverso la profilazione empirica, la pianificazione supportata dal recupero, la sintesi del codice modulare e la verifica dinamica.
Estesa Validazione Sperimentale: Valutazione completa su MLE-BENCH e sul nuovo $i$ ML-BENCH (che copre 16 diverse competizioni Kaggle dal 2021 al 2025), dimostrando una superiore affidabilità operativa e prestazioni competitive.

4. Risultati Sperimentali

Gli autori hanno valutato $i$ ML rispetto a baseline allo stato dell'arte, inclusi l'AutoML tradizionale (AutoGluon) e gli agenti guidati dal codice (MLZERO, MLE-STAR, AutoML-Agent).

Prestazioni su MLE-BENCH (Lite)

Affidabilità: $i$ ML ha raggiunto un tasso di sottomissione valida del 90%, superando significativamente MLE-STAR (55%) e AutoML-Agent (40%).
Qualità Competitiva: Ha ottenuto medaglie (Oro/Argento/Bronzo) nel 45% dei task e un tasso dell' 80% "Above Median".
Punteggio di Performance: L'Average Performance Score (APS) è stato di 0,82, rappresentando un miglioramento del 52%–273% rispetto alle baseline basate su LLM.

Prestazioni su $i$ ML-BENCH

Robustezza: $i$ ML ha ottenuto l'APS più alto (0,54), quasi triplicando le prestazioni di MLZERO (0,19).
Task Complessi: Mentre le baseline come AutoGluon e MLZERO sono fallite (punteggio 0,00) su task multimodali complessi (ad es. PetFinder, Classificazione Multilabel), $i$ ML ha mantenuto punteggi elevati (rispettivamente 0,67 e 0,69).
Descrizioni Ridotte: Anche quando le descrizioni dei task sono state significativamente ridotte a un prompt generico, $i$ ML ha mantenuto un tasso di successo del 70% e un APS di 0,63, dimostrando resilienza all'ambiguità dell'intento dell'utente.

Studi di Ablazione

Eseguibilità: La rimozione della verifica dinamica o dell'integrazione modulare ha causato cali significativi nei tassi di sottomissione valida e nell'APS, confermando che i controlli statici sono insufficienti.
Fondamento (Grounding): La rimozione della profilazione empirica dei dati ha ridotto l'APS da 0,82 a 0,66, provando che il fondamento sui dati è un driver primario della qualità competitiva.
Esplorazione: Limitare $i$ ML a un singolo percorso di modellazione (ad es. solo ML Tradizionale) ha causato un collasso delle prestazioni sui task non tabulari, validando la necessità di un'esplorazione multi-track.

5. Significato e Rivendicazioni

Il documento afferma che $i$ ML stabilisce un paradigma robusto per l'AutoML, colmando il divario tra il ragionamento strategico di alto livello e l'implementazione empiricamente verificabile.

Affidabilità rispetto alla Plausibilità: A differenza dei precedenti agenti che generano codice testualmente plausibile ma fragile, $i$ ML impone l'eseguibilità attraverso un processo a ciclo chiuso di assemblaggio, esecuzione, diagnosi e correzione.
Fondamento Empirico: Ancorando la pianificazione alle proprietà osservate dei dati e alla conoscenza recuperata, il sistema evita assunzioni allucinate che portano a fallimenti di runtime.
Prestazioni Competitive con l'Umano: $i$ ML dimostra che l'AutoML guidato dal codice può trascendere i limiti di prestazione degli strumenti di ottimizzazione "black-box" (come AutoGluon) progettando pipeline native e specifiche per il task.

Gli autori concludono che $i$ ML rappresenta un passo trasformativo verso un'ingegneria autonoma affidabile e competitiva con l'uomo, fornendo una base verificabile per la prossima generazione di sistemi di ML. Riconoscono che, sebbene le prestazioni sui task multimodali rimangano una frontiera per l'ottimizzazione futura, il framework affronta con successo le sfide centrali dell'intreccio logico e dell'affidabilità dell'esecuzione negli attuali agenti di AutoML.