MidTool: Mid-training Data Synthesis for Agentic Tool Use

I modelli linguistici di grandi dimensioni sono i motori dietro una nuova generazione di assistenti digitali, capaci di leggere, scrivere e ragionare con una fluidità simile a quella umana. Affinché questi sistemi siano veramente utili, devono fare molto di più che limitarsi a rispondere alle domande; devono essere in grado di agire. Ciò significa sapere quando ricorrere a uno strumento, come una calcolatrice, un motore di ricerca o un'interfaccia software, e poi usarlo correttamente per risolvere un problema. Nel panorama attuale dell'intelligenza artificiale, i ricercatori hanno trattato in gran parte questa capacità di usare strumenti come l'ultimo step del processo di addestramento. Prendono un modello potente, pre-addestrato, e poi gli insegnano specificamente come chiamare funzioni o interagire con il software attraverso un processo di fine-tuning. Tuttavia, questo approccio pone un peso eccessivo su quella fase finale, costringendo il modello a imparare comportamenti complessi come la pianificazione di una sequenza di azioni o il recupero da informazioni mancanti tutto in una volta, spesso senza una profonda base di come quegli strumenti funzionino effettivamente nel mondo reale.

Un team di ricercatori dell'Università di Washington e di Snowflake ha proposto una strada diversa. Suggeriscono che la capacità di usare strumenti debba essere coltivata prima nella vita del modello, durante una fase intermedia di addestramento che si colloca tra l'apprendimento iniziale ampio e l'addestramento finale specializzato. Chiamano questo processo "mid-training". Per testare questa idea, hanno costruito un enorme dataset personalizzato progettato specificamente per insegnare ai modelli come interagire con gli strumenti. Hanno chiamato il loro progetto MidTool. Alimentando i loro modelli con questi dati specializzati prima dei passaggi di addestramento finale, hanno scoperto che i modelli imparavano a usare gli strumenti in modo più efficace, con una migliore comprensione di come pianificare le azioni e gestire gli errori, rispetto ai modelli che ricevevano solo l'addestramento finale standard.

I ricercatori hanno iniziato raccogliendo una collezione diversificata di materiali che contengono la conoscenza grezza di come funzionano gli strumenti. Non si sono limitati a cercare esempi di strumenti in uso; hanno raccolto i manuali, il codice, la documentazione e le specifiche tecniche che descrivono come tali strumenti debbano funzionare. Ciò includeva milioni di pagine web, migliaia di documenti tecnici in formato PDF, vasti repository di codice informatico e definizioni strutturate di interfacce di programmazione di applicazioni (API) del mondo reale. Hanno trattato queste fonti come i "libri di testo" per i loro studenti IA. Da questo materiale grezzo, hanno creato un mix di addestramento contenente 20,3 miliardi di token, una misura della quantità di testo elaborato. Questo mix era attentamente bilanciato, attingendo circa il 42 percento da documenti web, il 26 percento da codice, il 23 percento da PDF e il 9 percento da esempi sintetizzati direttamente di agenti che utilizzano strumenti.

Per trasformare questa collezione statica di documenti in un'esperienza di apprendimento dinamica, i ricercatori hanno utilizzato un approccio a due fronti per generare esempi di addestramento. Il primo metodo si è concentrato sull'ancoraggio (grounding). Hanno preso documenti tecnici e codice e hanno chiesto al modello di immaginare scenari in cui un utente avrebbe avuto bisogno di usare gli strumenti descritti in quei testi. Il modello doveva imparare a leggere un manuale disordinato o un frammento di codice complesso, identificare quali strumenti fossero disponibili e capire quali informazioni fossero necessarie per usarli. Questo ha insegnato al modello a riconoscere le "affordance" di uno strumento — ciò che è capace di fare — in base al contesto. Il secondo metodo si è concentrato sull'esecuzione. In questo caso, i ricercatori hanno utilizzato definizioni di strumenti reali per generare storie passo dopo passo di un agente che risolve un problema. Queste storie includevano l'agente che elabora un piano, chiama uno strumento, riceve una risposta e poi decide cosa fare successivamente. Fondamentalmente, questi esempi includevano anche scenari in cui le informazioni erano mancanti o lo strumento falliva, insegnando al modello come recuperare e chiedere chiarimenti invece di arrendersi o tirare a indovinare.

Il team ha testato questo approccio utilizzando due versioni di un modello linguistico base, una con 4 miliardi di parametri e un'altra con 8 miliardi. Hanno addestrato questi modelli sul loro nuovo dataset MidTool e poi hanno applicato i normali passaggi di addestramento finale utilizzati da altri ricercatori. Successivamente, hanno messo alla prova i modelli su tre diversi benchmark progettati per misurare quanto bene un'IA possa usare gli strumenti. Questi test variavano da semplici comandi a singolo passaggio a compiti complessi a più fasi che richiedevano l'interazione con veri ambienti software. I risultati hanno mostrato un modello chiaro: i modelli che avevano ricevuto il mid-training superavano costantemente quelli che non lo avevano ricevuto. Il miglioramento era più evidente nei compiti più difficili, in particolare in quelli che richiedevano più fasi o la capacità di gestire strumenti sconosciuti. Ad esempio, in un test che misurava la capacità di usare strumenti in una conversazione a più turni, il modello da 4 miliardi di parametri ha visto il suo punteggio aumentare di oltre 10 punti rispetto a un modello che aveva ricevuto solo l'addestramento finale.

Lo studio ha anche rivelato i limiti di questo approccio. Sebbene i modelli sottoposti a mid-training siano diventati significativamente migliori nell'uso generale degli strumenti, non sono diventati esperti in ogni tipo di compito. Quando testati su un benchmark specifico riguardante la ricerca web profonda e iterativa, i modelli non hanno mostrato lo stesso livello di miglioramento. Ciò suggerisce che, sebbene una base generale aiuti a comprendere come usare gli strumenti e seguire le istruzioni, comportamenti altamente specializzati come la ricerca approfondita o l'esplorazione complessa potrebbero richiedere i propri dati di addestramento dedicati. I ricercatori hanno scoperto che il mid-training forniva una base forte e stabile che rendeva più efficiente il successivo addestramento finale. I modelli imparavano a convergere più velocemente e raggiungevano livelli di prestazione più elevati, indicando che la fase di mid-training aveva aiutato a costruire una migliore comprensia interna di come gli strumenti si integrino tra loro.

Questo lavoro sfida la convinzione prevalente che l'uso degli strumenti sia semplicemente una competenza da aggiungere alla fine dello sviluppo di un modello. Al contrario, suggerisce che la capacità di interagire con il mondo attraverso gli strumenti sia una capacità fondamentale che beneficia dell'essere intrecciata nella conoscenza centrale del modello. Esponendo i modelli alla struttura della documentazione degli strumenti e alla logica dei flussi di lavoro degli strumenti sin dalle prime fasi, i ricercatori hanno creato un sistema più robusto e adattabile. Le scoperte implicano che, affinché la prossima generazione di agenti IA sia veramente efficace, il loro addestramento deve includere una fase dedicata in cui imparano non solo quali strumenti esistono, ma come riconoscerli, pianificare con essi e recuperare quando le cose vanno male. Questa fase intermedia di addestramento sembra essere la chiave per sbloccare una forma di agenzia più naturale e affidabile nell'intelligenza artificiale.