Joint Optimization of Tool Creation and Use for Large Language Model Agents

Il progresso umano è sempre dipeso dagli strumenti che costruiamo. Invece di risolvere ogni nuovo problema da zero, ci affidiamo a strumenti perfezionati nel corso delle generazioni, dalla semplice leva al complesso software che gestisce il nostro mondo moderno. I grandi modelli linguistici, i programmi informatici avanzati capaci di comprendere e generare il linguaggio umano, affrontano una limitazione simile. Sebbene possiedano enormi quantità di informazioni memorizzate nella loro memoria interna, essi faticano con compiti che richiedono calcoli esatti, l'accesso a fatti aggiornati o un ragionamento logico affidabile. Per superare questo limite, i ricercatori hanno insegnato a questi modelli a utilizzare strumenti esterni, come calcolatrici o motori di ricerca, proprio come un essere umano potrebbe prendere una calcolatrice per risolvere un problema matematico difficile. Tuttavia, gli attuali sistemi sono limitati perché possono utilizzare solo strumenti che gli esseri umani hanno già scritto e fornito. Se un essere umano non ha costruito uno strumento specifico per un nuovo compito, il modello rimane bloccato.

Questa limitazione ha scatenato un passaggio verso un approccio più dinamico: insegnare ai modelli di creare i propri strumenti su richiesta. L'idea è che un modello guardi un problema, scriva un piccolo pezzo di codice per risolverlo e poi utilizzi quel codice per trovare la risposta. Eppure, i metodi esistenti per fare questo presentano un difetto fondamentale. Tipicamente utilizzano un modello potente ed costoso per scrivere lo strumento e un modello più debole per usarlo. Poiché il modello che scrive lo strumento non deve mai usarlo esso stesso, non ha alcun incentivo a scrivere strumenti che siano effettivamente chiari, affidabili o facili da invocare. È come un carpentiere che costruisce un martello ma non deve mai scuoterlo; potrebbe realizzare un manico troppo scivoloso o una testa troppo pesante, semplicemente perché non ne avverte le conseguenze di un cattivo design.

Un team di ricercatori ha introdotto un nuovo framework chiamato SMITH per risolvere questo disconnessione. L'innovazione principale è un metodo di addestramento che costringe un singolo modello ad agire sia come creatore che come utilizzatore dello strumento. In questo sistema, al modello viene fornito un insieme di problemi di esempio e gli viene chiesto di scrivere uno strumento, che consiste in un pezzo di codice e una descrizione chiara di come usarlo. Immediatamente dopo, lo stesso modello deve provare a usare esattamente quello strumento per risolvere un problema diverso e non visto. Se la descrizione è confusa o il codice è rotto, il modello fallisce nel risolvere il problema e riceve un segnale chiaro che deve migliorare. Questo crea un ciclo di feedback diretto in cui il modello impara che uno strumento è valido solo quanto la sua capacità di essere utilizzato da se stesso.

I ricercatori hanno testato questo approccio utilizzando un modello con quattro miliardi di parametri, una dimensione relativamente piccola rispetto ai modelli massicci spesso utilizzati in questo campo. Hanno addestrato il modello su tredici diversi tipi di compiti di ragionamento, che spaziano da enigmi aritmetici a giochi logici. I risultati sono stati sorprendenti. Il modello addestrato ha raggiunto un alto livello di accuratezza su problemi che non aveva mai visto prima, superando i metodi che si affidano a istruzioni complesse progettate dagli umani o persino modelli più grandi che vengono semplicemente istruiti a scrivere strumenti al momento dell'uso. Infatti, il piccolo modello addestrato con questo metodo ha performato meglio di un modello non addestrato da trenta miliardi di parametri quando si trattava di creare strumenti per nuovi compiti. Ciò suggerisce che la capacità di imparare come costruire e usare strumenti è più importante del semplice possedere una maggiore quantità di memoria grezza.

Forse il risultato più sorprendente è stato quanto bene questi strumenti auto-prodotti si siano trasferiti ad altri modelli. Gli strumenti scritti dal piccolo modello addestrato sono stati in grado di aiutare un modello molto più piccolo, con soli 350 milioni di parametri, a performare come un modello molto più grande e non addestrato. Viceversa, quando gli strumenti scritti dal piccolo modello sono stati dati in uso a un modello molto grande, quest'ultimo ha performato meglio di quanto non facesse provando a scrivere i propri strumenti. Ciò indica che gli strumenti creati dal framework SMITH sono genuinamente di alta qualità e riutilizzabili, non semplici trucchi che funzionano per un modello specifico. Gli strumenti erano così efficaci che hanno migliorato le prestazioni su tipi di problemi completamente nuovi, come l'interpretazione di tabelle complesse o la risposta a domande riguardanti immagini, nonostante il modello non fosse mai stato addestrato su dati relativi a tabelle o immagini.

Lo studio ha anche rivelato l'importanza di come sia strutturato il processo di apprendimento. I ricercatori hanno scoperto che chiedere semplicemente a un modello di scrivere codice non è sufficiente; il modello deve anche essere giudicato sulla base del fatto che la descrizione dello strumento corrisponda al codice e che lo strumento funzioni effettivamente quando invocato. Separando questi diversi aspetti della qualità e premiando il modello per aver ottenuto correttamente ciascuno di essi, il sistema evita errori comuni in cui un modello potrebbe scrivere un codice che sembra buono ma non può essere usato, o scrivere una descrizione che è chiara ma non corrisponde al codice. Questo delicato equilibrio ha permesso al modello di apprendere una competenza robusta: la capacità di creare uno strumento che sia sia corretto che utilizzabile.

In definitiva, questo lavoro dimostra che la strada verso un'intelligenza artificiale più capace non risiede nel costruire modelli sempre più grandi, ma nell'insegnare ai modelli come costruire e usare meglio le proprie capacità. Chiudendo il cerchio tra creazione e uso, i ricercatori hanno dimostrato che un modello può imparare a progettare strumenti abbastanza affidabili da essere usati da se stesso e dagli altri. Questo approccio offre un modo scalabile per espandere le capacità dell'intelligenza artificiale, permettendole di adattarsi a nuove sfide creando gli strumenti specifici di cui ha bisogno, invece di aspettare che siano gli umani a fornirli. I risultati suggeriscono che il futuro dell'intelligenza aumentata dagli strumenti non risiede in librerie statiche di strumenti pre-confezionati, ma nella capacità dinamica e di auto-miglioramento dei modelli di forgiare le proprie soluzioni.