Better, Faster, Stronger: Programmatic Skill Learning Best Reduces Agent Cost

Immagina di dover insegnare a un robot come navigare in un parco giochi gigante e disordinato. All'inizio, il robot è come un bambino che impara a camminare: prova ad andare avanti, urta un muro, si confonde, riprova e forse impara un pochino. Questo è il modo in cui lavorano spesso i moderni "agenti" di IA. Sono modelli linguistici potenti che possono comprendere istruzioni e parlare con i computer, ma quando si trovano di fronte a un compito nuovo e complesso, spesso devono "pensare" attraverso ogni singolo passaggio partendo da zero. Potrebbero provare ad aprire una porta, fallire, provare un modo diverso, fallire di nuovo e continuare a girare in tondo finché non ci riescono. Sebbene questo funzioni, è lento e costoso. Ogni volta che il robot "pensa", costa denaro e tempo, proprio come pagare per ogni singolo minuto che un essere umano passa a risolvere un puzzle.

La grande domanda che i ricercatori si pongono è: come possiamo insegnare a questi robot a migliorare senza che debbano imparare la stessa cosa più e più volte? La risposta riguarda solitamente le "abilità". Pensa a un'abilità come a una scorciatoia o a una ricetta già pronta. Invece di capire come fare una torta da zero ogni volta, segui semplicemente una ricetta che hai già scritto. Per un po', gli scienziati hanno cercato di scrivere queste ricette in linguaggio naturale; ma gli autori di questo articolo si sono chiesti: e se scrivessimo le ricette in codice? Il codice è come un manuale di istruzioni super preciso che un computer può seguire istantaneamente senza confondersi o sprecare tempo. La grande idea è che, se riusciamo a trasformare le esperienze disordinate di tentativi ed errori del robot in un codice pulito e riutilizzabile, il robot potrebbe diventare più veloce, meno costoso e molto più intelligente.

Questo è esattamente ciò che il team dietro il progetto "SpeedRunner" si è proposto di testare. Volevano vedere se un agente di IA potesse imparare a scrivere le proprie abilità basate sul codice mentre lavorava, invece di limitarsi a ricevere ordini. Hanno costruito un sistema in cui l'IA gioca a un gioco, commette errori e poi un secondo agente speciale, l' "agente di programmazione", esamina la cronologia del robot. Questo agente di programmazione agisce come un detective e un programmatore in un unico essere. Scansiona i tentativi passati del robot, trova i modelli in cui il robot continuava a fallire o a ripetere la stessa lunga sequenza di azioni, e poi scrive un nuovo pezzo di codice per risolvere il problema. È come guardare il video di qualcuno che cerca di allacciarsi le scarpe, rendendosi conto che continua a incastrare i lacci, e poi scrivere un piccolo e perfetto manuale di istruzioni su come allacciarle correttamente affinché non si incastrino mai più.

I ricercatori hanno testato questa idea in tre mondi virtuali molto diversi: un laboratorio scientifico dove devi mescolare sostanze chimiche, un mondo a griglia dove devi seguire le istruzioni per raccogliere oggetti e un gioco di sopravvivenza dove devi raccogliere risorse e combattere contro gli zombie. In tutti questi luoghi, l'agente "SpeedRunner" ha imparato a scrivere le proprie abilità in codice al volo. I risultati sono stati sorprendenti. Mentre altri metodi o rimanevano bloccati in cicli infiniti o diventavano sempre più costosi man mano che imparavano, SpeedRunner è diventato effettivamente più economico e veloce man mano che apprendeva. Ha trasformato lunghe e complicate sequenze di azioni in brevi funzioni di codice riutilizzabili. Ad esempio, invece di far spendere al robot molto denaro per pensare a come trovare un albero, ha imparato un semplice comando di codice chiamato "trova_albero" che poteva semplicemente cliccare per usarlo istantaneamente.

L'articolo suggerisce che questo approccio è un punto di svolta per quanto riguarda i costi. In uno dei test, l'agente SpeedRunner ha utilizzato circa un ottavo del denaro (in termini di potenza di elaborazione del computer) rispetto al metodo standard per risolvere lo stesso problema. Non ha solo risparmiato denaro, però; è diventato anche più bravo nei compiti assegnati. La chiave era che l'agente di programmazione non si era limitato a memorizzare ciò che era accaduto; aveva analizzato il perché delle cose che non funzionavano. Se il robot continuava a fallire nel trovare una risorsa perché non riusciva a vederla, l'agente di programmazione scriveva una nuova funzione per "scansionare l'area" prima di arrendersi. Questo ha reso l'agente robusto, ovvero capace di gestire cambiamenti casuali nell'ambiente, come la comparsa improvvisa di zombie, senza andare nel panico.

Tuttavia, gli autori avvertono che questo non è un rimedio magico per ogni situazione. Hanno scoperto che se il robot è già molto bravo in un compito, costringerlo a usare il codice potrebbe renderlo un po' troppo rigido, come un robot che segue una ricetta così strettamente da non riuscire ad adattarsi se il forno si rompe. Ma per la maggior parte dei compiti complessi e a lungo termine, trasformare le esperienze disordinate in codice pulito sembra essere il modo migliore per rendere gli agenti di IA sia più intelligenti che più accessibili. Lo studio dimostra che, permettendo agli agenti di scrivere le proprie "scorciatoie automatizzate" mentre giocano, possiamo costruire sistemi che imparano in modo efficiente senza dover essere riaddestrati da zero ogni volta che affrontano una nuova sfida.