Recursive Synthesis for Long-Horizon Terminal Tasks
Questo articolo introduce i Recursive Synthetic Terminal Tasks (RST), un framework scalabile che genera e verifica ricorsivamente compiti terminali agente-lungo-orizzonte per produrre 37.484 esempi di alta qualità a basso costo, aumentando significativamente le prestazioni dei modelli fine-tuned e agentici su benchmark impegnativi senza mostrare segni di rendimenti decrescenti.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di voler insegnare a un robot come diventare un meccanico maestro. Non vuoi solo che sappia com'è fatta una chiave inglese; vuoi che sappia davvero riparare il motore di un'auto che non si è mai guastata prima. Questo è il mondo degli "agenti AI": programmi informatici intelligenti che non si limitano a chiacchierare con te, ma compiono effettivamente delle azioni, come digitare comandi, spostare file e correggere bug software. Il grande problema è che questi robot sono terribili nei lavori lunghi e complicati. Se chiedi loro di costruire una casa, potrebbero posare un solo mattone per poi confondersi. Per insegnargli meglio, abbiamo bisogno di migliaia di problemi di pratica in cui il robot prova a costruire la casa, fallisce, viene corretto e riprova. Ma creare questi problemi di pratica è un incubo. Se ne scrivi uno a mano, costa una fortuna. Se chiedi a un computer di scriverne uno, spesso inventa regole che non corrispondono agli strumenti, o crea un enigma impossibile da risolvere. È come chiedere a uno chef di scrivere la ricetta per una torta, ma la ricetta richiede ingredienti che non esistono in cucina, o il forno è rotto.
Entra in gioco un nuovo metodo chiamato Recursive Synthetic Terminal Tasks (RST). Consideralo come una "macchina di evoluzione digitale" per creare rompicapi per l'addestramento dei robot. Inveve di far scrivere ogni singolo problema agli esseri umani, i ricercatori sono partiti da un piccolo mucchio di 639 enigmi verificati e funzionanti (i "semi"). Poi, hanno usato un'IA potente per agire come un game designer dispettoso ma brillante. Questa IA guardava un enigma funzionante, aggiungeva un nuovo passaggio più difficile alla soluzione (come aggiungere un nuovo ingranaggio al motore) e poi aggiornava immediatamente le istruzioni e la "chiave di risposta" per adattarle alla nuova versione più difficile. Fondamentalmente, prima che il nuovo enigma venisse salvato, veniva gettato in un sandbox digitale — una stanza computerizzata sicura e isolata — per vedere se funzionava davvero. Se la soluzione falliva, l'enigma veniva scartato. Se funzionava, veniva conservato e utilizzato come seme per il round successivo di enigmi ancora più difficili. I ricercatori hanno eseguito questo ciclo 15 volte. Alla fine, avevano creato quasi 38.000 nuovi enigmi verificati. La cosa migliore? Gli enigmi diventavano genuinamente più difficili a ogni round. L'enigma di metà percorso passò dal richiedere 67 righe di codice per essere risolto a 374 righe. Il numero di comandi che un robot doveva digitare passò da 40 a 244.
I risultati sono stati drammatici. Quando hanno testato un risolutore IA di alto livello su questi enigmi, il suo tasso di successo è sceso dal 90% sui primi enigmi facili del primo round a un misero 2,5% sul quindicesimo round. Questo ha dimostrato che il sistema non stava solo creando istruzioni più lunghe; stava effettivamente creando compiti che richiedevano un pensiero molto più profondo e più passaggi. Ma la vera magia è accaduta quando hanno usato questi enigmi per addestrare un modello di IA diverso (Qwen3.5). Dopo l'addestramento sulle traiettorie (i tentativi passo dopo passo) generate da questi enigmi, il modello è diventato significativamente più bravo a risolvere compiti terminali del mondo reale. Nei test standard, le sue prestazioni sono aumentate fino a 10 punti e, con un ulteriore apprendimento per rinforzo, sono migliorate di un altro 20% o 41% a seconda del test. La scoperta più eccitante è che il sistema non mostrava segni di fermarsi. Anche dopo 15 round di aumento della difficoltà, il sistema ha continuato a produrre enigmi validi e diversificati senza collassare nel nonsense o ripetere sempre gli stessi trucchi. Ciò suggerisce che potremmo essere in grado di generare una fornitura infinita di dati di addestramento di alta qualità per gli agenti IA, trasformando il processo lento ed costoso dell'insegnamento umano in un'evoluzione veloce, automatizzata e scalabile.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.