SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL

Nel campo in rapida evoluzione dell'intelligenza artificiale, i ricercatori stanno insegnando ai programmi per computer a risolvere problemi complessi permettendo loro di provare, fallire e imparare dai risultati. Questo processo, noto come apprendimento per rinforzo (reinforcement learning), è particolarmente utile per addestrare grandi modelli linguistici affinché agiscano come agenti capaci di usare strumenti, navigare in ambienti virtuali o risolvere problemi matematici. Una sfida centrale in questo lavoro è come misurare il successo quando il percorso verso una risposta è lungo e imprevedibile. I metodi tradizionali richiedono spesso al sistema di generare molti tentativi diversi per lo stesso problema simultaneamente, aspettando che ognuno di essi termini prima di poter imparare dai risultati. Ciò crea un collo di bottiglia: se un tentativo impiega molto tempo per completarsi perché rimane bloccato o prova molti strumenti, l'intero processo di apprendimento si interrompe, aspettando che quel tentativo più lento recuperi il ritardo.

Per risolvere questa inefficienza, è stato sviluppato un approccio più recente chiamato Single-stream Policy Optimization. Invece di aspettare un gruppo di tentativi, questo metodo consente al sistema di apprendere da un tentativo alla volta, utilizzando una memoria persistente di successi e fallimenti passati per guidare le decisioni future. Tuttavia, un team di ricercatori guidato da Kai Ruan e Jinghao Lin ha scoperto che, sebbene questo metodo abbia eliminato i tempi di attesa, ha introdotto un disallineamento sottile ma significativo nel modo in cui il computer calcola i propri progressi. Hanno scoperto che il modo in cui il sistema media i suoi premi non era allineato con il modo in cui effettivamente elaborava i passaggi di una soluzione. Correggendo questo allineamento, hanno creato una versione migliorata del metodo, che hanno chiamato SPO++, che consente all'intelligenza artificiale di apprendere in modo significativamente più veloce ed efficiente.

Il cuore del problema risiedeva nel modo in cui il computer gestiva la lunghezza delle sue risposte. Nel metodo originale, il sistema calcolava un punteggio singolo per l'intero tentativo, come ad esempio se un robot avesse pulito con successo una stanza o se un risolutore matematico avesse trovato la risposta corretta. Calcolava poi di distribuire questo punteggio singolo su ogni parola o "token" generato dal modello durante quel tentativo. Questo sembrava logico, ma creava una distorsione. Se un tentativo era molto lungo e un altro era breve, il tentativo lungo diluiva il suo punteggio su molte parole, mentre il tentativo breve concentrava il suo punteggio su poche parole. Quando il sistema cercava di apprendere da questi punteoli, la lunghezza della risposta cambiava silenziosamente il punto centrale dell'apprendimento, causando l'ottimizzazione del modello per le cose sbagliate. Era come se il sistema stesse cercando di bilanciare una bilancia, ma i pesi sulla bilancia si spostassero a seconda di quanti oggetti venivano posizionati su di essa, piuttosto che in base al valore degli oggetti stessi.

I ricercatori hanno identificato due aree specifiche in cui si verificava questo disallineamento. Primo, il sistema tracciava il momento in cui riceveva i risultati di un tentativo anziché quando l'attempt veniva effettivamente generato. In un sistema asincrono in cui i compiti vengono inviati e completati a velocità diverse, l'ordine in cui arrivano i risultati è spesso casuale e dipende dalla velocità della rete o dal carico del computer. Il metodo originale utilizzava questo ordine di arrivo per aggiornare la sua memoria, il che significava che il segnale di apprendimento era influenzato dalla tempistica del sistema informatico piuttosto che dalla logica del compito stesso. Secondo, e più criticamente, il metodo di media dei punteggi non teneva conto del fatto che il modello impara da ogni parola che genera, non solo dal risultato finale. I ricercatori si resero conto che, per correggere il processo di apprendimento, dovevano standardizzare i punteggi in base al numero di parole d'azione generate, assicurando che il segnale di ricompensa corrispondesse all'effettivo volume di lavoro svolto dal modello.

Per affrontare queste problematiche, il team ha introdotto SPO++, che apporta due cambiamenti chiave al processo di apprendimento. Primo, hanno riorganizzato il sistema di memoria per tracciare l' "evento di policy" (policy event), ovvero il momento specifico in cui una richiesta è stata inviata, invece di quando il risultato è tornato indietro. Ciò assicura che la memoria del sistema riguardo ai successi passati sia legata allo stato del modello al momento della creazione del compito, rendendo il segnale di apprendimento coerente indipendentemente da quanto tempo occorra per completare il compito. Secondo, hanno cambiato il modo in cui i punteggi vengono mediati. Invece di trattare ogni tentativo come un'unità singola, il nuovo metodo calcola il punteggio medio basandosi sul numero totale di parole d'azione generate in tutti i tentativi. Ciò assicura che il segnale di apprendimento sia perfettamente allineato con il modo in cui il modello aggiorna effettivamente la propria conoscenza, parola per parola.

I risultati di questi cambiamenti sono stati testati su due diversi tipi di compiti: un set di 128 faccende domestiche simulate in cui un agente deve spostare oggetti in posizioni specifiche, e un dataset di 1.500 problemi matematici che richiedono l'uso di una calcolatrice Python. I ricercatori hanno condotto esperimenti utilizzando due diverse dimensioni di modelli linguistici, uno con 0,8 miliardi di parametri e un altro con 2 miliardi di parametri. In ogni singolo test, il nuovo metodo, SPO++, ha appreso più velocemente rispetto all'approccio originale. Nel compito delle faccende domestiche, il miglioramento è stato sostanziale, con il nuovo metodo che ha ottenuto un premio totale significativamente più alto durante l'addestramento. Nei problemi matematici, i guadagni sono stati minori ma comunque costanti, mostrando che il modello raggiungeva un livello di prestazione più elevato più rapidamente. I ricercatori hanno scoperto che la parte più potente del nuovo metodo era il cambiamento nel modo in cui i punteggi venivano mediati, il quale da solo aveva rappresentato la maggior parte del miglioramento.

Queste scoperte suggeriscono che nel complesso mondo dell'addestramento di agenti di intelligenza artificiale, i dettagli di come i dati vengono elaborati possono essere importanti quanto i dati stessi. Assicurando che il modo in cui un sistema misura i propri progressi corrisponda al modo in in cui effettivamente apprende, i ricercatori possono sbloccare significativi guadagni di efficienza senza necessitare di maggiore potenza di calcolo o modelli più grandi. Il lavoro dimostra che anche piccoli disallineamenti nel processo di apprendimento possono rallentare il progresso, e che correggere questi disallineamenti permette al sistema di concentrare la propria energia sulla risoluzione del problema piuttosto che nel compensare una misurazione difettosa. Mentre l'intelligenza artificiale continua ad affrontare compiti più difficili e vari, metodi come SPO++ offrono una via più chiara, assicurando che ogni passo compiuto dal modello sia misurato accuratamente e contribuisca efficacemente alla sua crescita.