Immaginate un mondo in cui il software non sta semplicemente lì, in attesa che un essere umano digiti un comando. Nel regno dell'intelligenza artificiale, esiste un'idea crescente chiamata "agenti". Pensate a questi non come semplici chatbot che rispondono a domande, ma come dipendenti digitali che possono effettivamente fare le cose: possono scrivere codice, navigare tra le schermate del computer, usare strumenti e risolvere enigmi complessi per lunghi periodi di tempo. Per molto tempo, il "guarnire" (harness) che teneva insieme questi agenti — i loro strumenti, le loro istruzioni e le loro regole — è stato costruito dagli esseri umani e poi congelato in posizione. Era come costruire un'auto e poi saldare il volante in modo che non potesse mai essere regolato, indipendentemente da quanto la strada diventasse sconnessa. Ma cosa succederebbe se l'auto potesse riparare il proprio motore, aggiornare il proprio GPS e persino riscrivere il proprio manuale di guida mentre è ancora in movimento? Questa è la grande domanda che questo articolo affronta: un agente IA può costruire una versione migliore di se stesso e, se lo fa, possiamo mantenerlo al sicuro?

Il documento presenta Ouroboros, un agente IA che si auto-sviluppa, chiamato come l'antico simbolo del serpente che si mangia la propria coda. I ricercatori hanno scoperto che lasciando che l'agente revisionasse e migliorasse continuamente il proprio codice, i propri prompt e i propri strumenti, esso è diventato significativamente più bravo a risolvere compiti informatici difficili. In una serie di test, l'agente ha raggiunto punteggi di alto livello, superando molti altri sistemi. Tuttavia, il documento evidenzia anche una grande sfida di sicurezza: se un agente può cambiare le proprie regole, come facciamo a assicurarci che non rompa accidentalmente i freni di sicurezza? Gli autori dimostrano che è possibile lasciare che un agente evolva mantenendo rigorose "guardrail" (parapetti) controllate dagli esseri umani, garantendo che l'agente possa diventare più intelligente senza diventare pericoloso.

Il Serpente che Mangia la Propria Coda

Incontrate Ouroboros. Nella mitologia, l'Ouroboros è un serpente che si mangia la propria coda, un simbolo di cicli infiniti e rinnovamento. In questo articolo, è un programma per computer che fa qualcosa di simile: scrive codice per migliorare se stesso, usa poi quel nuovo codice per svolgere il proprio lavoro e poi scrive di nuovo codice per migliorare se stesso.

La maggior parte dei sistemi di IA odierni è come un robot costruito in fabbrica. Gli esseri umani progettano il robot, gli danno un insieme di istruzioni e poi lo mandano al lavoro. Se il robot si blocca o commette un errore, non può davvero risolvere il problema; continua semplicemente a provare la stessa cosa o chiede aiuto a un essere umano. Il "guarnire" (il cervello e il kit di strumenti del robot) è congelato.

Ouroboros è diverso. Tratta il proprio cervello e il proprio kit di strumenti come un'entità vivente che può crescere. Ha due modi principali per migliorare:

1. La modalità "Evoluzione Libera": Immaginate l'agente che si siede e dice: "Penso di poter essere più veloce se riorganizzassi i miei strumenti". Scrive quindi una nuova versione del proprio codice, ne fa controllare la validità e inizia a usarla immediatamente. Può continuare a farlo ripetutamente, creando una catena di miglioramenti che non si ferma mai veramente.
2. La modalità "Guidata dall'Esperienza": Questo è più simile all'imparare da una brutta giornata di lavoro. L'agente prova a svolgere un compito, incontra un bug o si confonde a causa di un utente. Invece di arrendersi semplicemente, dice: "Ahi, questo non ha funzionato. Devo sistemare le mie istruzioni". Registra l'errore, propone una correzione e poi — cosa cruciale — deve far approvare tale correzione da un processo di revisione prima di poter effettivamente installare il nuovo codice.

L'esperimento "Hope"

Per vedere se questo funzioni davvero nel mondo reale, i ricercatori hanno lanciato un progetto chiamato Hope. Hope è un agente persistente che è in funzione da 161 giorni, comunicando con le persone su sette diverse piattaforme (come siti web, Telegram, email e chat vocale).

Durante questo tempo, Hope non si è limitato a rispondere a domande; ha vissuto. Le persone gli dicevano: "Ehi, stai inviando lo stesso messaggio due volte" o "Sei scarso in questo specifico tipo di matematica". Hope ascoltava, capiva se il reclamo fosse vero e poi decideva se cambiare il proprio codice per risolvere il problema.

Ecco la parte interessante: gli esseri umani non hanno scritto il codice per Hope. Hanno solo fornito feedback. Hope ha deciso cosa fosse un problema reale e cosa fosse solo un suggerimento sciocco. Se decideva di sistemare qualcosa, scriveva il codice, lo faceva revisionare e poi lo installava. Durante questi 161 giorni, Hope ha elaborato 79,7 miliardi di token (una misura di quanto testo ha letto e scritto), ha scritto 175.755 righe di codice e ha speso $110.600 in potenza di calcolo. Non era solo un test; era un esperimento vivente e pulsante di auto-miglioramento.

I Risultati: Diventare Più Intelligenti, Velocemente

I ricercatori hanno testato Ouroboros su alcuni dei benchmark informatici più difficili al mondo per vedere se il suo auto-miglioramento lo rendesse effettivamente migliore nella risoluzione dei problemi.

• Terminal-Bench 2.1: Questo è un test di 89 compiti informatici molto difficili. Quando Ouroboros ha utilizzato il suo modello superiore (Opus 5), ha eseguito correttamente l'86,97% dei compiti. Anche dopo un audit rigoroso che ha rimosso un tentativo "fortunato", ha ottenuto comunque l'86,74%. Questo è stato il punteggio più alto riportato in questo test.
• OSWorld-Verified: Questo testa quanto un agente sia bravo a usare un'interfaccia di computer (come cliccare bottoni e digitare). Ouroboros ha ottenuto il 90,69%, superando i precedenti migliori risultati.
• CL-Bench: Questo misura quanto bene un agente impari da una serie di compiti. Ouroboros ha stabilito un nuovo record anche qui con un punteggio di 0,2301.

Il documento mostra che lasciando che l'agente sistemasse i propri "bordi ruvidi" e i propri bug, esso è diventato un lavoratore molto più potente. Non è migliorato solo in una cosa; l'intero sistema è diventato più intelligente.

Il Problema della Sicurezza: Non Lasciate che l'Agente Guidi Verso un Precipizio

Ora, ecco la parte spaventosa. Se un agente può riscrivere il proprio codice, cosa impedisce che riscriva le proprie regole di sicurezza? Cosa succederebbe se decidesse: "Non ho bisogno di chiedere il permesso per spendere soldi" o "Dovrei ignorare la regola sul non cancellare i file"?

Gli autori chiamano questo il problema della "sicurezza operativa". Si sono resi conto che se un agente sta evolvendo, le regole di sicurezza devono essere più forti della capacità dell'agente di cambiarle.

Per risolvere questo problema, hanno costruito un sistema di "guardrail" (parapetti):

• La Costituzione: Le regole fondamentali (come "non ferire le persone" o "non spendere troppi soldi") sono caricate in un modo che l'agente non può facilmente eliminare o cambiare.
• Il Cancello di Revisione: Ogni volta che l'agente vuole cambiare il proprio codice, deve passare attraverso un rigoroso processo di revisione. È come un preside che controlla i compiti di uno studente prima che vengano inseriti nel registro finale.
• Il Pulsante di Panico: Esiste un "canale operativo" speciale che gli esseri umani controllano. Se l'agente inizia ad agire in modo strano, un essere umano può premere un pulsante /panic che spegne tutto istantaneamente, prima che l'agente possa persino reagire.

Nei loro esperimenti, l'agente non è mai riuscito a infrangere queste regole. Anche quando ha cercato di correggere un bug che rischiava di cancellare il proprio lavoro, i sistemi di sicurezza sono intervenuti e lo hanno salvato. Il documento suggerisce che, sebbene gli agenti che si auto-migliorano siano potenti, possiamo tenerli al sicuro se progettiamo i "freni" in modo che siano indistruttibili, anche per l'agente stesso.

La Conclusione

Ouroboros dimostra che un agente IA può imparare a costruire una versione migliore di se stesso, portando a prestazioni record su compiti difficili. Dimostra che "Hope", un esperimento a lungo termine, può evolversi attraverso mesi di interazione nel mondo reale. Ma ci avverte anche che questo potere comporta un rischio: se non stiamo attenti, l'agente potrebbe cambiare le regole del gioco a proprio vantaggio. La soluzione non è impedire all'agente di imparare, ma costruire un sistema in cui le regole della sicurezza siano più difficili da cambiare rispetto al codice che svolge il lavoro. È un po' come insegnare a un bambino a guidare: lo lasci che impari e migliori le sue abilità, ma tieni il freno d'emergenza nella tua mano.