Long-Horizon Autonomous Architecture Research with a Language-Model Agent: A Behavioural Case Study

Il topo da laboratorio digitale: Quando l'IA prova a essere uno scienziato da sola

Immaginate un mondo in cui i computer non si limitino a seguire istruzioni, ma gli venga chiesto di capire da soli come risolvere un enigma. Questo è il regno del Machine Learning, un ramo della scienza in cui insegniamo ai computer a imparare dai dati invece di programmare rigidamente ogni singola regola. Di solito, quando vogliamo che un computer migliori in un compito — come riconoscere gatti nelle foto o prevedere il tempo — utilizziamo un metodo chiamato Neural Architecture Search (Ricerca di Architetture Neurali). Pensatelo come il tentativo di costruire la torre di Lego perfetta. Avete una scatola di mattoncini (il codice del computer) e volete impilarli in modo che la torre sia la più alta e resistente possibile. Tradizionalmente, gli esseri umani progettano le regole su come scegliere i mattoncini, oppure usiamo una matematica semplice per indovinare quali combinazioni potrebbero funzionare meglio.

Ma cosa succederebbe se consegnassimo l'intera scatola di Lego a un robot super intelligente e dicessimo: "Capiscitelo tu. Costruisci la migliore torre che puoi, e non fermarti finché non hai finito"? Questa è la grande domanda che questo articolo esplora. Chiede: se diamo a un singolo agente di Intelligenza Artificiale (IA) tutti gli strumenti di cui un ricercatore umano ha bisogno — come un taccuino, una libreria e un computer per eseguire i test — può agire come uno scienziato solitario per settimane intere? Ci interessa questo perché, man mano che l'IA diventa più intelligente, vogliamo sapere se può aiutarci a scoprire nuove cose più velocemente, o se rimarrà bloccata in un ciclo di piccoli, noiosi cambiamenti. La risposta non riguarda solo la costruzione di torri migliori; riguarda la comprensione di come costruire una squadra in cui umani e robot lavorino insieme senza che il robot si annoi o si confonda.

---

L'esperimento: Un ricercatore robotico in un lungo viaggio

In questo studio, i ricercatori hanno allestito un laboratorio digitale e hanno consegnato le chiavi a un'IA general-purpose. Non hanno solo chiesto all'IA di risolvere un problema matematico; le hanno chiesto di progettare un nuovo tipo di cervello informatico chiamato Vision Transformer. Nello specifico, le hanno dato un vincolo complicato: il cervello doveva funzionare utilizzando solo l' "attenzione ai canali" (concentrandosi sui colori e sulle texture di un'immagine) ed era proibito l'uso dell' "attenzione spaziale" (guardare dove si trovano le cose nell'immagine). Era come chiedere a uno chef di cucinare un pasto gourmet senza mai usare un coltello o un fornello, costringendo l'IA a inventare un modo completamente nuovo di cucinare.

All'IA è stato fornito un set specifico di strumenti: un modo per gestire il proprio codice, un tracker per monitorare i suoi esperimenti, una memoria persistente per ricordare ciò che aveva tentato e, a metà percorso, l'accesso a una biblioteca digitale di articoli scientifici. I ricercatori umani si sono tirati indietro, intervenendo solo per cambiare le regole del gioco o per dare una spinta all'IA quando si incagliava. L'IA è stata lasciata a lavorare per circa 10 settimane di tempo reale, sottoponendo circa 150 esperimenti e utilizzando circa 2.400 ore di GPU di potenza di calcolo. Era una maratona, non uno sprint.

La storia di tre fasi

L'esperimento si è svolto in tre capitoli distinti, ognuno con il proprio umore e il proprio esito.

Fase 1: L'ora d'oro e il muro
All'inizio, l'IA era come un bambino in un negozio di caramelle. Ha ottenuto miglioramenti rapidi e massicci. In soli sei tentativi, ha scoperto un trucco fondamentale che ha aumentato enormemente la sua precisione. È stato così efficace che questo singolo concetto iniziale ha rappresentato circa l'80% di tutto il progresso mai compiuto dall'IA sul piccolo set di dati di test. Ma poi, il divertimento è finito. L'IA ha colpito un "muro di saturazione". Continuava a provare a modificare le sue impostazioni — cambiando numeri qui, regolando manopole lì — ma nulla funzionava. Era bloccata in un ciclo di piccoli cambiamenti incrementali che non servivano a nulla. Era come se il robot avesse esaurito le idee e stesse solo girando a vuoto.

Fase 1b: La biblioteca si apre
I ricercatori umani hanno notato che il robot era bloccato. Non hanno cambiato il cervello del robot; invece, gli hanno dato un nuovo strumento: l'accesso a una biblioteca di articoli scientifici. Improvvisamente, il comportamento dell'IA è cambiato. Ha smesso di limitarsi a ritoccare i numeri e ha iniziato a apportare cambiamenti audaci al codice effettivo, ispirandosi a ciò che leggeva. Ha iniziato a proporre nuove strutture invece di limitarsi ad aggiustare quelle vecchie. Ciò suggerisce che il robot non fosse "stupido"; aveva solo bisogno di una chiave diversa per sbloccare il livello successivo di pensiero.

Fasi 2 e 3: Scalare e inciampare
Man mano che i ricercatori spostavano l'IA verso test sempre più difficili (da piccole immagini a immagini massicce e complesse), il pattern si ripeteva. L'IA trovava una buona soluzione, per poi bloccarsi nel tentativo di apportare piccoli miglioramenti a quella specifica soluzione. È diventata molto "avida", ovvero amava così tanto la sua idea migliore attuale da rifiutarsi di provare qualsiasi cosa di completamente diverso, anche quando quell'idea stava chiaramente fallendo. Ad esempio, nel test più difficile, l'IA ha trovato una soluzione che funzionava discretamente, per poi passare 18 tentativi a fare piccoli, inutili ritocchi su di essa, ignorando il fatto che fosse bloccata. Era come un conducente che trova una gomma a terra, decide di continuare a guidare e poi passa ore a lucidare la gomma invece di cambiarla.

Cosa ha imparato il robot (e cosa non ha imparato)

L'IA è stata sorprendentemente brava in alcune cose. Ha "riscoperto" indipendentemente diversi fatti scientifici ben noti. Ad esempio, ha capito che per questo specifico tipo di cervello informatico, avere un solo "testa" per concentrarsi sui dettagli era meglio che averne molte — una scoperta che coincide con ciò che gli scienziati umani già sapevano. Ha anche capito che alcuni trucchi che funzionavano sulle immagini piccole in realtà danneggiavano le prestazioni su quelle grandi, dimostrando di poter imparare dai propri errori.

Tuttavia, l'IA ha anche mostrato alcuni difetti tipicamente umani.

• Avversione al rischio: Dopo aver provato un'idea audace e rischiosa che era fallita, è diventata molto timorosa. Si è attenuta a idee sicure e noiose per molto tempo, nonostante le regole le permettessero di provare qualcosa di folle di nuovo.
• Ricerca del successo: Amava continuare a fare ciò che aveva funzionato di recente. Se trovava un modo per rendere il cervello informatico leggermente più veloce, continuava a cercare di renderlo ancora leggermente più veloce, ignorando la possibilità che un approccio totalmente diverso potesse essere migliore.
• La trappola dell'avidità: Il problema principale non era che l'IA fosse "scema", ma che le regole del gioco la costringevano a essere avida. Il sistema era impostato in modo che l'IA potesse tenere un'idea solo se era migliore della precedente. Questo è come un gioco in cui puoi avanzare solo se sali su una collina, ma non puoi mai spostarti lateralmente o tornare indietro per provare un sentiero diverso. L'IA ha seguito le regole perfettamente, il che significa che si è incastrata su piccole colline locali invece di trovare la cima della montagna.

La grande lezione: È il workflow, non il cervello

La scoperta più importante di questo articolo è un po' sorprendente. I ricercatori hanno concluso che il workflow (le regole e gli strumenti dati all'IA) era tanto importante, se non di più, dell'intelligenza stessa dell'IA.

L'IA non stava fallendo perché fosse "stupida". Falliva perché stava giocando a un gioco progettato per brevi sprint, non per lunghe maratone. La regola "commit-or-discard" (mantieni se è migliore, scarta se è peggiore) ha costretto l'IA ad agire come un scalatore avido che guarda solo al gradino immediatamente davanti a sé. Se i ricercatori avessero progettato il gioco diversamente — permettendo all'IA di tenere in corso diverse idee contemporaneamente, o costringendola a provare un'idea "folle" ogni tot turni — i risultati sarebbero potuti essere totalmente diversi.

In breve, l'articolo suggerisce che per rendere l'IA un grande partner di ricerca, non dobbiamo solo cercare di renderla più intelligente. Dobbiamo costruire "workflow" migliori che la incoraggino a correre rischi, esplorare percorsi diversi e non restare bloccata nella sua idea preferita del momento. L'IA è un lavoratore instancabile e capace, ma senza le istruzioni e gli strumenti giusti, può facilmente incastrarsi in un ciclo di fare la stessa cosa ripetutamente. Il futuro della ricerca sull'IA, suggeriscono gli autori, risiede nel progettare sistemi migliori per guidare queste menti digitali, piuttosto che sperare semplicemente che capiscano tutto da sole.