Privileged observations enable rapid and reliable policy discovery directly in the physical world
Questo articolo dimostra che le osservazioni privilegiate di un sistema fisico caotico sono decisive per consentire agli agenti di apprendimento per rinforzo di scoprire rapidamente politiche ad alte prestazioni direttamente nel mondo reale, poiché gli agenti privi di tali dati di flusso non sono riusciti ad apprendere strategie che aumentano la resistenza, nonostante abbiano appreso con successo quelle che la riducono.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un nuotatore che cerca di muoversi nell'acqua. Se potesse vedere le correnti che vorticano intorno a lui, potrebbe imparare a torcere il corpo in un modo che taglia la resistenza, o forse in un modo che cattura l'acqua per spingerlo in avanti. Questa è l'essenza del controllo attivo del flusso: un campo in cui gli ingegneri cercano di manipolare il movimento invisibile e caotico dei fluidi per migliorare il modo in cui gli oggetti si muovono o restano fermi. Per decenni, gli scienziati hanno saputo che far ruotare un cilindro in una corrente può cambiare quanto l'acqua lo spinge contro. A volte, una rotazione costante riduce la resistenza, lasciando che l'oggetto scivoli più facilmente. Altre volte, una rotazione ritmica specifica può effettivamente aumentare la resistenza, trattenendo l'oggetto. La sfida è sempre stata capire l'esatto tempo e la velocità di quella rotazione per ottenere il miglior risultato, specialmente perché il flusso dell'acqua è caotico e difficile da prevedere.
Di solito, quando gli ingegneri vogliono insegnare a un computer come controllare un tale sistema, costruiscono un modello virtuale dell'acqua e lasciano che il computer si eserciti lì. Ma i modelli virtuali non sono mai perfetti; perdono i dettagli minuscoli e disordinati dell'acqua reale. Così, un team di ricercatori dell'ETH di Zurigo ha deciso di saltare completamente la simulazione. Hanno costruito un canale d'acqua fisico e hanno insegnato a un agente informatico come apprendere direttamente dalla vera acqua in movimento. La domanda che si sono posti era semplice ma profonda: per imparare il modo migliore di controllare l'acqua, il computer ha bisogno di vedere l'acqua che vortica attorno all'oggetto mentre sta imparando? O può capirlo semplicemente sentendo la spinta e il tiro sull'oggetto stesso?
I ricercatori hanno allestito un canale d'acqua da tavolo, una vasca trasparente in cui l'acqua circola in un ciclo. All'interno, un cilindro si trova nel flusso e un motore può farlo ruotare a qualsiasi velocità o direzione. Per misurare quanto l'acqua stia spingendo contro il cilindro, hanno utilizzato un sensore di coppia sensibile. Per vedere l'acqua, hanno utilizzato una tecnica chiamata velocità di immagine delle particelle (particle image velocimetry). Questa consiste nel proiettare un foglio laser attraverso l'acqua, che contiene minuscole particelle galleggianti, e scattare foto rapide. Tracciando il modo in cui quelle particelle si muovono tra una foto e l'altra, un computer può costruire una mappa dettagliata e in tempo reale della velocità e della direzione dell'acqua proprio dietro il cilindro. Questa mappa è l'osservazione privilegiata: informazioni extra che il computer può vedere durante l'addestramento, ma di cui potrebbe non avere bisogno in seguito.
Hanno addestrato un agente di apprendimento general-purpose, un tipo di intelligenza artificiale, per controllare il cilindro. In un set di esperimenti, l'agente riceveva sia la sensazione della resistenza che la mappa dettagliata del flusso d'acqua. In un altro set, l'agente riceveva solo la sensazione della resistenza, con la mappa dell'acqua nascosta. L'obiettivo era duplice: prima, trovare un modo per far ruotare il cilindro in modo da ridurre la resistenza il più possibile, e secondo, trovare un modo per farlo ruotare in modo da aumentare la resistenza il più possibile.
I risultati sono stati sorprendenti e hanno rivelato un'asimmetria sorprendente. Quando l'agente aveva accesso alla mappa dettagliata del flusso d'acqua, imparava incredibilmente velocemente. In pochi minuti di interazione con l'acqua reale, ha scoperto una strategia per ridurre la resistenza di circa il 32 percento. Ha anche trovato rapidamente una strategia per aumentare la resistenza di circa il 25 percento. Questi numeri eguagliavano o addirittura superavano leggermente le prestazioni delle migliori strategie progettate dagli esseri umani, sviluppate in decenni di studio.
Tuttamente, quando i ricercatori hanno nascosto la mappa dell'acqua e hanno costretto l'agente ad apprendere utilizzando solo la misurazione della resistenza, la storia è cambiata completamente. L'agente era ancora in grado di imparare come ridurre la resistenza, raggiungendo infine una riduzione di circa il 31 percento. Solo che ci metteva un po' più di tempo ed era un po' più variabile. Ma quando l'obiettivo era aumentare la resistenza, l'agente ha fallito. Senza vedere il flusso dell'acqua, nessuna delle sessioni di addestramento è riuscita a imparare una strategia che aumentasse significativamente la resistenza. L'agente non riusciva a capire come far spingere di più l'acqua, anche se la migliore strategia possibile esisteva ed era fisicamente realizzabile.
Per capire perché ciò fosse accaduto, i ricercatori hanno osservato attentamente cosa stava facendo l'acqua. Hanno scoperto che ogni volta che il cilindro iniziava a ruotare, l'acqua quasi sempre reagiva spingendo meno contro il cilindro, indipendentemente dal fatto che l'obiettivo fosse spingere di più o di meno. Questo calo iniziale della resistenza è una risposta fisica naturale. Per l'agente che cercava di ridurre la resistenza, questo calo iniziale era un segnale utile che lo indicava sulla strada giusta. Ma per l'agente che cercava di aumentare la resistenza, questo calo iniziale era confusionario; sembrava l'opposto di ciò che voleva ottenere. Senza la mappa dettagliata dell'acqua per vedere il quadro generale e capire che la resistenza sarebbe infine aumentata, l'agente rimaneva bloccato in quel calo iniziale e non imparava mai la strategia corretta.
I ricercatori hanno poi testato se le strategie apprese dall'agente con la mappa dell'acqua potessero essere utilizzate senza di essa. Hanno registrato esattamente i pattern di rotazione utilizzati dall'agente quando aveva la mappa e poi hanno riprodotto quegli stessi pattern come sequenze fisse, senza nuove osservazioni. Sorprendentemente, queste sequenze fisse funzionavano altrettanto bene quanto l'agente vivente e pensante. L'agente aveva appreso un insieme specifico di movimenti che funzionavano così bene da non aver bisogno di continuare a guardare l'acqua per eseguirli. Ciò dimostra che la mappa dell'acqua non era necessaria per eseguire il compito, ma era assolutamente essenziale per scoprire il compito.
Questa scoperta evidenzia una distinzione cruciale nell'apprendimento: ciò di cui hai bisogno per trovare una soluzione è spesso diverso da ciò di cui hai bisogno per usarla. In questo caso, la visione ricca e dettagliata del flusso dell'acqua ha agito come un insegnante, guidando l'agente attraverso le reazioni iniziali confuse del fluido. Una volta che l'agente ha trovato la strada giusta, poteva percorrerla bendato. Lo studio suggerisce che in sistemi fisici complessi, avere accesso a informazioni extra durante la fase di apprendimento può essere il fattore decisivo tra il successo e il fallimento, anche se tali informazioni non sono disponibili quando il sistema è effettivamente in funzione. Dimostra che affinché l'intelligenza artificiale possa padroneggiare il mondo reale, caotico e disordinato, potrebbe aver bisogno di essere autorizzata a vedere più di quanto le sarà mai permesso di usare.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.