Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light
Questo articolo sostiene che la comunità della vita artificiale possa affrontare le critiche fondamentali ai principi cardine dell'apprendimento per rinforzo integrando la ricerca della novità a evoluzione aperta con teorie termodinamiche dell'agency per proporre un quadro biologicamente fedele che ridefinisca l'apprendimento come adattamento piuttosto che come ottimizzazione della ricompensa.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di insegnare a un robot come comportarsi come un essere vivente. Per decenni, la ricetta standard per farlo (chiamata Apprendimento per Rinforzo, o RL) si è basata su tre regole rigide, o "dogmi":
- Il mondo è un tabellone da gioco: L'ambiente è una griglia prevedibile dove ogni mossa porta a un risultato specifico.
- L'apprendimento è trovare il percorso migliore: Il robot impara cercando l'unica, perfetta soluzione a un problema, come trovare la via più breve per raggiungere un tesoro.
- L'obiettivo è un punteggio singolo: Il robot è guidato da un unico numero semplice (un punteggio di ricompensa). Vuole ottenere il numero più alto possibile, proprio come un giocatore di videogiochi che cerca di ottenere il punteggio massimo.
Gli autori di questo articolo, Mani Hamidi e Terrence Deacon, sostengono che queste tre regole siano troppo rigide. Dicono che la vita reale non è un videogioco con un unico punteggio elevato. Suggeriscono invece di guardare l'apprendimento attraverso la lente dell'evoluzione e della fisica per capire cosa significhi davvero essere un "agente" (un essere che agisce di propria iniziativa).
Ecco una semplice scomposizione del loro argomento usando analogie quotidiane:
1. L'apprendimento non è solo "Ricerca"; è "Esplorazione" (L'analogia del Giardino)
La vecchia visione dice che l'apprendimento è come un escursionista che cerca di raggiungere la vetta di una singola montagna (la soluzione migliore). Una volta raggiunta la vetta, ci si ferma.
Gli autori dicono che l'adattamento reale è più simile a un giardiniere che si prende cura di un giardino selvaggio e aperto.
- Il vecchio modo: Pianti solo fiori che crescono più in alto. Una volta ottenuto il fiore più alto, hai finito.
- Il nuovo modo: Non cerchi solo il fiore "migliore". Incoraggi diversi tipi di piante a crescere in angoli diversi del giardino in modo che non competano tra loro. Alcune piante potrebbero essere basse ma molto colorate; altre potrebbero essere alte ma rade.
- Perché è importante: Nel mondo reale, spesso non sai ancora quale sia la soluzione "migliore". Devi continuare a esplorare e a creare nuovi tipi di soluzioni (novità) piuttosto che perfezionare semplicemente una vecchia soluzione. Questo è chiamato "Ricerca della Novità a Apertura Infinita" (Open-Ended Novelty Search). Si tratta di creare un ecosistema diversificato di idee, non solo di trovare un unico vincitore.
2. Lo "Score" non funziona per gli esseri viventi (L'analogia del Multitasking)
La vecchia visione dice che un agente è guidato da un unico numero (come un punteggio in un gioco). Gli autori sostengono che questo sia impossibile per gli esseri viventi perché la vita è multitasking.
Immagina di essere un essere umano che cerca di sopravvivere. Non stai solo cercando di "massimizzare la felicità". Stai simultaneamente:
- Cercando di stare al caldo (termoregolazione).
- Cercando di mantenere corretti i livelli di sale (osmoregolazione).
- Cercando di trovare cibo.
- Cercando di evitare un predatore.
Questi sono tutti obiettivi diversi che a volte si scontrano. Se appare una tigre, il tuo obiettivo di "trovare cibo" diventa improvvisamente meno importante del tuo obiettivo di "scappare".
- Il problema: Non puoi comprimere tutti questi bisogni diversi e mutevoli in un unico numero (un premio scalare).
- La soluzione: Gli esseri viventi operano sulla omeostasi (mantenere l'equilibrio interno). Non stanno cercando di ottenere un punteggio alto; stanno cercando di mantenere il proprio "termostato" interno e il proprio "indicatore del carburante" entro un intervallo sicuro. La "ricompensa" non è un numero; è la sensazione di sollievo quando un bisogno viene soddisfatto.
3. Da dove vengono gli obiettivi? (L'analogia del "Chi ha costruito la casa?")
Se diciamo che un robot impara perché vuole massimizzare un punteggio, chi gli ha dato quel punteggio? Nell'IA attuale, un ingegnere umano scrive il codice. In biologia, diciamo che "l'evoluzione" ci ha dato i nostri obiettivi.
Ma gli autori si chiedono: da dove ha preso l'evoluzione i suoi obiettivi?
Sostengono che non si possa semplicemente dire "l'evoluzione" e fermarsi lì. L'evoluzione ha bisogno di qualcosa su cui lavorare. Ha bisogno di un sistema che possa copiare se stesso e rimanere in vita abbastanza a lungo da riprodursi.
- La Fisica della Vita: Prima di poter avere l'evoluzione, serve un sistema fisico che combatta la naturale tendenza delle cose a sfaldarsi (entropia). Pensa a un falò contro un batterio.
- Un falò brucia combustibile e crea ordine per un momento, ma poi si spegne semplicemente. Non cerca di restare in vita.
- Un batterio è una macchina che costruisce attivamente le proprie pareti e si ripara per continuare a bruciare combustibile. È un ciclo di "auto-persistenza".
- La grande intuizione: Gli autori sostengono che la vera agenzia (la capacità di agire per proprio conto) esiste solo quando un sistema è fisicamente costruito per mantenere se stesso contro le leggi della fisica. L'obiettivo non è un numero; l'obiettivo è semplicemente restare in vita.
La metafora del "Cricchetto"
L'articolo si conclude con un'immagine potente. Immagina un cricchetto (uno strumento che gira una vite in una direzione ma non permette di tornare indietro).
- La maggior parte delle teorie sull'apprendimento sono come una palla che rotola su una collina; può rotolare facilmente di nuovo verso il basso.
- Gli autori suggeriscono che la vera agenzia è come un cricchetto. È un sistema che costruisce se stesso, mantiene la sua forma contro il vento (la seconda legge della termodinamica) e poi trasmette quella forma alla generazione successiva.
Questo "cricchetto" è ciò che permette all'evoluzione di accadere in primo luogo. Senza un sistema capace di mantenersi unito, non c'è un "sé" che possa evolversi.
Riassunto
L'articolo sostiene che, per costruire macchine veramente intelligenti e autonome, dobbiamo smettere di pensare a loro come personaggi di un videogioco che inseguono un punteggio alto. Invece, dovremmo pensarle come sistemi viventi che:
- Esplorano molteplici possibilità diverse (non solo un unico percorso perfetto).
- Bilanciano molteplici bisogni interni (non solo un unico punteggio).
- Sono fisicamente costruiti per mantenere se stessi e riprodursi (combattendo la naturale tendenza a sfaldarsi).
Comprendendo la fisica di come un sistema resta in vita, possiamo finalmente capire da dove derivano realmente gli "obiettivi" e l' "apprendimento".
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.