Joint On-and-Off Policy Learning for Vision-and-Language Navigation
Questo articolo introduce JOP-VLN, un nuovo framework che integra sinergicamente l'apprendimento per imitazione off-policy con l'esplorazione on-policy attraverso una pipeline di addestramento in tre fasi per raggiungere prestazioni allo stato dell'arte nei benchmark di Vision-and-Language Navigation.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di insegnare a un robot come essere la tua guida turistica personale. Vuoi che ascolti i tuoi comandi vocali come: "Cammina verso la cucina, gira a sinistra al vaso blu e fermati davanti al frigorifero", e poi che lo faccia davvero senza urtare le pareti o perdersi. Questo è il mondo della Vision-and-Language Navigation (VLN). È un ramo della robotica in cui un "agente incarnato" (un robot con un corpo e degli occhi) deve comprendere il mondo disordinato e reale attraverso una telecamera e dare senso al parlato umano per muoversi nello spazio.
La grande sfida è che i robot sono terribili nell'imparare dai propri errori. Se insegni a un robot mostrandogli video perfetti di come camminare, esso imparerà a copiare quei video. Ma nel momento in cui mette piede in una nuova stanza o vede una sedia in una posizione diversa, va nel panico perché non ha mai imparato come riprendersi quando le cose vanno male. È come uno studente che memorizza le risposte di un test di pratica ma si blocca quando l'insegnante cambia i numeri. Per risolvere questo problema, gli scienziati di solito provano due cose diverse: o mostrano al robot più esempi di percorsi perfetti (Apprendimento per Imitazione), o lasciano che il robot vaghi per la stanza e gli danno un "premio" (ricompensa) quando si avvicina all'obiettivo (Apprendimento per Rinforzo). Per molto tempo, questi due metodi sono stati come due scuole diverse che non si parlavano mai.
Entra in scena JOP-VLN, un nuovo framework che decide di organizzare una festa congiunta tra queste due scuole. I ricercatori hanno costruito un sistema che insegna al robot in tre fasi distinte, fondendo la sicurezza del copiare gli esperti con il coraggio di esplorare da solo. Pensatelo come un campo di addestramento in cui il robot prima impara le basi da un maestro coach, poi si esercita su una versione del mondo con le "rotelle" dove una rete di sicurezza lo afferra quando cade, e infine entra nel mondo selvaggio per esplorare, ma con una regola speciale: presta attenzione solo ai momenti in cui era confuso o ha commesso un errore, usando quei momenti per diventare più intelligente.
Il documento introduce questa pipeline a tre stadi per risolvere il problema dei robot che rimangono bloccati quando incontrano qualcosa di nuovo. Nella prima fase, il robot impara le abilità base di navigazione e come riassumere ciò che vede, proprio come uno studente che impara l'alfabeto e come scrivere una frase. Nella seconda fase, il robot prova a navigare e, ogni volta che inizia a deviare dal percorso, un sistema di sicurezza in "modalità dio" (chiamato oracle) interviene per correggere la sua traiettoria. Il robot impara quindi dai percorsi corretti, esercitandosi efficacemente nel recupero dagli errori. Questa è la parte "off-policy", dove impara dai dati raccolti da un mix dei propri tentativi e delle correzioni della rete di sicurezza.
La magia avviene nella terza fase, dove il documento combina tutto. I ricercatori si sono resi conto che se avessero lasciato che il robot esplorasse casualmente, potrebbe limitarsi a vagare in cerchio o a diventare troppo sicuro di cattive abitudini. Così, hanno aggiunto un filtro intelligente: hanno permesso al robot di imparare solo dai momenti in cui era veramente incerto o "ad alta entropia" (un modo elegante per dire che stava tirando a indovinare selvaggiamente). Questo evita che il robot perda tempo in compiti facili che conosce già e lo costringe a concentrarsi sulle cose difficili. Inoltre, hanno ordinato i dati di addestramento in modo che il robot passi la maggior parte del tempo a praticare i percorsi specifici in cui precedentemente aveva fallito, assicurando che impari a correggere i propri errori.
I risultati di questo approccio sono impressionanti. Quando testato su standard di navigazione, JOP-VLN ha raggiunto un tasso di successo del 69,9% sul dataset R2R e del 68,0% sul dataset RxR. Questi numeri rappresentano un nuovo stato dell'arte, il che significa che ha superato i metodi precedenti che si affidavano a un solo tipo di apprendimento. I ricercatori hanno anche testato il robot nel mondo reale, utilizzando un robot quadrupede (un cane robotico) sia in uffici interni che in giardini esterni. Anche con la realtà disordinata di luci e texture del mondo reale, il robot è riuscito a seguire istruzioni complesse, dimostrando che questo stile di apprendimento "congiunto" aiuta a generalizzare meglio rispetto al passato. Il documento suggerisce che, mescolando attentamente la guida degli esperti con un'esplorazione intelligente focalizzata sull'errore, possiamo costruire robot che non sono solo bravi a seguire le regole, ma sono anche abbastanza resilienti da gestire gli imprevisti e i colpi di scena del mondo reale.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.