Riepilogo Tecnico: Scoperta Gerarchica di Abilità Non Supervisionata (HiSD)

Enunciato del Problema

Il documento affronta la sfida della segmentazione delle abilità non supervisionata e della scoperta di strutture gerarchiche nell'apprendimento per rinforzo (RL). Mentre la pianificazione umana opera in modo gerarchico—ragionando in termini di obiettivi e sottocompiti piuttosto che di azioni primitive—gli attuali agenti RL in ambienti ad alta dimensionalità (ad esempio, Minecraft) faticano a imparare tali strutture in modo efficiente.

Gli approcci esistenti alla scoperta delle abilità si basano tipicamente su una forte supervisione, come:

• Etichette delle azioni: Richiedendo l'accesso alle azioni specifiche compiute da un agente.
• Segnali di ricompensa: Basandosi su strutture di ricompensa dense o sparse per definire i confini delle abilità.
• Annotazioni manuali: Richiedendo competenze umane per definire le decomposizioni dei compiti (ad esempio, Reti di Compiti Gerarchici).

Queste dipendenze limitano la scalabilità, in particolare quando si tratta di abbondanti dati video non etichettati dove azioni, ricompense o segmentazioni veritiere non sono disponibili. Inoltre, molti metodi esistenti producono segmentazioni "piatte" piuttosto che gerarchie composizionali profonde, necessarie per compiti complessi a lungo orizzonte.

Metodologia: Scoperta Gerarchica di Abilità (HiSD)

Gli autori propongono HiSD, un framework completamente non supervisionato che estrae gerarchie di abilità riutilizzabili a più livelli puramente da dati osservativi (sequenze di pixel grezzi o caratteristiche). Il metodo disaccoppia la scoperta della struttura dall'esecuzione della politica e opera in due fasi distinte:

1. Identificazione Non Supervisionata delle Abilità (Segmentazione)

La prima fase converte le traiettorie di osservazione continue in sequenze discrete di abilità latenti.

• Input: Traiettorie di osservazione non etichettate $T = (X_1, \dots, X_n)$, dove $X$ rappresenta vettori di caratteristiche (ad esempio, pixel ridotti tramite PCA o embedding CLIP).
• Algoritmo: Il framework utilizza la Segmentazione Temporale delle Azioni (TAS) tramite l'approccio ASOT (Trasporto Ottimo Non Bilanciato).
• Meccanismo: ASOT formula la segmentazione come un problema di trasporto ottimo. Minimizza un obiettivo regolarizzato che bilancia:
  • Costo di Corrispondenza Visiva: Dissimilarità tra le caratteristiche delle osservazioni e i prototipi delle abilità latenti.
  • Regolarità Temporale: Imposta tramite un componente Gromov-Wasserstein (GW) che penalizza il rapido cambio di etichette all'interno di un raggio temporale, garantendo una regolarità locale.
  • Penalità Marginale: Un termine di divergenza KL che consente distribuzioni di abilità non bilanciate (gestendo casi in cui alcune abilità sono rare).
• Output: Una sequenza di indici di abilità discreti $z_{1:n}$ che rappresentano unità comportamentali atomiche.

2. Astrazione Simbolica e Induzione Grammaticale (Scoperta della Struttura)

La seconda fase induce una struttura gerarchica sulle sequenze discrete di abilità.

• Costruzione del Corpus: I fotogrammi contigui che condividono la stessa etichetta di abilità vengono compressi in singoli simboli atomici. Tutte le sequenze degli episodi vengono concatenate in un corpus unificato, separate da un token di confine unico $\phi$.
• Algoritmo: Viene applicato un algoritmo Sequitur modificato al corpus. Sequitur è un algoritmo di induzione grammaticale a tempo lineare che inferisce una struttura gerarchica identificando pattern ricorrenti.
• Vincoli:
  • Unicità dei Digrammi: Nessuna coppia di simboli adiacenti appare più di una volta; le ripetizioni vengono sostituite da nuove regole non terminali.
  • Utilità della Regola: Le regole devono essere utilizzate almeno due volte per essere mantenute.
  • Protezione del Confine: Il token di confine $\phi$ è vietato nell'apparire nelle regole di produzione, garantendo che le subroutine apprese catturino comportamenti intra-episodici piuttosto che fondere la fine di un episodio con l'inizio di un altro.
• Output: Una Grammatica Libera dal Contesto (CFG) $G$ dove i nodi terminali sono abilità atomiche e i nodi interni rappresentano subroutine scoperte (ad esempio, "Raccogliere Legno" + "Costruire Banco da Lavoro").

Contributi Chiave

1. Framework Non Supervisionato: Introduzione di HiSD, che integra la segmentazione temporale delle azioni con l'induzione grammaticale per scoprire gerarchie a più livelli senza etichette di azione, ricompense o annotazioni manuali.
2. Pipeline Solo Osservativa: Un metodo adatto a dimostrazioni non etichettate, che disaccoppia la scoperta della struttura dall'esecuzione della politica e consente la scalabilità a grandi dati video.
3. Validazione Empirica: Dimostrazione di una qualità di segmentazione superiore e di una profondità di astrazione rispetto alle linee di base (CompILE, OMPN) in domini complessi.
4. Utilità a Valle: Una prova di concetto che mostra come le gerarchie scoperte accelerino e stabilizzino l'apprendimento in compiti RL a valle, anche quando sono disponibili solo un piccolo numero di dimostrazioni etichettate per l'ancoraggio della politica.

Risultati Sperimentali

Gli autori hanno valutato HiSD su due domini: Craftax (un ambiente 2D deterministico e completamente osservabile) e Minecraft (un ambiente stocastico, parzialmente osservabile e ad alta dimensionalità).

Linee di Base

I confronti sono stati effettuati contro CompILE e OMPN, ai quali sono state fornite ordinamenti veritieri dei sottocompiti ed etichette delle azioni per garantire che operassero nelle loro condizioni più favorevoli. HiSD ha richiesto solo il numero massimo di abilità $K$ come priori.

Prestazioni di Segmentazione delle Abilità

• Metriche: Media sui Fotogrammi (MoF), Punteggio F1 e media Intersezione su Unione (mIoU).
• Risultati: HiSD ha costantemente superato le linee di base, in particolare in compiti con maggiore complessità, stocasticità e orizzonti più lunghi.
  • In Craftax, HiSD ha ottenuto punteggi mIoU più elevati, raggruppando correttamente comportamenti percettivamente distinti ma semanticamente equivalenti (ad esempio, avvicinarsi al legno da angoli diversi) in singoli cluster di abilità.
  • In Minecraft, nonostante l'aliasing percettivo (ad esempio, camminare verso il legno o verso la pietra che appare identico nella vista in prima persona), il prior di coerenza temporale di HiSD ha consentito una segmentazione coerente dove le linee di base hanno fallito.

Qualità della Gerarchia

• Metriche: Alberi Unici (coerenza), Profondità Media, Dimensione dell'Albero e Fattori di Diramazione.
• Risultati:
  • HiSD ha prodotto decomposizioni più coerenti tra gli episodi (meno alberi unici) rispetto a OMPN, che spesso generava una gerarchia unica per ogni episodio.
  • Le gerarchie di HiSD erano generalmente più piccole e interpretabili, con fattori di diramazione più bassi, indicando una migliore identificazione di subroutine intermedie.
  • Nel compito rumoroso "All" di Minecraft, HiSD ha faticato a trovare una struttura coerente singola a causa della stocasticità ambientale, ma ha ottenuto risultati significativamente migliori nel compito "Mapped" (raggruppato semanticamente).

Implementazione RL a Valle

Gli autori hanno dimostrato l'utilità delle gerarchie scoperte addestrando agenti di alto livello utilizzando Ottimizzazione della Politica Prossimale Mascherabile (PPO) con le abilità scoperte come opzioni.

• Efficienza: Gli agenti che utilizzano le gerarchie HiSD hanno raggiunto ricompense quasi ottimali significativamente più velocemente (ad esempio, entro ~30k passi in Craftax) rispetto al PPO con azioni primitive (che ha fallito) e ad agenti con abilità piatte.
• Efficienza dei Dati: Gli agenti gerarchici hanno raggiunto alte prestazioni con soli 250 dimostrazioni etichettate per l'ancoraggio della politica, nonostante la scoperta iniziale delle abilità fosse completamente non supervisionata.

Significato e Affermazioni

Il documento afferma che HiSD offre una strada scalabile verso agenti generalisti capaci di apprendere da abbondanti dati non etichettati. Colmando il divario tra la segmentazione temporale delle azioni all'avanguardia e la compressione basata su grammatica, il metodo induce gerarchie a più livelli direttamente dalle traiettorie osservative grezze.

Gli autori sottolineano che:

• La struttura può essere recuperata puramente dalla coerenza temporale e dalla similarità visiva, senza necessità di supervisione delle azioni.
• Le gerarchie risultanti sono semanticamente significative e riutilizzabili, fornendo i necessari bias induttivi per l'assegnazione del credito temporale nei compiti RL a valle.
• L'approccio abbassa la barriera all'addestramento di agenti capaci rimuovendo la necessità di supervisione densa ed etichette delle azioni, facilitando una migliore interazione uomo-intelligenza artificiale attraverso strutture trasparenti e interpretabili.

Il lavoro è presentato come una prova di concetto, riconoscendo limitazioni come la natura deterministica dell'induzione grammaticale (che fatica con alto rumore) e la dipendenza da un priori fisso per il numero di abilità $K$. Tuttavia, i risultati suggeriscono che la scoperta di strutture non supervisionata è una strategia vitale ed efficace per ambienti complessi di apprendimento per rinforzo ad alta dimensionalità.