Technische Samenvatting: Onbewaakte Hiërarchische Vaardigheidsontdekking (HiSD)

Probleemstelling

Het artikel behandelt de uitdaging van onbewaakte vaardigheidssegmentatie en hiërarchische structuurontdekking in versterkingsleren (RL). Waar menselijke planning hiërarchisch werkt—redenerend in termen van doelen en subtaken in plaats van primitieve acties—worstelen huidige RL-agenten in hoogdimensionale omgevingen (bijvoorbeeld Minecraft) om dergelijke structuren efficiënt te leren.

Bestaande benaderingen voor vaardigheidsontdekking vertrouwen doorgaans op sterke supervisie, zoals:

• Actielabels: Vereisen toegang tot de specifieke acties die door een agent zijn uitgevoerd.
• Beloningssignalen: Leunen op dichte of schaarse beloningsstructuren om vaardigheidsgrenzen te definiëren.
• Handgemaakte annotaties: Vereisen menselijke expertise om taakdecomposities te definiëren (bijvoorbeeld Hiërarchische Taaknetwerken).

Deze afhankelijkheden beperken de schaalbaarheid, vooral bij het omgaan met overvloedige ongelabelde videodata waarbij acties, beloningen of grondwahrheidssegmentaties niet beschikbaar zijn. Bovendien produceren veel bestaande methoden "platte" segmentaties in plaats van diepe, compositieve hiërarchieën die noodzakelijk zijn voor complexe taken op lange termijn.

Methodologie: Hiërarchische Vaardigheidsontdekking (HiSD)

De auteurs stellen HiSD voor, een volledig onbewaakt raamwerk dat herbruikbare, meerlagige vaardigheids hiërarchieën puur uit observationele data (ruwe pixel- of feature-sequenties) extrahert. De methode ontkoppelt structuurontdekking van beleidsuitvoering en werkt in twee distincte fasen:

1. Onbewaakte Vaardigheidsidentificatie (Segmentatie)

De eerste fase converteert continue observationele trajecten naar discrete sequenties van latente vaardigheden.

• Input: Ongelabelde observationele trajecten $T = (X_1, \dots, X_n)$, waarbij $X$ featurevectoren voorstelt (bijvoorbeeld PCA-gereduceerde pixels of CLIP-embeddings).
• Algoritme: Het raamwerk maakt gebruik van Temporal Action Segmentation (TAS) via de ASOT-benadering (Unbalanced Optimal Transport).
• Mechanisme: ASOT formuleert segmentatie als een optimaal transportprobleem. Het minimaliseert een geregulariseerde doelstelling die balans houdt tussen:
  • Visuele Matchkosten: Dissimilariteit tussen observationele features en latente vaardigheidsprototypen.
  • Temporele Regulariteit: Afgedwongen via een Gromov-Wasserstein (GW)-component die snelle labelwisselingen binnen een temporele straal bestraft, waardoor lokale gladheid wordt gewaarborgd.
  • Marginaal Straalterm: Een KL-divergentieterm die onbalans in vaardigheidsverdelingen toestaat (omgaan met gevallen waarin sommige vaardigheden zeldzaam zijn).
• Output: Een sequentie van discrete vaardigheidsindices $z_{1:n}$ die atomische gedragsunits voorstellen.

2. Symbolische Abstractie en Grammatica-inductie (Structuurontdekking)

De tweede fase induceert een hiërarchische structuur over de discrete vaardigheidssequenties.

• Corpusconstructie: Aaneengesloten frames met hetzelfde vaardigheidslabel worden samengevoegd tot enkele atomaire symbolen. Alle episode-sequenties worden samengevoegd tot een uniek corpus, gescheiden door een uniek grensteken $\phi$.
• Algoritme: Een gemodificeerd Sequitur-algoritme wordt toegepast op het corpus. Sequitur is een lineaire-tijd grammatica-inductiealgoritme dat hiërarchische structuur infereert door terugkerende patronen te identificeren.
• Beperkingen:
  • Digram-uniekheid: Geen enkel paar opeenvolgende symbolen komt meer dan één keer voor; herhalingen worden vervangen door nieuwe niet-terminale regels.
  • Regelbruikbaarheid: Regels moeten minstens twee keer worden gebruikt om behouden te blijven.
  • Grensbescherming: Het grensteken $\phi$ is verboden in productieregels, zodat geleerde subroutines gedragspatronen binnen een episode vastleggen in plaats van het einde van de ene episode te verenigen met het begin van de andere.
• Output: Een Context-Vrije Grammatica (CFG) $G$ waarbij terminale knopen atomaire vaardigheden zijn en interne knopen ontdekte subroutines voorstellen (bijvoorbeeld "Hout Ophalen" + "Werkbank Maken").

Belangrijkste Bijdragen

1. Onbewaakt Raamwerk: Introductie van HiSD, dat temporele actiesegmentatie integreert met grammatica-inductie om meerlagige hiërarchieën te ontdekken zonder actielabels, beloningen of handmatige annotaties.
2. Alleen Observationele Pipeline: Een methode geschikt voor ongelabelde demonstraties, die structuurontdekking ontkoppelt van beleidsuitvoering en schaalbaarheid naar grootschalige videodata mogelijk maakt.
3. Empirische Validatie: Aantonen van superieure segmentatiekwaliteit en abstractiediepte in vergelijking met baselines (CompILE, OMPN) in complexe domeinen.
4. Downstream Nut: Een bewijs van concept dat laat zien dat ontdekte hiërarchieën het leren versnellen en stabiliseren in downstream RL-taken, zelfs wanneer slechts een klein aantal actielabelde demonstraties beschikbaar is voor beleidsverankering.

Experimentele Resultaten

De auteurs evalueerden HiSD op twee domeinen: Craftax (een volledig waarneembare, deterministische 2D-omgeving) en Minecraft (een gedeeltelijk waarneembare, stochastische, hoogdimensionale omgeving).

Baselines

Vergelijkingen werden gemaakt met CompILE en OMPN, die grondwahrheids sub-taakordeningen en actielabels kregen om ervoor te zorgen dat ze onder hun meest gunstige omstandigheden opereerden. HiSD vereiste alleen het maximale aantal vaardigheden $K$ als prior.

Prestaties Vaardigheidssegmentatie

• Metingen: Mean-over-Frames (MoF), F1-score en mean Intersection-over-Union (mIoU).
• Vondsten: HiSD presteerde consequent beter dan baselines, met name in taken met hogere complexiteit, stochastiek en langere horizons.
  • In Craftax behaalde HiSD hogere mIoU-scores, waarbij perceptueel verschillende maar semantisch equivalente gedragingen (bijvoorbeeld naderen van hout vanuit verschillende hoeken) correct werden gegroepeerd in enkele vaardigheidsclusters.
  • In Minecraft, ondanks perceptuele aliasing (bijvoorbeeld lopen naar hout versus steen ziet er in het eerste-persoonsbeeld identiek uit), maakte HiSD's prior voor temporele consistentie coherente segmentatie mogelijk waar baselines faalden.

Kwaliteit Hiërarchie

• Metingen: Unieke Bomen (consistentie), Gemiddelde Diepte, Boomgrootte en Vertakkingsfactoren.
• Vondsten:
  • HiSD produceerde consistentere decomposities over episodes heen (minder unieke bomen) in vergelijking met OMPN, dat vaak een unieke hiërarchie genereerde voor elke episode.
  • HiSD-hiërarchieën waren over het algemeen kleiner en beter interpreteerbaar, met lagere vertakkingsfactoren, wat wijst op betere identificatie van intermediaire subroutines.
  • In de ruizige "All" Minecraft-taak had HiSD moeite om een enkele consistente structuur te vinden vanwege omgevingsstochastiek, maar presteerde het aanzienlijk beter in de "Mapped" (semantisch gegroepeerde) taak.

Downstream RL-Implementatie

De auteurs demonstreerden het nut van de ontdekte hiërarchieën door hoge-niveau agenten te trainen met Maskable Proximal Policy Optimization (PPO) met de ontdekte vaardigheden als opties.

• Efficiëntie: Agenten die HiSD-hiërarchieën gebruikten bereikten bijna optimale beloningen aanzienlijk sneller (bijvoorbeeld binnen ~30k stappen in Craftax) in vergelijking met primitief-actie PPO (dat faalde) en platte vaardigheidsagenten.
• Data-efficiëntie: De hiërarchische agenten behaalden hoge prestaties met slechts 250 actielabelde demonstraties voor beleidsverankering, ondanks dat de initiële vaardigheidsontdekking volledig onbewaakt was.

Betekenis en Aanspraken

Het artikel beweert dat HiSD een schaalbare weg biedt naar generalistische agenten die kunnen leren van overvloedige, ongelabelde data. Door state-of-the-art temporele actiesegmentatie te verbinden met grammatica-gebaseerde compressie, induceert de methode meerlagige hiërarchieën direct vanuit ruwe observationele trajecten.

De auteurs benadrukken dat:

• Structuur puur kan worden hersteld uit temporele coherentie en visuele gelijkenis, zonder actie-supervisie.
• De resulterende hiërarchieën semantisch betekenisvol en herbruikbaar zijn, en de nodige inductieve bias bieden voor temporele krediettoewijzing in downstream RL.
• De aanpak de drempel verlaagt voor het trainen van capabele agenten door de noodzaak van dichte supervisie en actielabels te verwijderen, waardoor betere mens-AI-interactie wordt vergemakkelijkt via transparante, interpreteerbare structuren.

Het werk wordt gepresenteerd als een bewijs van concept, waarbij beperkingen worden erkend zoals het deterministische karakter van de grammatica-inductie (dat worstelt met hoge ruis) en de afhankelijkheid van een vaste prior voor het aantal vaardigheden $K$. De resultaten suggereren echter dat onbewaakte structuurontdekking een haalbare en effectieve strategie is voor complexe, hoogdimensionale versterkingsleeromgevingen.