Emergent Neural Automaton Policies: Learning Symbolic Structure from Visuomotor Trajectories

Titel: Emergent Neural Automaton Policies (ENAP): Het leren van symbolische structuren uit visuele en motorische trajecten

1. Het Probleem

Het schalen van robotleren naar taken met een lange horizon (long-horizon tasks) blijft een grote uitdaging. Bestaande benaderingen kampen met twee fundamentele beperkingen:

• End-to-end policies (zoals VLA-modellen): Deze modellen missen vaak de structurele priors die nodig zijn voor effectief langetermijnredeneren. Ze benaderen complexe taken met één monolithisch netwerk, wat resulteert in een "black-box" beleid dat semantisch ondoorzichtig is, weinig interpreteerbaar is en zeer data-intensief.
• Traditionele neuro-symbolische methoden: Deze bieden wel structuur en interpreteerbaarheid, maar zijn afhankelijk van handmatig ontworpen symbolische priors (zoals temporele logica). Ze kunnen de intrinsieke structuur van de taak niet adaptief ontdekken uit ruwe data.

De kernvraag van dit werk is: Hoe kan de logische structuur van "Systeem 2" (symbolisch redeneren/planning) natuurlijk ontstaan uit de perceptuele stroom van "Systeem 1" (intuïtieve reactie/sensorimotorische controle)?

2. Methodologie: ENAP Framework

De auteurs introduceren ENAP (Emergent Neural Automaton Policy), een tweelaags neuro-symbolisch raamwerk dat een beleidsstrategie adaptief laat ontstaan uit demonstraties zonder labels. Het framework combineert discrete planning met continue controle.

A. Architectuur
ENAP modelleert het robotbeleid als een Probabilistische Mealy Machine (PMM) die fungeert als een hoog-niveau planner (Systeem 2), gekoppeld aan een residueel netwerk voor continue controle (Systeem 1).

• Hoog-niveau (PMM): Een toestandsmachine die discrete taakfasen (bijv. "Grijpen", "Uitlijnen") en overgangen tussen deze fasen vastlegt.
• Laag-niveau (Residueel Netwerk): Een neurale netwerklaag die een precieze continue actie genereert op basis van een ruwe actie-prior van de PMM en de huidige observatie.

B. Het Leerproces (Drie Stappen)
Het proces verloopt via een iteratieve Expectation-Maximization (EM) cyclus:

1. Adaptieve Symbolische Abstractie:

   • Continue observaties (beelden en proprioceptie) worden gecodeerd naar een feature-ruimte.
   • Een adaptieve clustering-algoritme (HDBSCAN) wordt gebruikt om deze features te groeperen in discrete symbolen (een alfabet $\Sigma$).
   • Een RNN (Recurrent Neural Network) wordt getraind om variabele lengte geschiedenis (reeks van acties en symbolen) te mappen naar een vaste embedding. Dit helpt bij het onderscheiden van verschillende taakfasen en zorgt voor een Markoviaanse representatie.

2. Structuur-extractie via Extended $L^*$-algoritme:

   • De auteurs passen het klassieke $L^*$-algoritme (voor het leren van automata) aan voor continue robotdata.
   • In plaats van een "Oracle" (een perfecte leraar) te gebruiken, queryt het algoritme het statische dataset van demonstraties.
   • Self-Supervised Membership Query (MQ): Het bouwt een hypothetische toestandsmachine door te kijken welke volgende embeddings (toestanden) bereikbaar zijn vanuit huidige clusters.
   • Non-deterministische Equivalence Query (EQ): Het valideert de hypothese door te controleren of er een geldig pad bestaat in de PMM dat overeenkomt met een testtraject. Als dit faalt, worden nieuwe toestanden toegevoegd.
   • Dit resulteert in een Probabilistische Mealy Machine met overgangskansen en actie-priors.

3. Bi-level Control & Residueel Leren:

   • De geleerde PMM fungeert als een planner die een ruwe actie-prior ($a_{base}$) genereert.
   • Een residueel netwerk ($\pi_\psi$) leert de correctie ($\Delta a$) om de precieze actie te bereiken: $\hat{a}_t = a_{base} + \Delta a$.
   • Dit proces wordt iteratief herhaald (Algorithm 2): de encoder en de structuur worden samen geoptimaliseerd om de prestaties te maximaliseren.

3. Belangrijkste Bijdragen

1. ENAP Framework: Een nieuw raamwerk dat gestructureerde taak-abstraktie en reactieve netwerken op een "emergente" manier leert, zonder handmatige symbolische priors.
2. Label-vrij Neuro-symbolisch Ontwerp: Het elimineert de afhankelijkheid van experts voor het definiëren van symbolen of logica. De structuur wordt volledig afgeleid uit ruwe visuomotorische data via adaptieve clustering en automata-inferentie.
3. Theoretische Justificatie: Het biedt een rigoureuze onderbouwing gebaseerd op het Partially Observable Markov Decision Process (POMDP), waarbij de bi-level architectuur de complexiteit van de functiebenadering reduceert door de Bellman-vergelijking te ontbinden in topologische overgangen en lokale residuen.

4. Resultaten

De auteurs testen ENAP op complexe manipulatie-taken, lange-horizon TAMP-taken (Task and Motion Planning) en real-world scenario's.

• Prestaties in Data-schaarste: ENAP presteert tot 27% beter dan state-of-the-art end-to-end VLA-policies in regimes met weinig data (bijv. 25% van de dataset). Het behoudt hoge succespercentages waar andere methoden sterk degraderen.
• Efficiëntie: ENAP bereikt vergelijkbare of betere resultaten met 39% minder parameters dan grote generatieve modellen (zoals Diffusion Policy of OpenVLA).
• Interpreteerbaarheid: Het systeem leert semantisch betekenisvolle structuren. Bijvoorbeeld, in een Lego-stap-taak ontdekt het automatisch een vertakkingspunt (decision point) waar de robot moet kiezen tussen verschillende grijpposities, en leert het zelfstandig te herstellen bij fouten door terug te keren naar een vorige staat (autonome failure recovery).
• Vergelijking:
  • Op de DualStackCube taak bereikt ENAP (met DINO backbone) 76% succes, vergeleken met 69,8% voor OpenVLA en 38,7% voor een standaard Transformer.
  • Op lange-horizon TAMP-taken (CALVIN) overtreft ENAP bestaande VLA-baselines aanzienlijk, vooral in hiërarchische taken.

5. Betekenis en Impact

Dit werk is significant omdat het de kloof overbrugt tussen de flexibiliteit van neurale netwerken en de structuur van symbolische planning, zonder de nadelen van beide te hoeven dragen.

• Interpreteerbaarheid: Het biedt een expliciete kaart van de besluitvormingslogica van de agent, wat cruciaal is voor vertrouwen en debugging in de robotica.
• Sample Efficiency: Door de taak te decomponeren in discrete fasen en continue correcties, leert het systeem veel efficiënter dan monolithische netwerken.
• Robuustheid: De inherente structuur van de toestandsmachine maakt het systeem robuuster tegen onzekerheid en fouten, met de capaciteit tot autonoom herstel (bijv. opnieuw proberen als een insertie mislukt).

Kortom, ENAP biedt een haalbare weg naar generaliseerbare en interpreteerbare robot-intelligentie door de natuurlijke hiërarchie van menselijk besluitvorming (System 1 vs. System 2) na te bootsen in een hybride neurale architectuur.