Technische Samenvatting: Latent Memory Palace (LMP)

Probleemstelling

Menselijke besluitvorming vertoont een spectrum van reflexmatige acties tot doelbewuste, meerstaps redeneringen, waarbij de geïnvesteerde tijd en inspanning schalen met de complexiteit van de taak. Hoewel Large Language Models (LLM's) succesvol vergelijkbare adaptieve "redeneercapaciteiten" hebben gedemonstreerd via iteratieve tokengeneratie (bijv. Chain-of-Thought), blijft het overdragen van deze capaciteit naar continue robotische controlebeleid (control policies) een uitdaging. Direct redeneren in de taalruimte mist vaak de noodzakelijke granulariteit voor ruimtelijk begrip en precieze bewegingscontrole. Bovendien vertrouwen standaard variatieve inferentie-benaderingen voor controle doorgaans op vastdimensionale latente variabelen, die hun computationele diepte niet kunnen aanpassen aan de specifieke vereisten van elke input. Het kernproblele is hoe robotische beleidsregels iteratieve, adaptieve berekeningen kunnen uitvoeren in een latente ruimte die end-to-end is geleerd voor actievoorspelling, om zo een balans te vinden tussen efficiënte besluitvorming en verbeterde generalisatie.

Methodologie

De auteurs stellen Latent Memory Palace (LMP) voor, een framework dat redeneren voor controle formuleert als autoregressieve variatieve inferentie.

1. Kernformulering

LMP behandelt een actie $a$ niet als een directe voorspelling van een observatie $o$, maar als de uitkomst van een intermediaire latente berekening $z$. Het beleid wordt gedefinieerd door een variatieve ondergrens (ELBO):
$$\log p(a | o) \geq \mathbb{E}_{z \sim q_\theta(z|o,a)} [\log p_\phi(a | o, z)] - D_{KL}(q_\theta(z | o, a) \parallel p_\theta(z | o))$$
In tegen tegenstelling tot standaard benaderingen is de latente variabele $z$ niet een enkele vector, maar een variabele-lengte autoregressieve sequentie $z = (z_1, z_2, \dots, z_{T(z)})$ getrokken uit een vocabulaire inclusief een End-of-Sequence (EOS) token. De sequentie eindigt wanneer de EOS wordt gegenereerd, waardoor het model computationele stappen adaptief kan toewijzen op basis van de complexiteit van de beslissing.

2. Adaptieve Redenering via Compressie

Om adaptief gedrag te stimuleren waarbij het model alleen meer stappen gebruikt wanneer nodig, introduceert LMP een compressiemechanisme. De actie-decoder $p_\phi$ wordt geparametriseerd als een isotrope Gaussische distributie waarbij de variantie $\sigma(T(z))$ exponentieel afneemt met de lengte van de latente sequentie $T(z)$.
$$\sigma(T(z)) = \gamma^{T(z)} \sigma_0, \quad \gamma \in (0, 1)$$
Dit legt een lengtestraf op: elke extra latente stap verscherpt de Gaussische distributie. Bijgevolg kan het model het zich alleen "vermoeien" om nog een stap te genereren als de precisie van de voorspelde actie de reductie in variantie rechtvaardigt. Dit dwingt het beleid om meer rekenkracht te besteden aan complexe beslissingen en minder aan eenvoudige of inherent onzekere beslissingen (bijv. het exacte moment van het sluiten van een grijper).

3. Tractabele Optimalisatie via Latent-Space RL

Het optimaliseren van de ELBO via niet-differentieerbare autoregressieve sampling is onhandelbaar via standaard backpropagation. De auteurs leiden een Reinforcement Learning (RL) objectief af over latente trajecten:

• Latente Episode: Een traject wordt gesampled uit de posterior $q_\theta$ tot EOS.
• Beloning: Bestaande uit een reconstructiebeloning ($\log p_\phi(a|o,z)$) en een KL-straf tegen de prior.
• Variantereductie: De KL-term wordt gedecomposeerd in per-stap beloningen met behulp van de autoregressieve structuur, wat stapgewijze credit assignment mogelijk maakt.
• Optimalisatie: De auteurs gebruiken een PPO-achtige clipped surrogate objective om de training te stabiliseren en latente instorting (latent collapse) te voorkomen, gebruikmakend van on-policy rollouts verzameld in een buffer.

4. Actie-Tokenisatie (LMP-tok)

Door de observatie-conditionering te verwijderen uit het variatieve framework, instantiëren zij met dezelfde architectuur LMP-tok, een variabele-lengte actie-tokenizer. Deze comprimeert continue actie-chunks in discrete latente tokens, die vervolgens kunnen worden gebruikt om downstream autoregressieve beleidsregels te trainen. In tegenstelling tot tokenizers die een exacte reconstructie van discrete transformaties vereisen (bijv. FAST), staat LMP-tok sequenties van willekeurige lengte toe om te worden gedecodeerd naar geldige acties.

Belangrijkste Bijdragen

1. Latent Memory Palace (LMP): Een nieuwe formulering van redeneren als variatieve inferentie met een autoregressieve latente distributie, wat iteratieve en adaptieve berekening mogelijk maakt voor robotische controle.
2. LMP-$\pi$ (Policy): Een controlebeleid dat variabele-lengte "redeneersporen" genereert tijdens de testfase, en computationele middelen adaptief toewijst op basis van taakmoeilijkheid en onzekerheid.
3. LMP-tok (Tokenizer): Een variabele-lengte actie-tokenizer die de prestaties van downstream autoregressieve beleidsregels aanzienlijk verbetert door acties te comprimeren in discrete latente ruimtes.
4. Optimalisatieframework: Een tractabele RL-gebaseerde methode om de variatieve ondergrens te optimaliseren voor variabele-lengte autoregressieve sampling, inclusief technieken om training te stabiliseren tegen latente instorting.

Experimentele Resultaten

De auteurs evalueerden LMP op zowel real-world (DROID) als gesimuleerde (LIBERO, D3IL, RoboMimic) benchmarks.

• Prestaties van het Beleid (LMP-$\pi$):

  • Zero-Shot & Fine-tuning: Op het DROID-platform presteerde LMP-$\pi$ beter dan Diffusion Policy (DP) in zero-shot settings en behaalde hogere succespercentages (bijv. 95% op multi-object cleaning) in gefinetunede precisietaken.
  • Generalisatie: Op LIBERO-90 vertoonde LMP-$\pi$ een significant hogere "bodem" van prestaties op de 10 moeilijkste taken vergeleken met DP, wat wijst op verminderde cross-taak interferentie en betere retrieval-capaciteiten.
  • Iteratief vs. Niet-iteratief: LMP-$\pi$ presteerde consistent beter dan niet-iteratieve baselines (VAE Policy, VQ-BeT), wat aantoont dat vaststaande latente representaties niet de granulariteit bezitten die vereist is voor complexe manipulatie.

• Prestaties van de Tokenizer (LMP-tok):

  • Wanneer LMP-tok werd gebruikt om downstream autoregressieve beleidsregels te trainen, presteerde LMP-tok aanzienlijk beter dan baselines (VQ-VAE, FAST, OAT) op RoboMimic en LIBERO taken.
  • Opvallend genoeg was LMP-tok de enige methode die een niet-verwaarloosbare prestatie behaalde op de hoog-precieze RoboMimic "tool-hang" taak, waar andere tokenizers faalden door precisie- of reconstructiebeperkingen.

• Analyse van Adaptieve Berekening:

  • Interpreteerbaarheid: Visualisaties tonen aan dat het aantal latente redeneerstappen correleert met de taakcomplexiteit. Het model gebruikt minder stappen tijdens grijperbewegingen (waar timing inherent variabel is) en meer stappen tijdens precisie-uitlijningstaken.
  • Compressie: Ablatie-studies bevestigden dat sterkere compressie (snellere variantie-afname) leidt tot betere generalisatie, mits dit gebalanceerd wordt om excessieve reconstructiefouten te voorkomen.
  • Mode-Seeking: Het afkappen van latente stappen tijdens de testfase leidde niet tot significante degradatie van de prestaties; in plaats daarvan vertoonde het model "mode-seeking" gedrag, waarbij het zich vastlegt op specifieerbare geldige actiemodi in plaats van ze te middelen.

Betekenis en Claims

Het artikel beweert dat autoregressieve variatieve inferentie een praktisch en principieel framework vestigt voor iteratieve, adaptieve berekening in robotica. Door een analogie te trekken met de "memory palace" mnemoniek, demonstreert het werk dat het organiseren van informatie in een variabele-lengte latente ruimte beleidsregels in staat stelt om:

1. Menselijke Besluitvormingsvariabiliteit te Imiteren: De computationele inspanning afstemmen op de complexiteit van de beslissing.
2. Generalisatie te Verbeteren: Robuuste prestaties bereiken over diverse taken en omgevingen door te leren computationele middelen efficiënt toe te wijzen.
3. Tokenisatie te Verbeteren: Een superieure methode bieden voor het discretiseren van continue acties voor autoregressieve modellering.

De auteurs positioneren LMP als een brug tussen de redeneercapaciteiten van foundation models en de precisie-eisen van robotische controle, waarbij ze een nieuw perspectief bieden waarin "redeneren" een impliciet, latent proces is dat geoptimaliseerd wordt via variatieve inferentie en reinforcement learning.