Technische Samenvatting: Key-Gram

Probleemstelling

Gemanipuleerde interactie vereist dat modellen tegelijkertijd herbruikbare wereldkennis (objecten, vaardigheden, relaties, beperkingen) behouden en continu adaptief zijn op dynamische visuele toestanden onder actie. Huidige Vision-Language-Action (VLA)-modellen en World-Action Models (WAMs) koppelen typisch taalkundige kennis aan visuele berekening binnen een gedeelde ruggegraat of conditioneringspad. Dit ontwerp leidt tot twee primaire problemen:

1. Modale Concurrentie: In dichte fusie-approaches concurreren een klein aantal instructietokens met een groot, continu veranderend aantal visuele tokens binnen dezelfde attentiestroom, wat instructiespecifieke informatie kan verdunnen.
2. Fragiele Kennisuitbreiding: In conditionele generatieve modellen fungeert taal vaak slechts als een prompt-achtig sturingssignaal, terwijl compositieve wereldkennis impliciet in de generatieve ruggegraat is ingebakken. Bijgevolg vereist aanpassing aan nieuwe fysieke regimes of het verwerven van nieuwe kennis vaak gradiëntupdates die eerder verworven wereldkennis kunnen overschrijven, waardoor continue adaptatie en modulaire uitbreiding inherent fragiel zijn.

Methodologie: Key-Gram

De auteurs stellen Key-Gram voor, een conditioneel geheugenkader dat functioneel taalgebaseerde wereldkennis ontkoppelt van visuele-toestandsredenering. De kernfilosofie is dat visuele berekening zich moet richten op scenedynamiek (toestandsontwikkeling en actie), terwijl taal dient als een compacte, herbruikbare index over abstracte taakpriors.

1. Sparse Key-Gram Retrieval

In plaats van ruwe tokens te verwerken, decomposeert het systeem een taalinstructie $I$ in een kleine set taalspecifieke key-grams (bijvoorbeeld "zet mok in magnetron", "sluit deur").

• Extractie: Een lichtgewicht parser haalt vaste lengte, kennisdragende eenheden uit de instructie.
• Gehashte Opzoeking: Elk key-gram wordt omgezet in een vaste lengte gehele getalsleutel en via deterministische gehashte opzoeking gemapt naar statische geheugenembeddings. Dit omvat multiplicatieve-XOR-hashing om geheugenindices te berekenen over meerdere hash-koppen ($H$) en lagen ($\ell$).
• Uitbreidbaarheid: Het geheugen is georganiseerd als een logische tabel bestaande uit meerdere fysieke subtabellen. Dit stelt het systeem in staat te schalen met instructielengte (door key-gram-slots toe te voegen) en taakcomplexiteit (door parallelle subtabellen toe te voegen) zonder de ruggegraat te wijzigen.

2. Context-Adaptieve Fusie

Opgespoorde embeddings worden via een residumodule geïnjecteerd in geselecteerde Transformer-lagen van de visuele ruggegraat:

• Gating: Een token-voor-token poort wordt berekend met een geschaalde puntproduct tussen de visuele verborgen toestanden ($H^{(\ell)}$) en de geprojecteerde geheugensleutels ($K_m^{(\ell)}$). Deze poort ($A^{(\ell)}$) bepaalt de relevantie van de opgespoorde taalkundige kennis voor elke visuele token, zodat priors alleen worden geïnjecteerd waar nuttig.
• Convolutionele Verfijning: De gepoorte geheugenfeatures worden door een lichtgewicht lang-span convolutie geleid om heterogene instructieniveau kenniscomponenten te mengen voordat ze worden geïnjecteerd.
• Residuale Injectie: De verfijnde features worden toegevoegd aan de oorspronkelijke verborgen toestanden ($\tilde{H}^{(\ell)} = H^{(\ell)} + \Delta H^{(\ell)}$) voordat de standaard attentieberekening plaatsvindt.

3. Predictiehoofden

De geheugengeleide ruggegraat ondersteunt twee downstream paden:

• Visueel Redeneren: De verborgen toestanden van de laatste laag worden aangepast via cross-attention om compacte toekomstige visuele latents te voorspellen (visuele vooruitziendheid).
• Actie-inferentie: Een lichtgewicht actie-expert gebruikt de KV-cache van de ruggegraat als conditionele context om actietrajecten te decoderen via flow-matching denoising.

4. Systeemefficiëntie

De geheugentabel is ontworpen voor O(1)-opzoeking ten opzichte van de totale geheugengrootte. Tijdens inferentie worden indices uitsluitend bepaald door de instructie en vaste hashfuncties, waardoor grote kennis-tabellen in host (CPU)-geheugen kunnen resideerden, terwijl de ruggegraat zich richt op visueel redeneren.

Belangrijkste Bijdragen

1. Functioneel Ontkoppeld Kader: Key-Gram scheidt instructiezijde wereldkennis-opsporing van visiezijde fysiek redeneren, wat modale concurrentie in gemanipuleerde controle vermindert.
2. Uitbreidbaar Extern Geheugen: Het slaat herbruikbare taalkundige priors op in een gestructureerd geheugen dat wordt opgeroepen via deterministische gehashte opzoeking. Dit maakt modulaire kennisuitbreiding mogelijk (het toevoegen van nieuwe objecten, vaardigheden of relaties) zonder de ruggegraatgewichten te herschrijven.
3. Consistente Prestatieverbeteringen: De aanpak toont verbeterde compositieve gronding, overdracht en adaptatie over diverse taalkundige formuleringen en omgevingen.

Experimentele Resultaten

De auteurs evalueerden Key-Gram op RoboTwin2.0, LIBERO, LIBERO-Plus en real-world dual-arm manipulatie taken met behulp van $\pi0$ en $\pi0.5$ ruggegraten.

• RoboTwin2.0: Key-Gram verbeterde de gemiddelde successpercentages met 29,5% voor $\pi0$ en 9,9% voor $\pi0.5$. De winsten waren vooral uitgesproken in "Moeilijke" instellingen en bij langere horizonnen.
• LIBERO-Plus Overdracht: Bij zero-shot overdracht van LIBERO-getrainde modellen naar LIBERO-Plus (zonder fine-tuning op het doeldomein) bereikte Key-Gram een 35,8% relatieve winst voor $\pi0$ en 4,5% voor $\pi0.5$.
• Real-World Lang-Horizon Taken: Op een Piper dual-arm platform verbeterde Key-Gram de gemiddelde prestaties met 15,4% ($\pi0$) en 8,1% ($\pi0.5$). De grootste winsten werden waargenomen in assemblagetaken, wat suggereert dat het geheugen helpt bij het behouden van objectrelaties en subdoelstructuren.
• Uitbreidingstaken: Bij onzichtbare compositieve koppelingen (bijvoorbeeld het opnieuw combineren van objecten en doelen) verbeterde Key-Gram de prestaties aanzienlijk (bijvoorbeeld +34,6% en +41,7% voor $\pi0$ op specifieke overdrachttaken), terwijl basismodellen vaak faalden in deze recombinatiescenario's.
• Ablatiestudies: Analyse van laagplaatsing onthulde dat het injecteren van geheugen in vroege lagen (bijvoorbeeld Laag 1) het meest kritiek is, met afnemende meerwaarde voor diepere injecties. Dit ondersteunt de hypothese dat externe priors de instructiegerelateerde last op de ruggegraat vroeg in het verwerkingsproces verminderen.

Betekenis en Claims

Het artikel claimt dat het scheiden van taalzijde wereldkennis-opsporing van visiezijde fysiek redeneren een effectievere inductieve bias biedt voor gemanipuleerde intelligentie dan dichte tokenfusie of grove generatieve conditionering.

Key-Gram adresseert de spanning tussen statische wereldkennis en online fysiek redeneren door taal te behandelen als een uitbreidbare index in plaats van een concurrerende tokenstroom. Door kennis te externaliseren naar een modulaire geheugentabel, stelt het kader het volgende in staat:

• Modulaire Kennisgroei: Nieuwe kennis kan worden toegevoegd als nieuwe invoer zonder bestaande gewichten te overschrijven.
• Bescherming tegen Gradiëntinterferentie: Bestaand geheugen wordt beschermd tijdens ruggegraatadaptatie, waardoor de architectuur van nature compatibel is met open-wereld implementatie en continue accumulatie.
• Efficiënte Schaalbaarheid: Het O(1)-opzoekpatroon en de scheiding van geheugen van berekening maken efficiënt omgaan met grote kennisbanken mogelijk zonder de rekenkosten van de visuele ruggegraat te verhogen.

De auteurs concluderen dat deze lichtgewicht en uitbreidbare richting een praktische mechanisme biedt voor het verbeteren van compositieve gronding en overdracht in gemanipuleerde interactie.