Riepilogo Tecnico: Key-Gram

Enunciato del Problema

La manipolazione incarnata richiede ai modelli di preservare simultaneamente conoscenze del mondo riutilizzabili (oggetti, abilità, relazioni, vincoli) e adattarsi continuamente a stati visivi dinamici sotto l'azione. I modelli attuali Vision-Language-Action (VLA) e World-Action Models (WAM) accoppiano tipicamente la conoscenza linguistica con il calcolo visivo all'interno di un backbone condiviso o di un percorso di condizionamento. Questa progettazione porta a due problemi principali:

1. Competizione tra Modalità: Negli approcci di fusione densa, un piccolo numero di token di istruzione compete con un insieme grande e in continua evoluzione di token visivi all'interno dello stesso flusso di attenzione, potenzialmente diluendo le informazioni specifiche dell'istruzione.
2. Estensione Fragile della Conoscenza: Nei modelli generativi condizionali, il linguaggio agisce spesso meramente come un segnale di guida simile a un prompt, mentre la conoscenza composita del mondo rimane implicitamente incorporata nel backbone generativo. Di conseguenza, l'adattamento a nuovi regimi fisici o l'acquisizione di nuove conoscenze richiedono spesso aggiornamenti del gradiente che possono sovrascrivere la conoscenza del mondo precedentemente acquisita, rendendo l'adattamento continuo e l'estensione modulare intrinsecamente fragili.

Metodologia: Key-Gram

Gli autori propongono Key-Gram, un framework di memoria condizionale che disaccoppia funzionalmente la conoscenza del mondo derivata dal linguaggio dal ragionamento sullo stato visivo. La filosofia di fondo è che il calcolo visivo dovrebbe concentrarsi sulla dinamica della scena (evoluzione dello stato e azione), mentre il linguaggio funge da indice compatto e riutilizzabile su priori di task astratti.

1. Recupero Sparse Key-Gram

Invece di elaborare token grezzi, il sistema scompone un'istruzione linguistica $I$ in un piccolo insieme di key-gram specifici per il task (ad esempio, "metti la tazza nel microonde", "chiudi la porta").

• Estrazione: Un parser leggero estrae unità portatrici di conoscenza a lunghezza fissa dall'istruzione.
• Ricerca Hashata: Ogni key-gram viene convertito in una chiave intera a lunghezza fissa e mappato su embedding di memoria statici tramite ricerca hashata deterministica. Ciò implica un hashing multiplicative-XOR per calcolare gli indici di memoria su più teste di hash ($H$) e livelli ($\ell$).
• Estendibilità: La memoria è organizzata come una tabella logica composta da più sottotabelle fisiche. Ciò permette al sistema di scalare con la lunghezza dell'istruzione (aggiungendo slot per key-gram) e la complessità del task (aggiungendo sottotabelle parallele) senza modificare il backbone.

2. Fusione Adattiva al Contesto

Gli embedding recuperati vengono iniettati nei livelli selezionati del Transformer del backbone visivo attraverso un modulo residuo:

• Gating: Viene calcolato un gate token-per-token utilizzando un prodotto scalare scalato tra gli stati nascosti visivi ($H^{(\ell)}$) e le chiavi di memoria proiettate ($K_m^{(\ell)}$). Questo gate ($A^{(\ell)}$) determina la rilevanza della memoria linguistica recuperata per ogni token visivo, assicurando che i priori vengano iniettati solo dove utili.
• Raffinamento Convoluzionale: Le caratteristiche di memoria gateate vengono passate attraverso una convoluzione leggera a lungo raggio per mescolare componenti eterogenee di conoscenza a livello di istruzione prima dell'iniezione.
• Iniezione Residua: Le caratteristiche raffinate vengono aggiunte agli stati nascosti originali ($\tilde{H}^{(\ell)} = H^{(\ell)} + \Delta H^{(\ell)}$) prima del calcolo standard dell'attenzione.

3. Teste di Predizione

Il backbone guidato dalla memoria supporta due percorsi a valle:

• Ragionamento Visivo: Gli stati nascosti dell'ultimo livello vengono adattati tramite cross-attention per prevedere latenti visivi futuri compatti (preveggenza visiva).
• Inferenza dell'Azione: Un esperto di azione leggero utilizza la cache KV del backbone come contesto condizionale per decodificare le traiettorie di azione tramite denoising a flusso di corrispondenza (flow-matching).

4. Efficienza del Sistema

La tabella di memoria è progettata per una ricerca O(1) rispetto alla dimensione totale della memoria. Durante l'inferenza, gli indici sono determinati esclusivamente dall'istruzione e da funzioni hash fisse, permettendo a grandi tabelle di conoscenze di risiedere nella memoria host (CPU), mentre il backbone rimane focalizzato sul ragionamento visivo.

Contributi Chiave

1. Framework Funzionalmente Disaccoppiato: Key-Gram separa il recupero della conoscenza del mondo lato istruzione dal ragionamento fisico lato visione, riducendo la competizione tra modalità nel controllo incarnato.
2. Memoria Esterna Estendibile: Archivia priori linguistici riutilizzabili in una memoria strutturata accessibile tramite ricerca hashata deterministica. Ciò consente un'espansione modulare della conoscenza (aggiunta di nuovi oggetti, abilità o relazioni) senza riscrivere i pesi del backbone.
3. Miglioramenti Costanti delle Prestazioni: L'approccio dimostra migliori ancoraggio compositivo, trasferimento e adattamento attraverso diverse formulazioni linguistiche e ambienti.

Risultati Sperimentali

Gli autori hanno valutato Key-Gram su RoboTwin2.0, LIBERO, LIBERO-Plus e compiti di manipolazione reale a due bracci utilizzando i backbone $\pi0$ e $\pi0.5$.

• RoboTwin2.0: Key-Gram ha migliorato i tassi di successo medi del 29,5% per $\pi0$ e del 9,9% per $\pi0.5$. I guadagni sono stati particolarmente pronunciati nelle impostazioni "Hard" e con orizzonti temporali più lunghi.
• Trasferimento LIBERO-Plus: Nel trasferimento zero-shot da modelli addestrati su LIBERO a LIBERO-Plus (senza fine-tuning sul dominio target), Key-Gram ha ottenuto un guadagno relativo del 35,8% per $\pi0$ e del 4,5% per $\pi0.5$.
• Compiti a Lungo Orizzonte nel Mondo Reale: Su una piattaforma Piper a due bracci, Key-Gram ha migliorato le prestazioni medie del 15,4% ($\pi0$) e dell'8,1% ($\pi0.5$). I guadagni più grandi sono stati osservati nei compiti di assemblaggio, suggerendo che la memoria aiuta a mantenere le relazioni tra oggetti e le strutture dei sottobiettivi.
• Compiti di Espansione: In combinazioni composizionali inedite (ad esempio, ricombinazione di oggetti e target), Key-Gram ha migliorato sostanzialmente le prestazioni (ad esempio, +34,6% e +41,7% per $\pi0$ su specifici compiti di trasferimento), mentre i modelli base spesso fallivano in questi scenari di ricombinazione.
• Studi di Ablazione: L'analisi del posizionamento dei livelli ha rivelato che l'iniezione della memoria nei livelli iniziali (ad esempio, Livello 1) è la più critica, con rendimenti decrescenti per iniezioni più profonde. Ciò supporta l'ipotesi che i priori esterni riducano il carico legato all'istruzione sul backbone all'inizio della pipeline di elaborazione.

Significato e Affermazioni

Il paper afferma che separare il recupero della conoscenza del mondo lato linguaggio dal ragionamento fisico lato visione fornisce un bias induttivo più efficace per l'intelligenza incarnata rispetto alla fusione densa di token o al condizionamento generativo grossolano.

Key-Gram affronta la tensione tra conoscenza del mondo statica e ragionamento fisico online trattando il linguaggio come un indice estendibile piuttosto che come un flusso di token in competizione. Esternalizzando la conoscenza in una tabella di memoria modulare, il framework permette:

• Crescita Modulare della Conoscenza: Nuove conoscenze possono essere aggiunte come nuove voci senza sovrascrivere i pesi esistenti.
• Protezione dall'Interferenza del Gradiente: La memoria esistente è protetta durante l'adattamento del backbone, rendendo l'architettura naturalmente compatibile con il deployment in mondi aperti e l'accumulo continuo.
• Scalabilità Efficiente: Il pattern di ricerca O(1) e la separazione della memoria dal calcolo permettono una gestione efficiente di grandi basi di conoscenze senza aumentare il costo computazionale del backbone visivo.

Gli autori concludono che questa direzione leggera ed estendibile offre un meccanismo pratico per migliorare l'ancoraggio compositivo e il trasferimento nella manipolazione incarnata.