Resumen Técnico: Key-Gram

Enunciado del Problema

La manipulación encarnada requiere que los modelos preserven simultáneamente conocimientos del mundo reutilizables (objetos, habilidades, relaciones, restricciones) y se adapten continuamente a estados visuales dinámicos bajo acción. Los modelos actuales Visión-Lenguaje-Acción (VLA) y Modelos Mundo-Acción (WAM) suelen acoplar el conocimiento lingüístico con el cálculo visual dentro de una columna vertebral compartida o una vía de condicionamiento. Este diseño conduce a dos problemas principales:

1. Competencia de Modalidades: En enfoques de fusión densa, un pequeño número de tokens de instrucción compite con un conjunto grande y continuamente cambiante de tokens visuales dentro del mismo flujo de atención, lo que puede diluir la información específica de la instrucción.
2. Extensión Frágil del Conocimiento: En modelos generativos condicionales, el lenguaje a menudo actúa meramente como una señal de dirección tipo prompt, mientras que el conocimiento composicional del mundo permanece implícitamente incrustado en la columna vertebral generativa. En consecuencia, adaptarse a nuevos regímenes físicos o adquirir nuevo conocimiento a menudo requiere actualizaciones de gradiente que pueden sobrescribir el conocimiento del mundo previamente adquirido, haciendo que la adaptación continua y la extensión modular sean inherentemente frágiles.

Metodología: Key-Gram

Los autores proponen Key-Gram, un marco de memoria condicional que desacopla funcionalmente el conocimiento del mundo derivado del lenguaje del razonamiento sobre el estado visual. La filosofía central es que el cálculo visual debe centrarse en la dinámica de la escena (evolución del estado y acción), mientras que el lenguaje sirve como un índice compacto y reutilizable sobre priores de tareas abstractas.

1. Recuperación Escasa de Key-Gram

En lugar de procesar tokens crudos, el sistema descompone una instrucción de lenguaje $I$ en un pequeño conjunto de key-grams específicos de la tarea (por ejemplo, "poner la taza en el microondas", "cerrar la puerta").

• Extracción: Un analizador ligero extrae unidades de longitud fija que portan conocimiento de la instrucción.
• Búsqueda Hashada: Cada key-gram se convierte en una clave entera de longitud fija y se mapea a incrustaciones de memoria estáticas mediante búsqueda hashada determinista. Esto implica un hashing multiplicativo-XOR para calcular índices de memoria a través de múltiples cabezas de hash ($H$) y capas ($\ell$).
• Extensibilidad: La memoria se organiza como una tabla lógica compuesta por múltiples sub-tablas físicas. Esto permite que el sistema escale con la longitud de la instrucción (añadiendo ranuras de key-gram) y la complejidad de la tarea (añadiendo sub-tablas paralelas) sin modificar la columna vertebral.

2. Fusión Adaptativa al Contexto

Las incrustaciones recuperadas se inyectan en capas seleccionadas de la columna vertebral visual a través de un módulo residual:

• Puerta de Control (Gating): Se calcula una puerta token a token utilizando un producto punto escalado entre los estados ocultos visuales ($H^{(\ell)}$) y las claves de memoria proyectadas ($K_m^{(\ell)}$). Esta puerta ($A^{(\ell)}$) determina la relevancia de la memoria lingüística recuperada para cada token visual, asegurando que los priores se inyecten solo donde sean útiles.
• Refinamiento Convolucional: Las características de memoria gateadas se pasan a través de una convolución ligera de largo alcance para mezclar componentes heterogéneos de conocimiento a nivel de instrucción antes de la inyección.
• Inyección Residual: Las características refinadas se suman a los estados ocultos originales ($\tilde{H}^{(\ell)} = H^{(\ell)} + \Delta H^{(\ell)}$) antes del cálculo de atención estándar.

3. Cabezas de Predicción

La columna vertebral guiada por memoria soporta dos vías aguas abajo:

• Razonamiento Visual: Los estados ocultos de la capa final se adaptan mediante atención cruzada para predecir latentes visuales futuros compactos (previsión visual).
• Inferencia de Acción: Un experto de acción ligero utiliza la caché KV de la columna vertebral como contexto condicional para decodificar trayectorias de acción mediante desruido de coincidencia de flujo (flow-matching).

4. Eficiencia del Sistema

La tabla de memoria está diseñada para una búsqueda de O(1) en relación con el tamaño total de la memoria. Durante la inferencia, los índices se determinan únicamente por la instrucción y funciones hash fijas, lo que permite que grandes tablas de conocimiento residan en la memoria del host (CPU), mientras que la columna vertebral se mantiene enfocada en el razonamiento visual.

Contribuciones Clave

1. Marco Funcionalmente Desacoplado: Key-Gram separa la recuperación de conocimiento del mundo del lado de la instrucción del razonamiento físico del lado de la visión, reduciendo la competencia de modalidades en el control encarnado.
2. Memoria Externa Extensible: Almacena priores lingüísticos reutilizables en una memoria estructurada a la que se accede mediante búsqueda hashada determinista. Esto permite la expansión modular del conocimiento (añadir nuevos objetos, habilidades o relaciones) sin reescribir los pesos de la columna vertebral.
3. Mejoras Consistentes en el Rendimiento: El enfoque demuestra una mejora en la fundamentación composicional, la transferencia y la adaptación a través de diversas formulaciones lingüísticas y entornos.

Resultados Experimentales

Los autores evaluaron Key-Gram en tareas de RoboTwin2.0, LIBERO, LIBERO-Plus y manipulación de doble brazo en el mundo real utilizando las columnas vertebrales $\pi0$ y $\pi0.5$.

• RoboTwin2.0: Key-Gram mejoró las tasas de éxito promedio en un 29.5% para $\pi0$ y un 9.9% para $\pi0.5$. Las ganancias fueron particularmente pronunciadas en configuraciones "Difíciles" y con horizontes más largos.
• Transferencia LIBERO-Plus: En la transferencia cero-shot desde modelos entrenados en LIBERO hacia LIBERO-Plus (sin ajuste fino del dominio objetivo), Key-Gram logró una ganancia relativa del 35.8% para $\pi0$ y del 4.5% para $\pi0.5$.
• Tareas de Largo Horizonte en el Mundo Real: En una plataforma de doble brazo Piper, Key-Gram mejoró el rendimiento promedio en un 15.4% ($\pi0$) y un 8.1% ($\pi0.5$). Las mayores ganancias se observaron en tareas de ensamblaje, lo que sugiere que la memoria ayuda a mantener las relaciones entre objetos y las estructuras de sub-objetivos.
• Tareas de Expansión: En combinaciones composicionales no vistas (por ejemplo, recombinar objetos y objetivos), Key-Gram mejoró sustancialmente el rendimiento (por ejemplo, +34.6% y +41.7% para $\pi0$ en tareas de transferencia específicas), mientras que los modelos base a menudo fallaban en estos escenarios de recombinación.
• Estudios de Ablación: El análisis de la colocación de capas reveló que inyectar memoria en capas tempranas (por ejemplo, Capa 1) es lo más crítico, con rendimientos decrecientes para inyecciones más profundas. Esto respalda la hipótesis de que los priores externos reducen la carga relacionada con la instrucción en la columna vertebral al inicio del pipeline de procesamiento.

Significado y Afirmaciones

El artículo afirma que separar la recuperación de conocimiento del mundo del lado del lenguaje del razonamiento físico del lado de la visión proporciona un sesgo inductivo más efectivo para la inteligencia encarnada que la fusión densa de tokens o el condicionamiento generativo grueso.

Key-Gram aborda la tensión entre el conocimiento estático del mundo y el razonamiento físico en línea tratando el lenguaje como un índice extensible en lugar de un flujo de tokens competidor. Al externalizar el conocimiento en una tabla de memoria modular, el marco permite:

• Crecimiento Modular del Conocimiento: El nuevo conocimiento puede añadirse como nuevas entradas sin sobrescribir los pesos existentes.
• Protección contra Interferencia de Gradientes: La memoria existente está protegida durante la adaptación de la columna vertebral, lo que hace que la arquitectura sea naturalmente compatible con el despliegue en mundos abiertos y la acumulación continua.
• Escalabilidad Eficiente: El patrón de búsqueda O(1) y la separación de la memoria del cálculo permiten un manejo eficiente de grandes bases de conocimiento sin aumentar el costo computacional de la columna vertebral visual.

Los autores concluyen que esta dirección ligera y extensible ofrece un mecanismo práctico para mejorar la fundamentación composicional y la transferencia en la manipulación encarnada.