Resumo Técnico: Key-Gram

Declaração do Problema

A manipulação incorporada exige que os modelos preservem simultaneamente conhecimento reutilizável do mundo (objetos, habilidades, relações, restrições) e se adaptem continuamente a estados visuais dinâmicos sob ação. Os atuais modelos Visão-Linguagem-Ação (VLA) e Modelos Mundo-Ação (WAM) tipicamente acoplam conhecimento linguístico com computação visual dentro de uma espinha dorsal compartilhada ou via de condicionamento. Este projeto leva a dois problemas primários:

1. Competição de Modalidades: Em abordagens de fusão densa, um pequeno número de tokens de instrução compete com um grande conjunto de tokens visuais, continuamente mutáveis, dentro do mesmo fluxo de atenção, potencialmente diluindo informações específicas da instrução.
2. Extensão Frágil do Conhecimento: Em modelos generativos condicionais, a linguagem frequentemente atua meramente como um sinal de direção tipo prompt, enquanto o conhecimento composicional do mundo permanece implicitamente incorporado na espinha dorsal generativa. Consequentemente, adaptar-se a novos regimes físicos ou adquirir novo conhecimento frequentemente requer atualizações de gradiente que podem sobrescrever o conhecimento do mundo previamente adquirido, tornando a adaptação contínua e a extensão modular inerentemente frágeis.

Metodologia: Key-Gram

Os autores propõem Key-Gram, um framework de memória condicional que desacopla funcionalmente o conhecimento do mundo derivado da linguagem do raciocínio sobre o estado visual. A filosofia central é que a computação visual deve focar na dinâmica da cena (evolução do estado e ação), enquanto a linguagem serve como um índice compacto e reutilizável sobre priores de tarefas abstratas.

1. Recuperação Esparsa de Key-Gram

Em vez de processar tokens brutos, o sistema decompõe uma instrução de linguagem $I$ em um pequeno conjunto de key-grams específicos da tarefa (por exemplo, "colocar caneca no micro-ondas", "fechar porta").

• Extração: Um analisador leve extrai unidades de comprimento fixo e portadoras de conhecimento da instrução.
• Busca Hashada: Cada key-gram é convertido em uma chave inteira de comprimento fixo e mapeado para embeddings de memória estáticos via busca hashada determinística. Isso envolve hashing multiplicativo-XOR para calcular índices de memória através de múltiplas cabeças de hash ($H$) e camadas ($\ell$).
• Extensibilidade: A memória é organizada como uma tabela lógica composta por múltiplas sub-tabelas físicas. Isso permite que o sistema escale com o comprimento da instrução (adicionando slots de key-gram) e complexidade da tarefa (adicionando sub-tabelas paralelas) sem modificar a espinha dorsal.

2. Fusão Adaptativa ao Contexto

Os embeddings recuperados são injetados em camadas selecionadas do Transformer da espinha dorsal visual através de um módulo residual:

• Portão (Gating): Um portão token a token é computado usando um produto escalar escalado entre os estados ocultos visuais ($H^{(\ell)}$) e as chaves de memória projetadas ($K_m^{(\ell)}$). Este portão ($A^{(\ell)}$) determina a relevância da memória linguística recuperada para cada token visual, garantindo que os priores sejam injetados apenas onde são úteis.
• Refinamento Convolucional: As características de memória portadas são passadas por uma convolução leve de longo alcance para misturar componentes heterogêneos de conhecimento no nível da instrução antes da injeção.
• Injeção Residual: As características refinadas são adicionadas aos estados ocultos originais ($\tilde{H}^{(\ell)} = H^{(\ell)} + \Delta H^{(\ell)}$) antes do cálculo padrão de atenção.

3. Cabeças de Predição

A espinha dorsal guiada por memória suporta dois caminhos a jusante:

• Raciocínio Visual: Os estados ocultos da camada final são adaptados via atenção cruzada para prever latentes visuais futuros compactos (previsão visual).
• Inferência de Ação: Um especialista de ação leve usa o cache KV da espinha dorsal como contexto condicional para decodificar trajetórias de ação via denoising de correspondência de fluxo (flow-matching).

4. Eficiência do Sistema

A tabela de memória é projetada para busca O(1) relativa ao tamanho total da memória. Durante a inferência, os índices são determinados exclusivamente pela instrução e funções de hash fixas, permitindo que grandes tabelas de conhecimento residam na memória do host (CPU), enquanto a espinha dorsal permanece focada no raciocínio visual.

Contribuições Principais

1. Framework Funcionalmente Desacoplado: Key-Gram separa a recuperação de conhecimento do mundo do lado da instrução do raciocínio físico do lado da visão, reduzindo a competição de modalidades no controle incorporado.
2. Memória Externa Extensível: Armazena priores linguísticos reutilizáveis em uma memória estruturada acessada via busca hashada determinística. Isso permite expansão modular de conhecimento (adicionando novos objetos, habilidades ou relações) sem reescrever os pesos da espinha dorsal.
3. Ganhos Consistentes de Desempenho: A abordagem demonstra melhoria na fundamentação composicional, transferência e adaptação através de diversas formulações linguísticas e ambientes.

Resultados Experimentais

Os autores avaliaram Key-Gram em RoboTwin2.0, LIBERO, LIBERO-Plus e tarefas de manipulação de dois braços no mundo real usando as espinhas dorsais $\pi0$ e $\pi0.5$.

• RoboTwin2.0: Key-Gram melhorou as taxas de sucesso médias em 29,5% para $\pi0$ e 9,9% para $\pi0.5$. Os ganhos foram particularmente pronunciados em configurações "Difíceis" e com horizontes mais longos.
• Transferência LIBERO-Plus: Na transferência zero-shot de modelos treinados no LIBERO para o LIBERO-Plus (sem ajuste fino no domínio de destino), Key-Gram alcançou um ganho relativo de 35,8% para $\pi0$ e 4,5% para $\pi0.5$.
• Tarefas de Longo Horizonte no Mundo Real: Em uma plataforma de dois braços Piper, Key-Gram melhorou o desempenho médio em 15,4% ($\pi0$) e 8,1% ($\pi0.5$). Os maiores ganhos foram observados em tarefas de montagem, sugerindo que a memória ajuda a manter relações de objetos e estruturas de sub-objetivos.
• Tarefas de Expansão: Em combinações composicionais não vistas (por exemplo, recombinando objetos e alvos), Key-Gram melhorou substancialmente o desempenho (por exemplo, +34,6% e +41,7% para $\pi0$ em tarefas específicas de transferência), enquanto os modelos base frequentemente falhavam nestes cenários de recombinação.
• Estudos de Ablação: A análise de posicionamento de camadas revelou que injetar memória em camadas iniciais (por exemplo, Camada 1) é mais crítico, com retornos decrescentes para injeções mais profundas. Isso apoia a hipótese de que priores externos reduzem o ônus relacionado à instrução na espinha dorsal no início do pipeline de processamento.

Significado e Alegações

O artigo alega que separar a recuperação de conhecimento do mundo do lado da linguagem do raciocínio físico do lado da visão fornece um viés indutivo mais eficaz para inteligência incorporada do que a fusão densa de tokens ou condicionamento generativo grosseiro.

Key-Gram aborda a tensão entre conhecimento estático do mundo e raciocínio físico online tratando a linguagem como um índice extensível em vez de um fluxo de tokens competidor. Ao externalizar o conhecimento para uma tabela de memória modular, o framework permite:

• Crescimento Modular de Conhecimento: Novo conhecimento pode ser anexado como novas entradas sem sobrescrever pesos existentes.
• Proteção contra Interferência de Gradiente: A memória existente é protegida durante a adaptação da espinha dorsal, tornando a arquitetura naturalmente compatível com implantação em mundo aberto e acumulação contínua.
• Escalabilidade Eficiente: O padrão de busca O(1) e a separação de memória da computação permitem o manuseio eficiente de grandes bases de conhecimento sem aumentar o custo computacional da espinha dorsal visual.

Os autores concluem que esta direção leve e extensível oferece um mecanismo prático para melhorar a fundamentação composicional e a transferência na manipulação incorporada.