KineVLA: Towards Kinematics-Aware Vision-Language-Action Models with Bi-Level Action Decomposition

Resumo Técnico: KineVLA

1. O Problema

Os modelos de Visão-Linguagem-Ação (VLA) atuais demonstraram forte desempenho em tarefas de manipulação robótica orientadas a objetivos. No entanto, eles operam sob uma suposição implícita de equivalência de objetivos: instruções que descrevem o mesmo objetivo final (ex: "colocar a garrafa na prateleira") são tratadas como executáveis com trajetórias de movimento intercambiáveis.

Na interação humano-robô do mundo real, essa suposição falha frequentemente. Instruções semanticamente equivalentes podem exigir trajetórias e orientações de efetuador final distintas e não intercambiáveis devido a restrições cinemáticas explícitas (posição, orientação, distância, direção de movimento).

• Exemplo: "Coloque a garrafa na gaveta" vs. "Coloque a garrafa na gaveta com o rótulo virado para a esquerda". Embora o objetivo seja o mesmo, a trajetória e a orientação final são fundamentalmente diferentes.
• Limitação Atual: Os VLAs existentes são otimizados para determinar o que fazer (agarrar, colocar), mas não como fazer com precisão cinemática (em qual orientação, distância exata, etc.). Eles são insensíveis a especificações cinemáticas de alto nível expressas em linguagem natural.

2. Metodologia

Para abordar esse desafio, os autores propõem o KineVLA, um framework que desacopla explicitamente a invariância do nível de objetivo da variabilidade do nível de cinemática. A metodologia baseia-se em três pilares principais:

A. Representação de Ação de Dois Níveis (Bi-Level Action Representation)
Em vez de usar um único espaço de tokens para todas as ações, o KineVLA utiliza um esquema de quantização vetorial residual (RVQ-VAE) que decompõe as ações em dois espaços latentes complementares:

1. Nível de Objetivo (Coarse-grained): Captura a estrutura de baixa frequência e o objetivo semântico da tarefa (ex: "pegar o objeto").
2. Nível de Cinemática (Fine-grained): Codifica parâmetros de movimento precisos e de alta frequência, como direção, distância, velocidade e correções de contato.

• Treinamento: Utiliza um esquema de duas etapas. Primeiro, treina-se o caminho de objetivo em dados amplos (multi-tarefa). Em seguida, o caminho de cinemática é treinado (fine-tuning) em dados ricos em cinemática, mantendo o código de objetivo congelado, permitindo que o modelo aprenda variações sutis de movimento sem perder a estabilidade do objetivo.

B. Tokens de Raciocínio de Dois Níveis (Bi-Level Reasoning Tokens)
Para alinhar a linguagem com a ação, o modelo gera tokens de texto de raciocínio (inspirados em Chain-of-Thought) antes de gerar os tokens de ação:

• Raciocínio Grosso: Descreve o objetivo geral da tarefa.
• Raciocínio Fino: Especifica parâmetros cinemáticos chave e pontos de ancoragem.
  Esses tokens atuam como variáveis intermediárias supervisionadas explícitas que guiam a geração da ação.

C. Regularização por Informação Mútua
Para garantir que o raciocínio textual e a ação gerada estejam semanticamente alinhados e não desconectados, o modelo maximiza a informação mútua condicional $I(\text{Raciocínio}; \text{Ação} | \text{Contexto})$. Isso é feito usando uma função de perda do tipo InfoNCE, que puxa os pares correspondentes de embeddings (texto, ação) para mais perto e empurra os pares incompatíveis para mais longe.

3. Contribuições Principais

1. Nova Tarefa de Manipulação Rica em Cinemática: Introduz um novo paradigma onde os objetivos da tarefa permanecem invariantes, mas as trajetórias de execução devem se adaptar a especificações cinemáticas de nível de instrução.
2. Arquitetura KineVLA: Um modelo VLA com representação de ação quantizada vetorialmente de dois níveis e tokens de raciocínio explícitos, permitindo controle interpretável e sensível à cinemática.
3. Novos Conjuntos de Dados (Datasets): Construção de três conjuntos de dados ricos em cinemática (dois em simulação e um em robô real - Realman-75), totalizando 378k quadros. Esses dados incluem instruções linguísticas detalhadas e anotações de raciocínio de dois níveis, cobrindo variações de partes de objetos, restrições de ação e relações espaciais.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de simulação (LIBERO) e em um robô real (Realman-75), comparando o KineVLA com modelos de ponta como OpenVLA, $\pi0.5$ e VQ-VLA.

• Desempenho em Sucesso de Objetivo vs. Cinemática:
  • Todos os modelos atingiram taxas de sucesso semelhantes na conclusão do objetivo geral (ex: colocar o objeto no lugar).
  • No entanto, o KineVLA superou significativamente os baselines na taxa de sucesso cinemático (ex: orientação correta do rótulo, trajetória específica). Os modelos baselines tendiam a colapsar as variações cinemáticas finas, enquanto o KineVLA as seguia com precisão.
• Análise de Raciocínio (Intervenção):
  • Ao substituir os tokens de raciocínio previstos por tokens aleatórios ou incompatíveis, a taxa de sucesso cinemático caiu drasticamente (de ~76% para ~52%), enquanto o sucesso do objetivo geral permaneceu estável. Isso prova que os tokens de raciocínio são causalmente responsáveis por ancorar as restrições cinemáticas na ação.
• Eficiência:
  • O tempo de inferência do KineVLA (96ms) é comparável aos métodos de VQ-VAE de nível único e significativamente mais rápido que modelos baseados em difusão, demonstrando que a decomposição de dois níveis não impõe um custo computacional proibitivo.

5. Significado e Impacto

O KineVLA representa um avanço crucial na robótica baseada em aprendizado, preenchendo a lacuna entre a compreensão semântica de alto nível e o controle motor de precisão.

• Personalização: Permite que robôs executem tarefas de organização de mesa e manipulação de objetos com personalização fina baseada em linguagem natural, atendendo a preferências específicas do usuário (ex: "virado para a esquerda").
• Interpretabilidade: A estrutura de raciocínio de dois níveis torna o processo de decisão do robô mais transparente e auditável.
• Generalização: Ao desacoplar o objetivo da execução cinemática, o modelo demonstra maior robustez e capacidade de generalização em cenários onde as restrições físicas e espaciais variam, mesmo para o mesmo objetivo semântico.

Em resumo, o trabalho demonstra que modelar a cinemática como um componente de "primeira classe" é essencial para tarefas de manipulação robótica avançadas, indo além da simples execução de objetivos para a execução precisa e controlada de movimentos.