Resumo Técnico: ThinkProprio: Raciocínio Visual Incorporado para Manipulação VLA

Problema

Modelos de Visão-Linguagem-Ação (VLA) emergiram como um paradigma poderoso para o controle robótico generalizável ao traduzir observações visuais e instruções em linguagem natural em ações executáveis. No entanto, os pipelines VLA atuais tipicamente introduzem sinais proprioceptivos (estado do robô, como ângulos de junta e pose do efetuador final) tardiamente na pilha de processamento, acoplando-os fracamente à percepção ou ignorando-os inteiramente.

Essa integração tardia impede que a incorporação física do robô molde a compreensão inicial da tarefa ou influencie quais tokens visuais devem ser atendidos ao longo da política. Consequentemente, o modelo falha em alavancar o estado fisicamente fundamentado para determinar quais elementos da cena são relevantes para ações espacialmente fundamentadas. Embora trabalhos recentes como $\pi^0$ e $\pi^{0.5}$ tenham começado a integrar a propriocepção mais cedo, o papel funcional da propriocepção permanece difícil de isolar devido às escolhas de design acopladas em relação à agregação de visão-linguagem e ao condicionamento do cabeçalho de ação.

Metodologia: ThinkProprio

Os autores propõem o ThinkProprio, uma arquitetura projetada para "pensar proprioceptivamente", tratando a propriocepção como uma modalidade de primeira classe que participa ativamente do raciocínio visual precoce. Os componentes centrais são:

1. Codificação de Estado Proprioceptivo via Tokenização de Texto

Ao contrário de métodos que utilizam MLPs (Perceptrons de Camada Multicamadas) aprendidos para projetar vetores de estado contínuos no espaço de embedding do VLM (o que pode introduzir desajustes de distribuição), o ThinkProprio discretiza os valores de estado proprioceptivo contínuo.

• Discretização: Valores de estado contínuos são limitados (clipped) e distribuídos uniformemente em bins.
• Tokenização: Esses índices de bin são mapeados para IDs de tokens específicos do vocabulário da tabela de embeddings do VLM pré-treinado.
• Integração: Os tokens proprioceptivos resultantes são concatenados com os tokens de instrução de linguagem na entrada do VLM. Isso permite que o estado do robô participe do mesmo espaço de embedding que a linguagem, permitindo o condicionamento visual consciente do estado sem camadas de projeção adicionais.

2. Seleção de Tokens Fisicamente Fundamentada

O ThinkProprio introduz um mecanismo para guiar a seleção de tokens visuais baseando-se tanto na instrução da tarefa quanto no estado proprioceptivo atual do robô.

• Geração de Query: Tokens de instrução ($H_l$) e tokens proprioceptivos ($H_p$) são concatenados para formar tokens de orientação ($H_q$).
• Pontuação (Scoring): Tokens visuais atendem a esses tokens de orientação para formar uma "query fisicamente fundamentada". Uma matriz de pontuação é computada através do pareamento de queries normalizadas com tokens visuais normalizados.
• Mecanismo de Seleção: O sistema emprega uma seleção discreta baseada em votação com um estimador straight-through (STE). Ruído de Gumbel é adicionado às pontuações para permitir o treinamento diferenciável. Tokens que recebem votos são retidos, enquanto outros são descartados.
• Contexto Global: Para evitar a perda de informações grosseiras da cena, um token de contexto global (médio sobre todos os tokens visuais) é anexado ao subconjunto selecionado.

3. Arquitetura e Treinamento

• Backbone: A sequência compacta de tokens visuais selecionados, contexto global, tokens proprioceptivos e tokens de linguagem é processada por um backbone de VLM pré-treinado.
• Cabeçalho de Ação (Action Head): O cabeçalho de ação condiciona-se nas características fundidas do VLM via atenção cruzada (cross-attention).
• Objetivo: O cabeçalho de ação é treinado usando flow matching (uma abordagem baseada em difusão) para prever chunks de ação contínua. O objetivo de treinamento minimiza o erro entre o campo de velocidade previsto e a velocidade alvo.

Principais Contribuições

1. Ablação Sistemática de Design VLA: O artigo fornece a primeira comparação sistemática dos eixos de design em modelos VLA, desacoplando a agregação visão-linguagem, mecanismos de condicionamento e pontos de entrada/codificação de propriocepção.
2. Tokenização de Texto de Propriocepção: Os autores demonstram que discretizar a propriocepção em tokens de texto e alimentá-los na entrada do VLM é mais eficaz do que usar projetores aprendidos ou mecanismos de condicionamento tardio. Isso alavanca a interface de token pré-treinada do VLM.
3. Seleção de Tokens Fisicamente Fundamentada: O método mostra que a orientação conjunta de instrução e propriocepção pode efetivamente enviesar a computação para evidências críticas à ação. Isso permite que o modelo retenha apenas ~15% dos tokens visuais enquanto iguala ou supera o desempenho de modelos que utilizam conjuntos de tokens completos.
4. Eficiência: Ao reduzir o número de tokens visuais processados pelo VLM e pelo cabeçalho de ação, a abordagem diminui significativamente os custos computacionais.

Resultados Experimentais

O método foi avaliado nos benchmarks CALVIN (divisão ABC→D) e LIBERO, bem como em tarefas de manipulação no mundo real.

• Desempenho da Tarefa:
  • CALVIN: O ThinkProprio alcançou um comprimento médio de cadeia completada de 4.55, superando baselines fortes como FLOWER (4.44) e $\pi^{0.5}$ (2.38). Mostrou ganhos particularmente fortes em tarefas de longo horizonte (LH-5), atingindo 82,1% de sucesso comparado a 77,8% do FLOWER.
  • LIBERO: O ThinkProprio alcançou uma taxa de sucesso média de 97,3%, competitiva com os melhores baselines (LightVLA com 97,4%) e atingindo a pontuação mais alta no conjunto LIBERO-Long (95,2%).
• Eficiência Computacional:
  • Latência: O ThinkProprio reduziu a latência de inferência end-to-end em 58% (de 52 ms para 22 ms no CALVIN) em comparação com o baseline FLOWER.
  • Redução de Tokens: O modelo processa uma média de apenas 15 tokens visuais por timestep (dos 100 disponíveis), reduzindo significativamente o comprimento da sequência para o VLM e o cabeçalho de ação.
  • VRAM: O uso de pico de VRAM foi reduzido para 1.9 GB, uma diminuição substancial comparado ao OpenVLA (14.5 GB).

Significância e Alegações

O artigo afirma que o ThinkProprio aborda com sucesso a limitação dos modelos VLA atuais onde a propriocepção é tratada como um sinal tardio. Ao tokenizar a propriocepção e fundi-la precocemente com as instruções de linguagem, o modelo pode moldar seu processo de raciocínio visual para priorizar evidências relevantes à incorporação.

Os autores afirmam que:

• A propriocepção deve ser explicitamente fornecida e participar ativamente durante a compreensão da tarefa, não apenas na etapa de geração de ação.
• A tokenização de texto de estado contínuo é uma estratégia de codificação superior aos projetores aprendidos, pois se alinha aos embeddings de tokens pré-treinados e permite que o estado participe do processo de raciocínio do VLM.
• A redução agressiva de tokens visuais é viável sem degradação de desempenho se a seleção for guiada por instrução e estado do robô.
• A abordagem gera um forte desempenho em tarefas de longo horizonte, ao mesmo tempo que reduz significativamente a latência de inferência e a pegada de memória, tornando-a um caminho viável para o controle robótico eficiente e incorporado.

O artigo conclui que, embora as imagens forneçam muitos sinais de estado implícitos, a integração adequada da propriocepção fornece informações fundamentadas adicionais que são críticas para a manipulação complexa, particularmente em cenários de longo horizonte que exigem extensas correções e dinâmicas de contato.