Resumo Técnico: De Pixels a Tokens: Um Estudo Sistemático de Supervisão de Ação Latente para Modelos Visão-Linguagem-Ação

1. Declaração do Problema

Os modelos Visão-Linguagem-Ação (VLA) emergiram como um paradigma para aprender políticas robóticas generalistas através do treinamento em conjuntos de dados em grande escala. No entanto, um gargalo crítico permanece: os dados de treinamento são altamente heterogêneos, abrangendo espaços de ação inconsistentes de várias plataformas robóticas e vídeos humanos. Essa heterogeneidade frequentemente leva à degradação do desempenho devido a semânticas de ação incompatíveis entre domínios.

Para abordar isso, pesquisadores propuseram ações latentes como representações intermediárias para abstrair o movimento a partir de transições visuais ou ações brutas, fornecendo um sinal de supervisão unificado. Apesar de seu potencial, as abordagens para supervisionar VLAs com ações latentes permanecem fragmentadas. Métodos existentes variam de supervisão de tokens discretos a objetivos de aprendizado auxiliares, frequentemente entrelaçando a formulação da ação latente com designs arquitetônicos específicos de VLA. Consequentemente, a estratégia ótima para integrar a supervisão de ação latente no aprendizado de políticas VLA permanece incerta.

2. Metodologia

Este trabalho estrutura o estudo da supervisão de ação latente sob uma linha de base VLA unificada (baseada em Qwen3-VL-2B com ajuste fino LoRA) para isolar os efeitos da formulação e da integração. Os autores categorizam as estratégias de integração em duas perspectivas complementares baseadas na direção de mapeamento entre o espaço Visão-Linguagem (VL) e os espaços de ação:

Perspectiva 1: Regularização da Trajetória (Ações Latentes Baseadas em Imagem)

Esta perspectiva usa ações latentes baseadas em imagem como planos visuais de alto nível para guiar a tomada de decisão do VLM. Os autores propõem três estratégias:

• Estratégia 1: Alinhamento de Representação Implícita (LA-Align): Um objetivo auxiliar alinha representações internas do VLM (especificamente estados ocultos de espaços reservados para ação) com embeddings de ação latente contínua de verdade derivadas de transições visuais usando similaridade de cosseno.
• Estratégia 2: Decodificação Direta Explícita (LA-Direct): O VLM é supervisionado diretamente para prever ações latentes baseadas em imagem como uma sequência de tokens discretos em posições de espaço reservado dedicadas. O bloco de ação contínuo é subsequentemente decodificado desses tokens latentes.
• Estratégia 3: Decodificação Condicional Explícita (LA-Cond): O VLM prevê conjuntamente planos latentes e representações de ação. O segmento de ação é condicionado ao plano latente previsto via mascaramento de atenção causal, impondo um fluxo de geração "planejar-então-agir".

Perspectiva 2: Unificação do Espaço Alvo (Ações Latentes Baseadas em Ação)

Esta perspectiva preenche a lacuna de modalidade reformulando o próprio alvo de supervisão.

• Estratégia 4: Mapeamento Ação-para-Token (LA-Tok): Blocos de ação contínua são discretizados em um espaço de tokens compartilhado usando um modelo de ação latente baseado em ação personalizado (um VQ-VAE com características de convolução no domínio da frequência e temporal). O VLM é então supervisionado diretamente para prever esses tokens de ação discretos como o alvo principal de treinamento.

Objetivo Unificado: Todas as estratégias compartilham a mesma espinha dorsal, design de espaço reservado e cabeçalho de ação. O objetivo de treinamento combina a perda padrão de reconstrução de ação contínua ($L_{action}$) com uma perda de supervisão latente ($L_{latent}$), equilibrada por um peso $\lambda$.

3. Principais Contribuições

O artigo faz três contribuições primárias:

1. Estudo Sistemático: Isola os efeitos da formulação de ação latente e da integração arquitetônica sob uma linha de base unificada, indo além da avaliação de modelos específicos para entender o próprio mecanismo de supervisão.
2. Categorização e Proposta: Define duas perspectivas complementares (Regularização de Trajetória vs. Unificação de Alvo) e propõe quatro estratégias distintas de integração.
3. Análise Empírica: Fornece extensa análise empírica revelando uma "correspondência formulação-tarefa" e identificando os sinais de supervisão mais eficazes.

4. Resultados Experimentais

Os autores avaliaram as quatro estratégias nos benchmarks LIBERO (raciocínio de longo horizonte) e RoboTwin 2.0 (complexidade motora, dois braços), bem como em experimentos do mundo real em um braço robótico JAKA.

Principais Descobertas:

• Correspondência Formulação-Tarefa:
  • Ações latentes baseadas em imagem (Estratégias 1–3) beneficiam significativamente o raciocínio de longo horizonte e a generalização ao nível da cena. No LIBERO-Long, essas estratégias melhoraram as taxas de sucesso em 8,4%–10,8% sobre a linha de base. Em tarefas de empilhamento do mundo real, demonstraram desempenho superior em manipulação multi-estágio.
  • Ações latentes baseadas em ação (Estratégia 4) excel em coordenação motora complexa. No RoboTwin 2.0, o LA-Tok alcançou o melhor desempenho, melhorando a taxa média de sucesso em 17,5% sobre a linha de base, provavelmente devido ao sinal de supervisão estruturado fornecido pela discretização de ações contínuas.
• Estratégia de Integração Ótima:
  • A supervisão explícita (prever tokens discretos) consistentemente superou o alinhamento implícito.
  • Supervisionar diretamente o VLM para prever tokens de ação latente discretos (LA-Direct e LA-Tok) produziu o desempenho mais eficaz no geral. O LA-Direct liderou no LIBERO, enquanto o LA-Tok liderou no RoboTwin.
  • Discreto vs. Contínuo: A supervisão de tokens discretos consistentemente superou a regressão contínua de embeddings latentes, sugerindo que a tokenização fornece uma restrição arquitetônica mais forte.
• Robustez e Generalização:
  • A supervisão de ação latente melhorou consistentemente a robustez em tarefas de pegar-e-colocar do mundo real Fora da Distribuição (OOD), onde a linha de base degradou significativamente (por exemplo, a pontuação média OOD caiu de 17 para 75 para o LA-Direct).
  • No treinamento conjunto multi-tarefa, a supervisão de ação latente (especificamente LA-Cond) mitigou a transferência negativa, permitindo que um único modelo aprendesse tarefas diversas sem a instabilidade de desempenho observada na linha de base.

5. Significado e Alegações

O artigo alega que as ações latentes servem como uma representação intermediária eficaz para o treinamento de VLA, oferecendo orientação prática para o treinamento de políticas robóticas generalistas. O significado central reside na descoberta de que a escolha da formulação de ação latente deve ser dependente da tarefa:

• Use ações latentes baseadas em imagem para tarefas que exigem planejamento de longo horizonte e compreensão de cena.
• Use ações latentes baseadas em ação para tarefas que exigem controle motor complexo e de alta dimensão.
• Supervisionar diretamente o VLM com tokens latentes discretos é geralmente a estratégia de integração mais eficaz, fornecendo um alvo de supervisão simples e consistente que melhora a eficiência de amostragem e a robustez.

Os autores concluem que, embora seu estudo cubra designs representativos, oferece uma estrutura fundamental para selecionar estratégias de supervisão de ação latente, sugerindo uma direção promissora para futuros treinamentos de VLA em ambientes de dados mistos. Eles reconhecem limitações, incluindo o escopo das estratégias de integração estudadas e a restrição atual a avaliações do mundo real de braço único, identificando diversas encarnações robóticas como uma direção para trabalhos futuros.