Resumo Técnico: Direcionamento de Políticas de Visão-Linguagem-Ação Autoregressivas via Intervenção de Tokens de Ação

1. Declaração do Problema

Políticas de Visão-Linguagem-Ação (VLA), como RT-2, OpenVLA e $\pi^0$, demonstraram uma generalização robusta ao combinar pré-treinamento de linguagem e visão em larga escala com dados de trajetórias robóticas. No entanto, esses sistemas enfrentam desafios persistentes no aterramento (grounding) da linguagem no mundo físico, na execução de raciocínio de longo horizonte e na adaptação em tempo real. As falhas frequentemente derivam de erros pequenos, ao nível da trajetória, que humanos reconheceriam e corrigiriam imediatamente.

As interfaces existentes para orientação autônoma apresentam uma dicotomia:

• Prompt de Linguagem: Embora flexível, a linguagem é mal adequada para a correção de trajetória fina e em tempo real.
• Teleoperação Total: O controle direto remove a destreza autônoma e os priors de tarefa aprendidos pela política.

O desafio central é permitir que os usuários influenciem o comportamento do robô durante as execuções (rollouts) para corrigir erros ou guiar a intenção sem sobrepor as capacidades aprendidas pela política ou exigir retreinamento.

2. Metodologia: Direcionamento de Tokens (TS)

Os autores propõem o Token Steering (TS), um método de inferência para direcionar políticas VLA autoregressivas através da intervenção direta no espaço de tokens de ação. O TS opera sem modificar a arquitetura subjacente do VLM, não exigindo treinamento adicional ou ajuste fino (finetuning).

Mecanismo Central

O TS explora a estrutura discreta e autoregressiva da geração de tokens de ação (especificamente usando o modelo $\pi^0$-FAST). Em vez de substituir sinais de controle de baixo nível, o TS injeta tokens de direcionamento gerados pelo usuário diretamente na sequência de ação autoregressiva. A política então completa o restante da trajetória de forma autoregressiva, condicionada a este prefixo modificado.

O processo envolve três etapas principais:

1. Codificação de Entrada: Uma entrada de usuário de baixa dimensão $u \in \mathbb{R}^6$ (ex: direções de teclado) é convertida em um vetor de velocidade cartesiana ($v_{cart}$).
2. Transformação Cinemática: A velocidade cartesiana é transformada em velocidade de junta do robô ($\dot{q}$) via cinemática inversa ($\dot{q} = J(q)^\dagger v_{cart}$).
3. Injeção de Tokens: A velocidade de junta é preenchida até o horizonte de ação, transformada no domínio da frequência usando uma Transformada de Cosseno Discreta (DCT) e tokenizada via Byte-Pair Encoding (BPE) para criar tokens FAST. Um subconjunto desses tokens (definido por um índice inicial $b$ e tamanho de janela $w$) substitui os tokens correspondentes no buffer autoregressivo da política. A política então gera o restante da sequência baseada no prefixo modificado, observações visuais, instruções de linguagem e estado do robô.

Estratégia de Tokenização

O método baseia-se na tokenização FAST, que representa trajetórias robóticas no domínio da frequência.

• Os tokens representam trajetórias decompostas em coeficientes ordenados por frequência.
• Tokens de baixa frequência codificam a estrutura global grosseira da trajetória.
• Tokens de alta frequência codam refinamentos de movimento finos.
  Esta estrutura hierárquica permite que o TS influencie a semântica global ao editar tokens iniciais, preservando a suavidade local.

3. Contribuições Principais e Descobertas

O artigo apresenta três descobertas primárias derivadas de experimentos na plataforma robótica DROID:

1. Direcionamento Controlável com Autonomia Preservada: A injeção parcial de tokens permite o direcionamento controlável enquanto mantém a capacidade da VLA de gerar trajetórias suaves, temporalmente coerentes e dinamicamente viáveis. A política retém sua destreza aprendida, utilizando a entrada do usuário como um guia, em vez de uma sobreposição (override) rígida.
2. Influência Dependente da Frequência: A edição de tokens FAST de baixa frequência influencia desproporcionalmente a semântica global da trajetória (ex: direção do movimento), enquanto a edição de tokens de alta frequência afeta primariamente os refinamentos locais. A injeção de tokens de baixa frequência produz taxas de sucesso de direcionamento significativamente maiores.
3. Correção de Falhas de Aterramento: O TS permite que os usuários corrijam "falhas de aterramento" (onde o robô seleciona o objeto errado com base na linguagem) e completem tarefas de longo horizonte dependentes de estado que uma VLA autoregressiva de linha de base falharia em executar.

Resultados Experimentais

Os autores avaliaram o TS em duas tarefas de manipulação doméstica:

• Tarefa 1: Fechamento de Gaveta (Pós-Posicionamento)

  • Linha de Base: O $\pi^0$-FAST alcançou uma taxa de sucesso de 10,0%.
  • Com TS: A taxa de sucesso melhorou para 72,5%.
  • Eficiência: O tempo de conclusão mediana diminuiu de 74,0s para 42,0s.
  • Observação: Usuários puderam guiar o gripper para uma posição ideal para fechar a gaveta suavemente, enquanto a política lidava com os detalhes do movimento fino, evitando impactos bruscos.

• Tarefa 2: Troca de Objeto Consciente de Estado

  • Linha de Base: A política autônoma alcançou 0% de sucesso (falhando em trocar esponjas devido à falta de memória e rastreamento de estado).
  • Com TS: A taxa de sucesso melhorou para 93,8%.
  • Observação: Usuários gerenciaram a lógica de alto nível da tarefa (rastreando estados e posições das esponjas) via direcionamento, enquanto a política executava a manipulação destre.

Robustez e Entropia

O estudo investigou se a injeção de tokens fora da distribuição (OOD) causa um "colapso de entropia" (perda de diversidade da política). Os resultados mostraram que, embora a entropia caia temporariamente imediatamente após a injeção de tokens, ela se recupera rapidamente. A política retém a capacidade de gerar ações diversas (ex: ajustar a orientação da pegada para blocos orientados aleatoriamente), indicando que o TS enviesa a geração da trajetória sem destruir a adaptabilidade autônoma.

4. Significância

O artigo afirma que os espaços de tokens de ação autoregressivos não são meramente representações comprimidas de trajetórias, mas servem como interfaces semânticas controláveis para o comportamento de robôs guiados por humanos durante a inferência.

• Acessibilidade: Ao permitir o direcionamento leve e intuitivo (ex: via teclado ou potencialmente Interfaces Cérebro-Computador), o TS amplia a acessibilidade para indivíduos com controle físico limitado que não podem realizar a teleoperação total.
• Aplicabilidade Zero-Shot: Como o TS opera inteiramente no tempo de inferência sem retreinamento, ele pode ser aplicado em diferentes tarefas e ambientes imediatamente.
• Interação Humano-Robô: A interface permite um modelo de "autonomia compartilhada", onde usuários fornecem intenção de alto nível (direção/correção) e a VLA lida com a destreza de baixo nível, potencialmente melhorando a segurança e o sucesso da tarefa em ambientes domésticos.

Os autores observam limitações quanto à latência de inferência inerente aos modelos autoregressivos em comparação com abordagens baseadas em difusão, mas enfatizam que o TS fornece um novo mecanismo para intervenção em tempo real em modelos de fundação sem mudanças arquiteturais.