Resumo Técnico: Tokens de Ação Ordenados para Aprendizado de Políticas Visuomotoras

Declaração do Problema

A tokenização de ações serve como a interface crítica entre o controle robótico contínuo e a modelagem de sequência em políticas visuomotoras modernas. No entanto, as abordagens existentes falham em satisfazer simultaneamente três propriedades essenciais exigidas para um aprendizado de política eficaz:

1. Alta Compressão: As sequências de tokens devem ser compactas para minimizar a dificuldade de treinamento e a latência de inferência.
2. Decodificabilidade Total: Sequências arbitrárias de tokens geradas por uma política devem decodificar de forma confiável em ações contínuas executáveis.
3. Estrutura de Tokens Ordenada: A sequência de tokens deve organizar as informações relevantes para o controle de tal forma que os primeiros tokens capturem movimentos grosseiros de alto impacto, enquanto os tokens posteriores refinam detalhes residuais. Esta estrutura "do grosso para o fino" (coarse-to-fine) alinha-se com o viés indutivo de previsão do próximo token em modelos autorregressivos e fornece supervisão significativa para modelos de visão-linguagem (VLMs).

Os métodos atuais satisfazem subconjuntos desses desideratos, mas não todos simultaneamente. O agrupamento por dimensão (per-dimension binning) é totalmente decodificável, mas produz sequências proibitivamente longas. Tokenizadores no domínio da frequência (ex: FAST) oferecem ordenação, mas carecem de decodificabilidade total devido a problemas de expansão de comprimento variável. Tokenizadores latentes aprendidos (ex: QueST, ACodec) fornecem compressão, mas frequentemente carecem de uma estrutura ordenada explícita que coloque a informação de controle global precocemente, limitando sua eficácia como alvos de política.

Metodologia: Tokenização de Ação Ordenada (OAT)

Os autores propõem a Tokenização de Ação Ordenada (OAT), um tokenizador aprendido projetado para satisfazer todos os três desideratos. O OAT discretiza blocos de ações contínuas em sequências de tokens compactas, totalmente decodificáveis e ordenadas.

Arquitetura

O OAT emprega uma arquitetura encoder-decoder com um gargalo discreto:

• Gargalo de Registros (Register Bottleneck): O encoder utiliza tokens de "registro" aprendíveis (inspirados em registros de ViT) para realizar atenção cruzada (cross-attend) a todas as posições no bloco de ação contínua. Esses registros agregam informações temporais em uma sequência de estados latentes de comprimento fixo.
• Quantização Escalar Finita (FSQ): Os estados de registro latentes são discretizados em um vocabulário fixo usando FSQ, garantindo que cada índice de vocabulário mapeie para um bloco de ação contínua válido (Decodificabilidade Total).
• Decoder: Um decoder Transformer de atenção cruzada reconstrói o bloco de ação contínua a partir dos estados de registro quantizados.

Treinamento: Reconstrução de Prefixo Aninhado

Para induzir a ordenação desejada do grosso para o fino, o OAT utiliza a Reconstrução de Prefixo Aninhado durante o treinamento:

• Dropout Aninhado (Nested Dropout): O objetivo de treinamento amostra um orçamento de reconstrução $K$ de um conjunto de orçamentos (ex: $\{1, 2, 4, \dots, H_l\}$). O decoder é treinado para reconstruir o bloco de ação completo usando apenas os primeiros $K$ tokens, com o sufixo restante mascarado.
• Alocação de Informação: Isso força os primeiros tokens a carregar informações de controle grosseiras e globalmente salientes necessárias para uma ação plausível, enquanto os tokens posteriores refinam detalhes residuais. Isso cria uma representação "progressiva" onde qualquer prefixo decoda para uma ação executável.
• Restrições de Fluxo de Registro: Os autores introduzem máscaras de autoatenção específicas para os registros para suportar diferentes cronogramas de geração. Eles definem duas variantes:
  • $OAT_{sing}$ (Por Token): Utiliza atenção causal padrão, impondo uma ordem de dependência estrita em cada token.
  • $OAT_{pow2}$ (Potência de Dois): Utiliza atenção causal por blocos (block-causal attention) onde os registros dentro de um grupo de potência de dois não podem atender uns aos outros, apenas aos grupos anteriores. Isso permite uma decodificação autorregressiva em blocos escalável.

Interfaces de Política

O OAT é validado em dois paradigmas de política predominantes:

1. Políticas Autorregressivas (AR): A política gera tokens OAT sequencialmente (ou em blocos), que são então destokenizados em ações. A estrutura ordenada suporta orçamentos de inferência variáveis, permitindo que o sistema troque custo de inferência por fidelidade de ação.
2. Co-Treinamento de Tokens (TC): O VLM é treinado para prever tokens OAT (supervisão), enquanto um especialista de correspondência de fluxo (flow-matching) separado gera ações contínuas a partir do contexto desvinculado do VLM. Aqui, o primeiro token OAT atua como um resumo "semelhante a um plano" de todo o bloco de ação, fornecendo um objetivo global forte para a representação de preenchimento (prefill) do VLM.

Geração Escalável

O artigo introduz um framework de Autorregressão por Blocos (BAR) que unifica a geração por token, a decodificação paralela de um único passo e os cronogramas de blocos intermediários. Especificamente, a variante $OAT_{pow2}$ combinada com um cronograma de geração de potência de dois reduz a profundidade de chamada sequencial da política de $O(H_l)$ para $O(\log H_l)$, melhorando significativamente a eficiência de inferência sem sacrificar o desempenho.

Principais Contribuições

1. Formalização dos Desideratos: O artigo identifica e formaliza alta compressão, decodificabilidade total e estrutura de token ordenada como os três requisitos principais para a tokenização de ação como uma interface de política.
2. Algoritmo OAT: A proposta de um tokenizador aprendido que satisfaz esses requisitos através de compressão baseada em registros, FSQ e treinamento de prefixo aninhado.
3. Framework de Decodificação Escalável: A introdução de um framework BAR que unifica vários cronogramas de geração, demonstrando como o agrupamento de potência de dois pode reduzir drasticamente a latência de inferência.
4. Validação Abrangente: Experimentos extensos em três backbones de política (Transformer leve, PaliGemma2, Qwen3VL) e mais de 60 tarefas (simuladas e do mundo real) cobrindo tanto os paradigmas AR quanto TC.

Resultados Experimentais

• Taxa-Distorção: O OAT traça uma curva suave de erro de reconstrução vs. orçamento de tokens, demonstrando que prefixos de comprimentos variados decodam para ações progressivamente mais precisas.
• Políticas Leves: Em controle de malha fechada com um backbone Transformer fixo, o OAT supera consistentemente os baselines (Bin, FAST, QueST, ACodec). O desempenho escala com o orçamento de tokens, com o $OAT_{sing}^{8}$ alcançando as maiores taxas de sucesso em LIBERO, RoboMimic, MetaWorld e tarefas do mundo real.
• VLMs Autorregressivos: O OAT melhora as taxas de sucesso para grandes VLMs (PaliGemma2, Qwen3VL). A variante de potência de dois ($OAT_{pow2}$) iguala o desempenho da geração por token enquanto requer significativamente menos chamadas de política (ex: 5 chamadas vs. 16 para a geração completa).
• Co-Treinamento de Tokens: Mesmo quando os tokens não são decodificados na inferência, a supervisão OAT leva a representações de VLM superiores. O OAT alcança o maior sucesso médio em configurações de TC, superando QueST e ACodec em vários benchmarks, validando a hipótese de supervisão "semelhante a um plano".
• Ablações: Remover o treinamento de prefixo ordenado (dropout aninhado) degrada significativamente o desempenho, confirmando que a estrutura do grosso para o fino é crítica. Além disso, o descasamento da estrutura de atenção do registro com o cronograma de geração (ex: usar $OAT_{sing}$ com blocos de potência de dois) reduz o desempenho, destacando a necessidade de alinhamento entre o design do tokenizador e o cronograma de inferência.

Significância e Alegações

O artigo afirma que o OAT fornece uma interface robusta e flexível para o aprendizado de política visuomotora. Ao satisfazer o trio de compressão, decodificabilidade e ordenação, o OAT permite:

• Inferência Flexível: As políticas podem escolher adaptativamente orçamentos de tokens para equilibrar latência e fidelidade.
• Melhor Aprendizado: A estrutura ordenada alinha-se com os vieses indutivos de modelos autorregressivos e fornece supervisão global significativa para VLMs em configurações de co-treinamento.
• Escalabilidade: A integração com BAR permite a inferência eficiente em modelos grandes sem a penalidade de profundidade linear da geração padrão por token.

Os autores concluem que, embora o estudo seja limitado a benchmarks e backbones específicos, os princípios de design do OAT oferecem uma solução generalizável para o problema da tokenização de ação, abrindo caminho para sistemas de IA incorporada mais eficientes e capazes. Eles observam que trabalhos futuros poderiam explorar a computação adaptativa, onde as políticas decidem dinamicamente o orçamento de tokens necessário com base na complexidade ou incerteza da tarefa.