Resumo Técnico: Execução em Tempo Real com Políticas Autoregressivas

1. Declaração do Problema

A implantação de modelos de Visão-Linguagem-Ação (VLA) de grande escala na robótica enfrenta um gargalo crítico: a latência de inferência. Os grandes tamanhos de parâmetros inerentes aos modelos de fundação causam o paradigma "pensar-então-mover" (inferência síncrona) a induzir um tempo de ociosidade significativo do robô. Durante essa pausa, o robô não consegue reagir a mudanças ambientais, sacrificando tanto a reatividade quanto a velocidade de conclusão da tarefa.

Embora trabalhos recentes tenham abordado a execução em tempo real (inferência assíncrona ou "pensar-enquanto-move"), eles se concentraram principalmente em políticas baseadas em difusão (decodificação paralela). As políticas autoregressivas (decodificação sequencial), que oferecem vantagens em velocidade de convergência e generalização de seguimento de instruções, têm sido amplamente excluídas da pesquisa de execução em tempo real. Isso ocorre porque sua natureza sequencial resulta tipicamente em uma latência mais alta ($\delta_{t,H}$), tornando-as inadequadas para os requisitos rigorosos de tempo do controle assíncrono, onde o robô deve receber ações continuamente sem pausas.

O desafio central é permitir que as políticas autoregressivas operem em tempo real sem sacrificar seus benefícios inerentes, garantindo que o robô receba um fluxo contínuo de ações, apesar da latência variável e frequentemente alta da geração de token por token.

2. Metodologia

Os autores propõem o $\pi_0$-REALFAST, um framework que permite a execução em tempo real para políticas autoregressivas através de quatro ajustes técnicos fundamentais:

A. Desacoplamento de Horizontes de Ação e Tokenização

Os autores redefinem a estratégia de chunking de ação. Em vez de tokenizar todo o horizonte de ação $H$ de uma vez, eles definem $H = 2m$ e tokenizam em dois estágios:

1. Prefixo de Condicionamento: As primeiras $m$ ações (já executadas ou na fila) são tokenizadas como um prefixo ($T_m(A_{0:m})$).
2. Predição: O modelo prevê as próximas $m$ ações ($T_m(A_{m:2m})$) condicionadas ao prefixo e à observação atual.
   Isso reduz o número de tokens a serem decodificados em um único passo de inferência, diminuindo diretamente a latência $\delta_{t,m}$ necessária para gerar o próximo chunk acionável.

B. Decodificação Restrita para Limites de Latência

Para garantir que o robô nunca pare, o sistema deve assegurar que o tempo para decodificar o próximo chunk ($\delta_{t,m}$) não exceda o tempo que o controlador consome o chunk atual ($d_m \cdot \Delta t$).

• Problema: Os comprimentos de token em modelos autoregressivos variam, tornando a latência imprevisível.
• Solução: Os autores implementam a decodificação restrita. Eles modelam o processo de decodificação como um "problema do troco" limitado usando programação dinâmica (DP).
  • Uma tabela de DP é pré-computada para determinar se uma sequência específica de comprimento de token $L$ pode ser validamente destokenizada dentro de um número máximo de passos $B$.
  • Durante a inferência, os logits para tokens que violariam o limite de latência (ou seja, que levariam a uma sequência que não pode ser destokenizada dentro de $B$ passos) são mascarados.
  • Isso garante que o processo de decodificação seja concluído dentro de um limite estrito de latência $\delta'$, garantindo que $d_m \le m$.

C. Decodificação de Múltiplas Trajetórias

Para maximizar o desempenho durante o tempo "ocioso" criado pelo gap de latência entre a inferência e o consumo da ação, os autores empregam a decodificação de múltiplas trajetórias.

• O modelo gera $N$ trajetórias candidatas (por exemplo, $N=4$) em paralelo.
• Como o prefixo (cache KV) é compartilhado, o overhead computacional é marginal.
• A melhor trajetória é selecionada com base na verossimilhança, melhorando as taxas de sucesso da tarefa sem aumentar o limite de latência de pior caso.

D. Loop de Inferência Assíncrona

O sistema opera de forma assíncrona:

1. O cliente (controlador do robô) mantém uma Fila de Ações (AQ - Action Queue).
2. O servidor (política) decodifica os próximos $m$ tokens condicionados ao prefixo da AQ.
3. Assim que a decodificação é concluída (dentro do limite), o novo chunk é anexado à AQ.
4. O robô executa ações da AQ continuamente, garantindo que não ocorram pausas mesmo se a política ainda estiver computando o próximo chunk.

3. Principais Contribuições

1. Viabilidade de Execução Autoregressiva em Tempo Real: O artigo demonstra que políticas autoregressivas podem alcançar a execução em tempo real, desafiando a suposição de que são lentas demais para o controle assíncrono.
2. Decodificação com Garantia de Latência: A introdução da decodificação restrita via programação dinâmica garante limites estritos de latência, um pré-requisito para evitar a parada do robô em configurações assíncronas.
3. Otimização de Desempenho: A combinação de horizontes de tokenização reduzidos ($m$) e decodificação de múltiplas trajetórias permite que as políticas autoregressivas superem as políticas de correspondimento de fluxo (diffusion/flow-matching) de nível equivalente em cenários de tempo real.
4. Robustez à Latência Externa: O método mantém altas taxas de sucesso mesmo quando as latências externas (rede/sensores) variam, desde que a frequência de inferência ($d_m$) seja gerenciada corretamente.

4. Resultados Experimentais

Os autores avaliaram o $\pi_0$-REALFAST (ajustado finamente a partir do $\pi_0$-FAST) contra baselines incluindo $\pi_0$ (flow-matching) e $\pi_0.5$ (flow-matching com tokenizador FAST) em ambientes simulados e reais.

• Ambiente Simulado (LIBERO):

  • O $\pi_0$-REALFAST superou consistentemente o $\pi_0$ com Real-Time Action Chunking (RTC) em todas as categorias de tarefas (Espacial, Objeto, Objetivo, Longa).
  • Alcançou desempenho comparável ao mais avançado $\pi_0.5$, apesar de o $\pi_0.5$ ter sido treinado em conjuntos de dados maiores.
  • O estudo destacou que impor $d_m \le m$ (permitindo que a frequência de inferência seja menor que a taxa de consumo de ação) é mais robusto do que a sincronização estrita $d_m = m$, que causou degradação de desempenho no $\pi_0$.

• Ambiente Real (DROID):

  • Em tarefas de manipulação de mesa zero-shot, o $\pi_0$-REALFAST superou significativamente a baseline síncrona $\pi_0$-FAST.
  • Superou o $\pi_0$ e mostrou desempenho comparável ao $\pi_0.5$.
  • Análise Qualitativa: Ao contrário da inferência síncrona, que frequentemente levava a colisões devido ao excesso de curso (incapacidade de ajustar durante a trajetória), o $\pi_0$-REALFAST ajustou trajetórias com sucesso em tempo real para evitar colisões, demonstrando o valor crítico de atualizações de ação frequentes.

• Estudos de Ablação:

  • Decodificação Restrita: A remoção da decodificação restrita levou à degradação do desempenho, confirmando sua necessidade para confiabilidade.
  • Passos de Treinamento: O modelo atingiu o pico de desempenho rapidamente (dentro de 6k passos), consistente com as propriedades de convergência rápida das políticas autoregressivas.
  • Multi-Trajetória: Aumentar $N$ (número de trajetórias) melhorou as taxas de sucesso, validando a utilidade de utilizar o tempo de computação ocioso.

5. Significância e Alegações

O artigo afirma que as políticas autoregressivas são uma escolha competitiva e viável para o controle robótico em tempo real, desde que a latência de inferência seja gerenciada através de estratégias específicas de arquitetura e decodificação.

• Reavaliação de Trade-offs: Os autores argumentam que o campo tem priorizado excessivamente a redução da latência de inferência (para garantir reatividade) em detrimento da robustez e generalização da política. Seus resultados sugerem que uma latência ligeiramente maior, porém limitada, quando combinada com as capacidades de generalização autoregressivas, produz melhores resultados de implantação do que políticas de baixa latência que carecem dessas capacidades.
• Suporte Nativo: As descobertas motivam o pré-treinamento de políticas autoregressivas para suportar nativamente a execução em tempo real, em vez de tratá-las como secundárias às abordagens baseadas em difusão.
• Limitações: Os autores notam modestamente que seus experimentos estão atualmente limitados a ambientes de mesa relativamente estáticos e de braço único. A extensão para tarefas bimanuais ou altamente dinâmicas exigiria a decodificação de mais tokens, impondo limites de latência mais rigorosos que podem necessitar de novas inovações arquitetônicas (por exemplo, decodificação especulativa).

Em conclusão, o trabalho estabelece que, com inferência assíncrona, ajuste de horizonte de tokenização e decodificação restrita, as políticas autoregressivas podem igualar ou superar o desempenho de suas contrapartes baseadas em difusão em implantações robóticas de tempo real, aproveitando suas propriedades superiores de seguimento de instrução e convergência.