Resumo Técnico: Compreendendo Métodos de Inferência Assíncrona para Modelos Visão-Linguagem-Ação

1. Declaração do Problema

Modelos Visão-Linguagem-Ação (VLA) emergiram como um paradigma para controle de robôs generalistas, mapeando observações visuais e instruções de linguagem para ações. Políticas VLA modernas frequentemente empregam agrupamento de ações (action chunking), prevendo uma sequência de $H$ ações futuras em uma única passagem forward para amortizar custos de inferência e reduzir erros cumulativos. No entanto, modelos VLA grandes sofrem com alta latência de inferência (de dezenas a centenas de milissegundos).

Na execução síncrona, o robô para durante a inferência, limitando a frequência de controle à taxa de inferência, o que é impraticável para tarefas de reação rápida. A execução assíncrona ingênua desacopla a inferência da execução, alternando para novos agrupamentos à medida que chegam. No entanto, isso introduz três modos de falha:

1. Descontinuidade na fronteira do agrupamento: O novo agrupamento é incompatível com ações já comprometidas com o robô.
2. Obsolescência da observação: O novo agrupamento é condicionado a uma observação que tem $d$ passos de idade (onde $d$ é o atraso de inferência em passos de controle).
3. Degradação em malha aberta: Ações comprometidas não podem se adaptar a mudanças ambientais durante a vida útil do agrupamento.

Embora quatro métodos tenham sido propostos para mitigar esses problemas—IT-RTC, TT-RTC, VLASH e A2C2—eles foram desenvolvidos em bases de código incompatíveis com políticas base e protocolos de avaliação diferentes, tornando a comparação direta impossível.

2. Metodologia

Os autores desenvolveram duas bases de código unificadas (bt-kinetix em JAX/Flax e bt-libero em PyTorch/LeRobot) para integrar todos os quatro métodos sob bibliotecas, conjuntos de dados e políticas base harmonizadas. Eles avaliaram esses métodos em:

• Kinetix: Uma suíte de controle contínuo 2D com 10 ambientes dinâmicos, usando políticas MLP-Mixer ($H \in \{16, 30\}$).
• LIBERO: Um benchmark de manipulação com 7 graus de liberdade usando SmolVLA ($H=50$).

A avaliação variou atrasos de inferência ($d$) até 20 passos de controle (simulando cenários de implantação no mundo real que vão desde GPUs locais até inferência em nuvem via 4G).

Os Quatro Métodos Comparados

1. IT-RTC (Correção Residual no Tempo de Inferência via Guia Livre de Treinamento): Uma abordagem livre de treinamento usando guia de correspondência de fluxo. Trata as primeiras $d$ ações de um novo agrupamento como restrições conhecidas e "inpaint" as $H-d$ ações restantes durante o processo de remoção de ruído usando um termo de guia pseudoinverso. Não requer retreinamento, mas incorre em uma passagem backward (VJP) por etapa de remoção de ruído, triplicando os FLOPs por etapa.
2. TT-RTC (Correção Residual no Tempo de Treinamento via Simulação de Atraso no Tempo de Treinamento): Modifica o processo de treinamento para condicionar a política em prefixos de ação. A política aprende a prever apenas as ações de sufixo não obsoletas dado um prefixo comprometido. Usa uma perda mascarada e prefixos de verdade-terrena não ruidosos durante o treinamento. Introduz zero sobrecarga de inferência e é uma substituição direta para IT-RTC.
3. VLASH (Condicionamento Consciente do Estado Visão-Linguagem-Ação): Aborda a obsolescência da observação estimando o estado futuro do robô no momento da execução usando ações anteriores conhecidas. A política é condicionada a esse estado "rolado para frente" em vez da observação obsoleta. Emprega aumento de treinamento com deslocamento temporal.
4. A2C2 (Correção de Ação Assíncrona via Cabeça de Correção): Visa a degradação em malha aberta. Treina uma cabeça de correção leve que roda a cada passo de controle, emitindo um ajuste residual ($\Delta a$) às ações obsoletas da política base. A cabeça condiciona-se à última observação, características da política base e uma característica de tempo-no-grupo. É composável com outros métodos.

3. Principais Contribuições

1. Bases de Código Unificadas: A criação de bt-kinetix e bt-libero, que integram todos os quatro métodos com dependências harmonizadas, permitindo a primeira comparação sistemática.
2. Avaliação Sistemática: Uma avaliação abrangente em dois benchmarks distintos (Kinetix e LIBERO) com tamanhos de agrupamento ($H$) e atrasos ($d$ até 20) variados, cobrindo regimes relevantes para implantação no mundo real (ex: servidores de borda, inferência em nuvem).
3. Insights Práticos: Análise das compensações entre custos de treinamento, sobrecarga de inferência e generalização de atraso fora da distribuição (OOD).

4. Resultados

Resultados Kinetix (MLP-Mixer, $H=16, 30$)

• Desempenho: A2C2 alcançou a taxa de resolução absoluta mais alta em quase todos os atrasos, mantendo >90% de taxa de resolução até $d=8$. TT-RTC foi o método baseado em treinamento mais robusto, mostrando estabilidade em diferentes escolhas de $d_{max}$ e generalizando bem para atrasos OOD.
• IT-RTC: Competitivo em baixos atrasos, mas degradou-se abruptamente sob agrupamentos longos ($H=30$) e altos atrasos ($d > 8$), sugerindo que sua aproximação linear VJP falha à medida que a razão prefixo-sufixo cresce.
• VLASH: Exibiu uma compensação governada pelo intervalo de atraso de ajuste fino $[0, d_{max}]$. Um $d_{max}$ mais amplo melhorou a robustez em altos atrasos, mas prejudicou a precisão em baixos atrasos.
• TT-RTC vs. VLASH: TT-RTC foi amplamente insensível à escolha de $d_{max}$, enquanto VLASH exigiu ajuste cuidadoso de $d_{max}$ ao atraso de implantação esperado.

Resultados LIBERO (SmolVLA, $H=50$)

• Mudança de Classificação: A classificação inverteu-se em comparação com Kinetix em atrasos mais altos. A2C2 tornou-se o método mais forte em altos atrasos ($d \ge 4$), mantendo uma margem de ~10 pontos sobre os outros.
• IT-RTC & TT-RTC: Ambos degradaram-se substancialmente à medida que a razão prefixo-sufixo aumentou (devido ao tamanho de agrupamento mais longo $H=50$). IT-RTC colapsou para desempenho próximo à linha de base além de $d=8$. TT-RTC, embora estável em Kinetix, viu quedas significativas de precisão em LIBERO.
• VLASH: Variantes com $d_{max}$ mais amplo ($8, 16$) permaneceram notavelmente estáveis através dos atrasos. Nota: Os autores enfatizam que os resultados do VLASH em LIBERO dependem de estados futuros de verdade-terrena (informação privilegiada) devido a incompatibilidades nas dimensões de estado/ação, servindo como um limite superior para variantes implantáveis.
• Latência: TT-RTC igualou a latência de relógio da linha de base ingênua. IT-RTC incorreu em um aumento de latência de ~16%. A cabeça residual do A2C2 adicionou ~1,8% de latência na execução serial.

Análise de Custos

• Sobrecarga de Inferência: IT-RTC triplica os FLOPs do loop sequencial de remoção de ruído. A2C2 acumula sobrecarga proporcional ao horizonte de execução $s$ (ex: 50 passos em LIBERO), tornando-o mais caro por agrupamento do que IT-RTC em modelos grandes, embora sua cabeça residual seja leve isoladamente.
• Custo de Treinamento: TT-RTC requer um ajuste fino modesto (~25% do custo base em Kinetix). VLASH e A2C2 requerem treinamento mais extenso ou retreinamento.
• Ponto de Equilíbrio: Em LIBERO, o ponto de equilíbrio onde o custo único de treinamento do TT-RTC supera a sobrecarga recorrente de inferência do IT-RTC é de aproximadamente 2,9 milhões de episódios.

5. Significado e Alegações

O artigo afirma que nenhum método único domina em todas as configurações, e a escolha ótima depende das restrições específicas de implantação (tamanho do agrupamento, atraso esperado, viabilidade de retreinamento):

• Se o retreinamento for inviável e o atraso for baixo: IT-RTC é uma solução direta sensata.
• Se o ajuste fino for possível e os agrupamentos forem curtos: TT-RTC oferece uma correção quase gratuita com zero sobrecarga de inferência e generalização OOD robusta.
• Em configurações VLA de agrupamento longo (ex: SmolVLA): A2C2 é a escolha mais confiável para altos atrasos e compõe-se naturalmente com outros métodos.
• VLASH: Permanece uma escolha forte desde que um modelo de estado futuro preciso esteja disponível e o intervalo de atraso de implantação seja conhecido no momento do ajuste fino.

Os autores concluem que sua comparação sistemática esclarece as compensações entre esses métodos, informando futuras estratégias de design e implantação de VLA. Eles notam explicitamente limitações, incluindo a dependência de estados futuros oráculo para VLASH em LIBERO e a suposição de atrasos inteiros fixos, sugerindo que condições de latência variável do mundo real podem favorecer ainda mais métodos conscientes de atraso como TT-RTC e A2C2.