Resumo Técnico: Legato – Aprendizado de Continuação Nativa para Políticas de Fluxo de Agrupamento de Ações

1. Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) estão sendo cada vez mais implantados em robótica do mundo real utilizando agrupamento de ações (action chunking), uma estratégia onde o modelo prevê uma sequência de vetores de ação futuros em uma única etapa de inferência. Embora o agrupamento amortize os custos de inferência e permita controle de alta frequência, ele introduve uma desvantagem fundamental: descontinuidades nas fronteiras dos agrupamentos.

Essas descontinuidades surgem de dois fatores primários:

1. Atraso de Inferência: O tempo necessário para calcular o próximo agrupamento causa uma lacuna entre a execução do agrupamento atual e a geração do próximo.
2. Multimodalidade Inerente: Políticas baseadas em fluxo frequentemente exibem distribuições multimodais, levando a "mudanças multimodais espúrias" onde a política altera abruptamente seu modo de ação pretendido entre os agrupamentos.

Soluções existentes como Agrupamento em Tempo Real (RTC) tentam mitigar isso aplicando inpainting no momento da inferência, restringindo parcialmente novos agrupamentos a sobrepor ações anteriores. No entanto, o RTC é um mecanismo externo aplicado apenas no momento da inferência. Como a própria política não é treinada para lidar com essa continuação, ela permanece propensa a hesitação, mudanças abruptas de direção e trajetórias que não são intrinsecamente suaves. O artigo argumenta que a execução estável em agrupamentos requer que a continuação de agrupamentos seja uma propriedade nativa e aprendida da política.

2. Metodologia: Legato

Os autores propõem o Legato, um framework de continuação no momento do treinamento para políticas VLA baseadas em fluxo com agrupamento de ações. O Legato internaliza o mecanismo de continuação ao remodelar a dinâmica de fluxo aprendida para garantir consistência entre treinamento e inferência sob orientação por passo.

Componentes Principais

O Legato aborda dois requisitos críticos para uma continuação eficaz:

1. Orientação por Passo: A orientação deve ser aplicada repetidamente em todas as etapas de remoção de ruído, não apenas na inicialização.
2. Consistência Treinamento-Inferência: A dinâmica aprendida durante o treinamento deve corresponder à dinâmica usada durante a inferência.

A. Orientação com Formato de Cronograma

O Legato introduz um cronograma de orientação $\omega \in [0, 1]^H$ sobre o horizonte do agrupamento de ações $H$. Este cronograma é definido por três parâmetros:

• $d$: O atraso de inferência (prefixo de orientação total).
• $s$: O comprimento executado por ciclo.
• $r$: O comprimento de redução gradual onde a força da orientação diminui.
  Estes satisfazem $r + s + d = H$.

Em vez de limitar rigidamente o prefixo (como no RTC no momento do treinamento), o Legato usa um cronograma suave: ele ancora o início do agrupamento a ações conhecidas (verdade fundamental durante o treinamento, prefixo do agrupamento anterior durante a inferência) e reduz gradualmente a força da orientação até zero. Isso é alcançado via uma mistura ação-ruído:
$$\epsilon_{eff} = (1 - \omega) \odot \epsilon + \omega \odot A$$
onde $\epsilon$ é o ruído e $A$ é a ação de referência.

B. Remodelagem da Dinâmica de Fluxo

O fluxo de correspondência padrão treina um campo de velocidade $u_{FM}$ para transportar ruído para ações. No entanto, aplicar orientação por passo no momento da inferência induz um sistema dinâmico diferente. Para eliminar a discrepância entre treinamento e teste, o Legato deriva a dinâmica contínua exata induzida pela orientação repetida por passo e remodela o campo de velocidade alvo durante o treinamento.

A rede é treinada para prever uma velocidade alvo modificada $v_{target}$:
$$v_{target}(t, A, \epsilon, \omega) = (1 - \kappa \odot (1 - t)) \odot (A - \epsilon)$$
onde $\kappa = \omega / \Delta t$. Isso permite que a política suporte nativamente a orientação com formato de cronograma sem intervenção externa no momento da inferência.

C. Condicionamento de Cronograma Randomizado

Para lidar com latências de inferência variáveis entre hardware e otimizações de tempo de execução, o Legato randomiza os parâmetros do cronograma ($d, r$) durante o treinamento. A política é explicitamente condicionada ao cronograma $\omega$ (anexado como um recurso). Isso permite que um único modelo se adapte a diferentes atrasos de inferência e controle o trade-off entre suavidade da trajetória e consistência de sobreposição no momento da inferência sem retreinamento.

3. Contribuições Principais

1. Framework Legato: Um framework de continuação no momento do treinamento que permite orientação por passo com formato de cronograma, mantendo estrita consistência entre treinamento e inferência ao remodelar a dinâmica de fluxo.
2. Condicionamento de Cronograma Randomizado: Um mecanismo para suportar atrasos de inferência variáveis e fornecer controle flexível sobre a suavidade da trajetória, permitindo que o modelo generalize entre diferentes condições de hardware e latência.
3. Validação Empírica: Extensos experimentos no mundo real demonstrando que aprender a continuação como uma propriedade nativa da política supera métodos de correção no momento da inferência.

4. Resultados Experimentais

Os autores avaliaram o Legato em cinco tarefas de manipulação do mundo real (empilhamento de tigelas, despejo, pegar-e-colocar, abertura de gaveta, dobragem de toalha) usando um robô de dois braços.

Métricas de Desempenho

• Tempo de Conclusão da Tarefa: O Legato consistentemente alcançou tempos de conclusão mais curtos (aproximadamente 10% de melhoria) em comparação com o RTC.
• Suavidade da Trajetória: O Legato produziu trajetórias significativamente mais suaves, evidenciado por valores menores de NSPARC (Comprimento de Arco Espectral Negativo) e RMSE de Sobreposição.
• Mudanças Multimodais Espúrias: O Legato reduziu a hesitação e mudanças abruptas de direção, levando a objetivos de preensão e seleções de braços mais consistentes.

Análise Comparativa

• vs. RTC: O Legato superou o RTC em todas as cinco tarefas em termos de velocidade e suavidade.
• vs. RTC no Momento do Treinamento: O Legato superou uma linha de base que aplica restrições de prefixo rígidas durante o treinamento. Os autores atribuem isso à remodelagem da dinâmica de fluxo do Legato, que se alinha melhor ao comportamento efetivo de remoção de ruído da orientação repetida.
• Generalização: O método demonstrou robustez entre diferentes backbones VLA ($\pi_0$, $\pi_0.5$, Gr00t N1.6) e atrasos de inferência variáveis.

5. Significado e Alegações

O artigo alega que o Legato representa uma mudança de tratar a continuidade do agrupamento de ações como uma correção externa no momento da inferência para uma propriedade nativa e aprendida da política.

• Suavidade Inerente: Ao remodelar a dinâmica de fluxo, o Legato garante que a política entenda intrinsecamente como transitar entre agrupamentos, reduzindo o "tremor" e a hesitação associados à mudança multimodal.
• Eficiência: A redução na hesitação e nas mudanças de direção traduz-se diretamente em tempos de conclusão de tarefa mais rápidos em cenários do mundo real.
• Adaptabilidade: O uso de condicionamento de cronograma randomizado permite que um único modelo seja implantado em diversos ambientes de hardware com diferentes latências de inferência, um requisito crítico para a implantação robótica prática.

Os autores concluem que, embora formulações atuais limitem as etapas de remoção de ruído à especificação no momento do treinamento, o método proposto demonstra com sucesso que aprender a dinâmica de continuação é superior a impor restrições rígidas, oferecendo um caminho robusto para um controle robótico do mundo real mais suave e eficiente.