Resumo Técnico: Compreendendo e Mitigando o Gap de Generalização Vídeo-Ação via Razão Temporal

1. Declaração do Problema

Modelos de fundação de vídeo generativos (VFMs) possuem fortes vieses composicionais derivados de dados em escala de internet, permitindo que compreendam coerência temporal, interações de objetos e plausibilidade física. No entanto, quando esses modelos são adaptados para controle robótico como Modelos Mundo-Ação (WAMs) ou Modelos Vídeo-Ação (VAMs), eles frequentemente perdem essas habilidades de generalização composicional após o ajuste fino (finetuning) em dados de ação robótica. Os autores denominam essa discrepância como o gap de Generalização Vídeo-Ação (VAG).

Políticas existentes frequentemente falham sob generalização composicional (por exemplo, recombinar objetos e receptáculos vistos em sequências de tarefas não vistas) porque se sobreajustam (overfit) a correlações visuais nos dados de treinamento em vez de aproveitar os vieses generativos subjacentes. Embora escolhas de design padrão para VAMs (como treinamento conjunto vs. treinamento em duas etapas, ou variações nos níveis de ruído) tenham sido exploradas, elas resultam em um cenário de desempenho fragmentado, sem uma explicação emergente clara de por que certas configurações têm sucesso ou falham em cenários Fora de Distribuição (OOD).

2. Metodologia

2.1 Análise Sistemática do Espaço de Design

Os autores avaliaram sistematicamente uma classe de VAMs que utilizam características latentes de modelos de fundação de vídeo pré-treinados (especificamente o Cosmos-Predict 2.5-2B) e aprendem uma cabeça de ação de dinâmica inversa latente via flow matching. Eles investigaram o espaço de design através de dois eixos primários:

• Configurações de tempo de treinamento: Comparando adaptação eficiente de parâmetros (LoRA) contra ajuste fino total, e treinamento conjunto (otimizando perdas de vídeo e ação simultaneamente) contra treinamento em duas etapas (ajuste fino do backbone primeiro, e depois congelando-o para o treinamento da cabeça de ação).
• Parâmetros de tempo de inferência: Variando o nível de ruído do vídeo ($\sigma_v$) no qual as características são extraídas e o horizonte de predição ($T$).

A análise revelou que, embora o desempenho Dentro da Distribuição (ID) estivesse frequentemente saturado, o desempenho OOD era altamente sensível a essas escolhas, mas nenhuma configuração única fechava o gap de forma consistente.

2.2 A Razão Temporal (TR)

Para explicar os modos de falha, os autores introduziram a Razão Temporal (TR), uma métrica baseada em atenção que quantifica o quão fortemente a cabeça de ação depende de rollouts latentes futuros previstos em relação ao quadro atual ancorado.

• Definição: A TR é calculada como a razão da massa de atenção atribuída pela cabeça de ação aos tokens de quadros futuros ($V_+$) versus os tokens do quadro atual ($V_0$):
  $$TR = \frac{\sum_{q \in A} \sum_{v \in V_+} A^\ell(q,v)}{\sum_{q \in A} \sum_{v \in V_0} A^\ell(q,v)}$$
  onde $A$ representa os tokens de ação e $\ell$ é uma camada específica na cabeça de ação.
• Interpretação Física: Na formulação de denoising de vídeo, o primeiro quadro ($t=0$) é injetado como uma âncora de observação limpa e de alta fidelidade em cada etapa. Os quadros futuros são denoisados a partir de latentes ruidosos e representam a evolução "imaginada" pelo modelo. Uma TR alta indica que a política está planejando com base nesses futuros imaginados; uma TR baixa indica que a política está reagindo à observação imediata.

2.3 Observações Chave sobre a TR

• Poder Preditivo: A TR atua como um preditor direto da capacidade de generalização composicional. Modelos com TR mais alta durante as fases de planejamento correlacionam-se com melhor sucesso OOD.
• Dinâmica de Fase da Tarefa: A TR não é estática; ela flutua com base na fase da tarefa. Ela aumenta durante "fases de planejamento" (ex: selecionando um objeto ou receptáculo) onde a política deve vincular linguagem e objetivos a estados futuros. Ela cai durante "fases de manipulação precisa" (ex: agarrar ou posicionar) onde a política deve ancorar-se ao quadro atual para precisão.
• Diagnóstico de Modo de Falha: O gap VAG frequentemente decorre de um descompasso: o backbone de vídeo pode prever um futuro composicional correto, mas a cabeça de ação ignora isso (TR baixa) e segue uma trajetória ID memorizada. Inversamente, a cabeça de ação pode seguir um futuro alucinado se a TR for alta, mas a predição de vídeo for ruim.

.2.4 Orientação Adaptativa de TR

Com base nessas descobertas, os autores propõem um método de orientação adaptativa em tempo de inferência que amplifica dinamicamente os sinais de condicionamento de vídeo composicional precisamente quando a política depende de rollouts futuros.

• Mecanismo: O método computa duas direções de orientação contrafactual:
  1. Orientação de Linguagem: Isola a velocidade de ação dependente da instrução comparando características de vídeo condicionais vs. de texto nulo.
  2. Orientação de Plano: Isola a estrutura temporal de longo horizonte comparando características de horizonte padrão vs. características de horizonte estendido.
• Escalonamento Adaptativo: A força desses sinais de orientação ($w_{lang}, w_{plan}$) é escalonada dinamicamente com base na TR atual. O peso aumenta quando a TR sobe acima de uma linha de base do episódio (indicando uma fase de planejamento) e é limitado para evitar orientação excessiva. Isso permite que o modelo aproveite o raciocínio composicional durante o planejamento enquanto relaxa a orientação para preservar a precisão local durante a manipulação.

3. Resultados Principais

3.1 Simulação (Benchmark LIBERO)

Avaliado nas suítes LIBERO (Spatial, Object, Goal, Long) e seus contrapartes composicionais OOD:

• Desempenho de Linha de Base: Anteriores WAMs e VAMs mostraram desempenho ID saturado (>95%), mas colapsaram em cenários OOD (frequentemente <15% de sucesso).
• Descobertas do Espaço de Design: O treinamento conjunto com LoRA e níveis intermediários de ruído de vídeo ($\sigma_v \approx 0.883$) gerou o melhor desempenho OOD não guiado (55.7% de média).
• Impacto da Orientação Adaptativa de TR: O método proposto melhorou o sucesso médio OOD para 59.4%, um aumento de >5x sobre as bases de comparação de VAM anteriores, mantendo o desempenho ID comparável aos melhores modelos não guiados. A orientação plana (sem adaptação de TR) degradou o desempenho ID, confirmando a necessidade de orientação consciente da fase.

3.2 Avaliação no Mundo Real (YAM Bimanual)

Avaliado em um robô bimanual realizando 24 cenários multitarefa (louças, lanches, garrafas, etc.) com cenas OOD composicionais:

• Desempenho: O VAM proposto superou as linhas de base ($\pi_0, \pi_{0.5}$, Cosmos-Policy).
• Eficácia da Orientação: A orientação adaptativa aumentou a taxa de sucesso média de 71.7% (não guiado) para 83.3%.
• Falha de Abordagens Padrão: A extração de características no passo totalmente ruidoso ($\sigma_v=1.0$), como feito em VAMs anteriores, resultou em sucesso quase nulo em tarefas do mundo real, destacando a necessidade de latentes estruturados e parcialmente denoisados.

4. Significância e Alegações

O artigo alega que o gap VAG não é meramente um resultado de insuficiência de dados ou capacidade do modelo, mas um problema mecanístico sobre como a cabeça de ação roteia informações entre a observação atual e os futuros previstos.

• Ferramenta de Diagnóstico: A Razão Temporal fornece uma métrica interpretável em tempo de execução para diagnosticar se uma política está utilizando efetivamente seus vieses de vídeo generativos.
• Mecanismo para Melhoria: O trabalho demonstra que a generalização composicional requer uma condição dupla: (1) o backbone de vídeo deve prever um futuro útil, e (2) a cabeça de ação deve depender ativamente desse futuro durante as fases de planejamento.
• Mitigação Prática: A Orientação Adaptativa de TR oferece uma intervenção prática em tempo de inferência que aproveita esse padrão de atenção intrínseco para melhorar a generalização OOD sem retreinar o modelo ou sacrificar a precisão da manipulação local.

Os autores concluem que seu framework esclarece o comportamento dos VAMs e fornece um caminho para mitigar o gap de generalização OOD em controle robótico, embora reconheçam limitações quanto à plausibilidade física do modelo de vídeo subjacente e ao custo adicional de inferência.