Resumo Técnico: NoiseGate – Aprendendo Agendamentos de Passo de Tempo por Latente como Portão de Informação em Modelos de Ação Mundial

1. Formulação do Problema

Modelos de Ação Mundial (WAMs) representam um paradigma onde a geração de ação de robô é acoplada à modelagem de observações futuras, co-gerando um bloco de quadros de vídeo latentes futuros ($v$) e um bloco de ação ($a$), dada uma observação atual ($v_0$) e uma instrução em linguagem ($l$). Implementações proeminentes, como Motus e Fast-WAM, utilizam uma espinha dorsal de remoção de ruído conjunta vídeo-ação baseada em uma arquitetura de Mistura de Transformers (MoT). Nesses sistemas, tokens de vídeo e tokens de ação interagem através de camadas compartilhadas de autoatenção.

Uma limitação crítica nos WAMs existentes é o tratamento do passo de tempo de difusão. Embora a arquitetura permita teoricamente que cada quadro latente previsto possua um passo de tempo independente ($t_f$), os sistemas atuais colapsam esse grau de liberdade em um único passo de tempo escalar compartilhado ($t$) para todos os quadros previstos em cada etapa de remoção de ruído. Sob a interpretação de "ruído como mascaramento" do Forçamento de Difusão, essa agenda compartilhada impõe um prior injustificado: ela assume que cada quadro latente previsto é igualmente confiável e "visível" para o processo de geração de ação em qualquer etapa dada.

No entanto, a influência dos quadros futuros na previsão de ação é inerentemente heterogênea e dependente da tarefa. Por exemplo, durante eventos críticos como a pega, um modelo pode se beneficiar de manter os latentes imaginados correspondentes mais "embaçados" (maior ruído) para evitar o excesso de confiança em previsões incertas. Agendas criadas manualmente (por exemplo, decaimento monotônico de ruído) meramente substituem um prior fixo por outro, falhando em adaptar-se à densidade de informação específica exigida por diferentes tarefas.

2. Metodologia: NoiseGate

Os autores propõem o NoiseGate, um quadro que reformula o agendamento de passo de tempo por latente como uma política de portão de informação aprendível. Em vez de uma agenda fixa, o NoiseGate aprende a modular a confiabilidade da contribuição de Chave/Valor de cada quadro latente para os tokens de ação, ajustando dinamicamente seu nível de ruído.

O método consiste em três componentes acoplados:

A. Espinha Doral MoT Conjunta Vídeo-Ação

O sistema emprega uma espinha dorsal de Mistura de Transformers que integra um Transformer de Difusão de Vídeo (DiT) bidirecional por bloco com um DiT Especialista em Ação.

• Autoatenção Compartilhada: Tokens de vídeo e de ação compartilham blocos de autoatenção, permitindo que os tokens de ação atendam aos latentes de vídeo.
• Especialistas Específicos de Modalidade: Cada modalidade mantém suas próprias camadas de avanço (feed-forward).
• Mecanismo de Portão: O nível de ruído $t_f$ em um latente de vídeo modula diretamente a confiabilidade de sua contribuição para as representações ocultas dos tokens de ação.

B. Amostragem de Passo de Tempo Independente por Latente (Substrato de Treinamento)

Para permitir que a espinha dorsal generalize para agendas arbitrárias por quadro durante a inferência, os autores adotam uma estratégia de treinamento inspirada no Forçamento de Difusão.

• Durante o treinamento, passos de tempo independentes $t_v = (t_1, \dots, t_F)$ são amostrados para cada quadro latente, em vez de um escalar compartilhado.
• Isso cria uma entrada "ruidosa de forma heterogênea", ensinando à espinha dorsal a "ler" efetivamente através de níveis variados de incerteza ao longo do bloco de vídeo.

C. Rede de Política de Portão (GPN) e Otimização GRPO

A inovação central é a Rede de Política de Portão ($\pi_\phi$), uma rede leve que aprende a agenda de passo de tempo ótima.

• Entrada: Em cada etapa de remoção de ruído $k$, a GPN observa o bloco de vídeo ruidoso de forma heterogênea atual ($v_t^{(k)}$), a observação limpa ($v_0$) e os passos de tempo atuais ($t_v^{(k)}$).
• Saída: Ela prevê incrementos de escala relativos ($r_f$) para determinar quanto o passo de tempo de cada quadro deve diminuir ($\Delta t_f$). O quadro de observação permanece fixo em $t_0=0$, e o passo de tempo da ação segue uma agenda global fixa.
• Treinamento: A GPN é treinada usando Otimização de Política Relativa por Grupo (GRPO). A espinha dorsal é congelada e a política é otimizada contra uma recompensa binária esparsa de sucesso da tarefa ($r \in \{0, 1\}$). Isso fundamenta a política de portão na utilidade real da tarefa, sem exigir priores de forma criados manualmente.

3. Principais Contribuições

1. Reformulação da Agenda: Os autores identificam o passo de tempo escalar compartilhado convencional em WAMs conjuntos vídeo-ação como um prior implícito forte que limita a flexibilidade do modelo. Eles propõem visualizar o agendamento por latente como uma política de portão de informação aprendível sobre a autoatenção compartilhada.
2. Arquitetura NoiseGate: Eles introduzem o NoiseGate, que combina amostragem de passo de tempo independente por latente durante o treinamento da espinha dorsal, uma GPN leve para emitir incrementos de tempo por latente e otimização GRPO impulsionada por recompensas de tarefa.
3. Validação Empírica: No benchmark RoboTwin sob condições de cena aleatória, o NoiseGate demonstra melhorias consistentes sobre tanto as bases de passo de tempo escalar compartilhado quanto variantes de agenda criadas manualmente, confirmando que aprender a política de portão é essencial para explorar o grau de liberdade por latente.

4. Resultados Experimentais

A avaliação foi conduzida no benchmark RoboTwin, especificamente sob condições de cena aleatória onde poses de objetos, cores e fundos são aleatorizados.

• Comparação Principal: O NoiseGate foi comparado contra bases fortes (Fast-WAM, LingBot-VA, $\pi_{0.5}$, Motus) e um WAM de Estágio 1 (a espinha dorsal treinada com ruído independente, mas inferência de escalar compartilhado).
  • O NoiseGate alcançou uma taxa de sucesso média de 94,28%, superando o WAM de Estágio 1 (92,58%) e todas as outras bases.
  • Ganhos significativos foram observados em tarefas que exigem temporização precisa ou manipulação de incerteza (por exemplo, Hanging Mug +9%, Blocks Ranking Size +7%, Put Object Cabinet +7%).
• Estudos de Ablação:
  • Remover a GPN e retornar a um escalar compartilhado ($Shared\text{-}t$) causou a maior queda de desempenho (67,5% $\to$ 57,5% no setup de ablação controlado).
  • Usar uma agenda monotônica criada manualmente melhorou o desempenho sobre o escalar compartilhado, mas permaneceu inferior à GPN aprendida (63,4% vs. 67,5%), indicando que o controle adaptativo à tarefa é necessário.
• Análise Qualitativa:
  • Ruído como Mascaramento: Mapas de atenção confirmaram um decaimento monotônico na atenção de ação para vídeo à medida que os níveis de ruído aumentam, validando o mecanismo de portão.
  • Agendas Adaptativas à Tarefa: Visualizações mostraram que a GPN aprende trajetórias de passo de tempo distintas e não uniformes para diferentes tarefas. Por exemplo, em tarefas de pega, a GPN manteve o quadro de pega crítico em um nível de ruído mais alto (mais incerto) por mais tempo do que outros quadros, prevenindo o comprometimento prematuro da ação.

5. Significado e Alegações

O artigo alega que o NoiseGate demonstra com sucesso que o agendamento de passo de tempo por latente em um Modelo de Ação Mundial é um objeto de design de primeira classe em vez de um hiperparâmetro fixo ou prior implícito.

• Mecanismo: Ao tratar o passo de tempo como um portão aprendível, o modelo pode expor seletivamente informações futuras à política de ação. Isso permite que o sistema mantenha maior incerteza (embaçamento) em eventos futuros críticos e difíceis de prever, ao mesmo tempo que esclarece informações menos críticas, melhorando assim a robustez em tarefas complexas de manipulação.
• Eficiência: A abordagem otimiza a agenda usando uma rede de política leve e recompensas esparsas, evitando a necessidade de priores complexos criados manualmente ou o retreinamento da massiva espinha dorsal generativa.
• Generalizabilidade: Embora focado em robótica, os autores observam que a visão de ruído por latente como um portão de informação aprendível poderia aplicar-se a outros contextos generativos onde consumidores a jusante leem tokens de remoção de ruído conjunta com utilidade heterogênea (por exemplo, direção autônoma, previsão de vídeo).

Os autores permanecem modestos quanto às limitações, observando que o treinamento atual depende de rolagens de simulador esparsas, o que pode ser ineficiente em termos de dados, e que escalar a política de agenda aprendida para conjuntos de tarefas em grande escala e múltiplas tarefas permanece trabalho futuro.