Resumo Técnico: CreFlow: Reflow Corretivo para RL de Difusão de Vídeo Corporificado com Recompensa Esparsa

1. Declaração do Problema

Modelos de geração de vídeo (VGMs) treinados em dados heterogêneos de escala web frequentemente produzem trajetórias visualmente plausíveis que violam restrições físicas quando aplicados a tarefas de manipulação corporificada. Embora o aprendizado por reforço (RL) pós-treinamento ofereça um caminho para alinhar esses modelos a objetivos de recompensa específicos, as abordagens existentes enfrentam duas limitações críticas no contexto da manipulação:

1. Projeto de Recompensa Inadequado: As recompensas atuais de RL para vídeo frequentemente dependem de métricas visuais de baixo nível (por exemplo, qualidade visual, suavidade de movimento, alinhamento com texto) ou pontuações de uma única dimensão. Essas falham em capturar a natureza composicional das tarefas de manipulação, onde o sucesso depende da satisfação simultânea de múltiplas condições lógicas (por exemplo, persistência do objeto, validade cinemática, ordenação causal). Consequentemente, um vídeo pode receber uma pontuação alta de recompensa, apesar de conter erros sutis e decisivos (por exemplo, teletransporte de objetos ou violações cinemáticas) que levam ao fracasso na execução subsequente.
2. Otimização Ineficiente em Altas Dimensões: Vídeos de manipulação são de alta dimensão, mas erros críticos para a tarefa frequentemente ocupam apenas regiões espaço-temporais esparsas. Aplicar atualizações uniformes de RL em todo o tensor do vídeo desperdiça gradientes em pixels e passos de tempo irrelevantes para a recompensa. Isso pode perturbar regiões que já são plausíveis ou não relacionadas à tarefa, levando a desvios fora da variedade e colapso da política, particularmente ao lidar com recompensas binárias esparsas.

2. Metodologia: CreFlow

Os autores propõem o CreFlow (Reflow Corretivo), um framework de RL online projetado para pós-treinar modelos de difusão de vídeo corporificados usando recompensas compostas e esparsas. O framework consiste em dois componentes principais: um modelo de recompensa baseado em restrições composicionais e um objetivo de treinamento inovador.

2.1 Monitor de Restrições Composicionais

Em vez de depender de pontuações visuais holísticas, o CreFlow formula o sucesso da tarefa como um conjunto de restrições de Lógica Temporal Linear (LTL).

• Síntese de Especificação: Para um contexto de tarefa dado (instrução e observação inicial), um agente de codificação sintetiza uma fórmula LTL específica da tarefa $\Phi_c$. Esta fórmula é uma conjunção de predicados atômicos (por exemplo, AGARRAR(braço, xícara), EM(xícara, gaveta)) cobrindo quatro famílias: persistência, colocação terminal, acoplamento causal e ordenação.
• Levantamento de Estado e Avaliação: Para cada trajetória gerada, o sistema levanta o vídeo em um rastro de estado usando modelos de fundação de visão (SAM3 para máscaras/trajetórias, IDM para estados do robô, VLM para verificações de atributos). Um monitor LTL de traço finito avalia a trajetória contra $\Phi_c$.
• Saída: O monitor retorna um rótulo binário de sucesso ($r \in \{0, 1\}$) e, crucialmente, rastros de violação ($V$) identificando exatamente quais restrições foram violadas, em quais entidades e em quais passos de tempo.

2.2 Objetivos de Treinamento

O CreFlow converte o feedback binário esparso em supervisão localizada e acionável através de duas funções de perda principais:

1. Perda NFT Consciente de Crédito:

   • A Ajuste Fino Negativo-Consciente (NFT) padrão aplica atualizações uniformemente. O CreFlow agrega os rastros de violação de um grupo de trajetórias para construir uma máscara espaço-temporal ($M$).
   • Esta máscara identifica as entidades e quadros específicos responsáveis pelo fracasso da tarefa.
   • A perda restringe o contraste de velocidade positivo-negativo a esta máscara, confinando as atualizações de RL a regiões relevantes para a recompensa. Isso impede que o modelo perturbe regiões irrelevantes e plausíveis do vídeo.

2. Perda de Reflow Corretivo:

   • Métodos existentes frequentemente tratam trajetórias falhas isoladamente ou usam um alvo refletido baseado em uma Média Móvel Exponencial (EMA) da política, o que introduz ruído.
   • O CreFlow agrega trajetórias bem-sucedidas dentro do grupo (geradas sob a mesma observação inicial e instrução) para formar uma média empírica ($\bar{x}^+_0$).
   • Esta média serve como um alvo corretivo explícito para trajetórias falhas em suas regiões violadas. Em vez de apenas suprimir amostras negativas, o modelo é explicitamente guiado a mover-se em direção à distribuição de resultados bem-sucedidos dentro da mesma condição.

O objetivo final combina a perda NFT consciente de crédito, a perda de reflow corretivo e um regularizador KL em relação a uma política de referência congelada.

3. Contribuições Principais

1. Modelo de Recompensa Baseado em Restrições Composicionais: Os autores introduzem um modelo de recompensa que formula automaticamente os requisitos da tarefa como restrições LTL. Isso fornece não apenas um sinal binário de sucesso fiel alinhado com a execução subsequente, mas também informação diagnóstica localizada (violações por restrição, entidade e quadro) essencial para o aprendizado com recompensa esparça.
2. Framework CreFlow: Um framework inovador de RL online que transforma violações composicionais esparsas em estimadores corretivos localizados. Ele combina exclusivamente:
   • Uma perda NFT consciente de crédito que restringe atualizações a regiões espaço-temporais relevantes para o fracasso.
   • Uma perda de reflow corretivo que usa amostras positivas dentro do grupo como alvos de correção explícitos, estabilizando o treinamento e reduzindo a variância.
3. Validação Empírica: Experimentos extensivos em oito tarefas de manipulação bimanual (RoboTwin) demonstram que o CreFlow supera as linhas de base existentes de RL para vídeo e referências em nível de política.

4. Resultados Experimentais

O artigo avalia o CreFlow em oito tarefas de manipulação bimanual RoboTwin (por exemplo, pegar e colocar, manipulação articulada, arranjo de múltiplos objetos).

• Sucesso a jusante: O CreFlow melhora o sucesso da execução a jusante em 23,8 pontos percentuais em média em comparação com o modelo base Vidar e supera significativamente outros métodos de pós-treinamento por RL (DanceGRPO, DiffusionNFT) e linhas de base de recompensa (EVA, WMReward).
• Fidelidade da Recompensa: O modelo de recompensa composicional alcança 88,0% de concordância com rótulos de sucesso humanos e 91,0% de concordância com rótulos de execução do simulador, superando substancialmente modelos de recompensa contínua e linhas de base de VLM como juiz.
• Eficiência de Treinamento: O CreFlow converge mais rápido e atinge recompensas acumuladas mais altas do que as linhas de base. Estudos de ablação confirmam que tanto a máscara consciente de crédito quanto a perda de reflow corretivo são necessárias; remover qualquer uma leva à degradação de desempenho ou treinamento instável.
• Análise Qualitativa: Ablações visuais mostram que, sem a máscara consciente de crédito, as atualizações padrão de RL degradam regiões fora da tarefa (por exemplo, objetos de fundo), enquanto o CreFlow preserva o pré-treinamento em áreas não críticas enquanto corrige falhas específicas da tarefa.

5. Significado e Alegações

O artigo afirma que o CreFlow aborda uma lacuna fundamental na geração de vídeo corporificada: a incompatibilidade entre a plausibilidade visual global e os requisitos lógicos e composicionais da manipulação física.

• Avaliação Fiel: Ao migrar de métricas visuais de baixo nível para verificação baseada em lógica, o CreFlow fornece sinais de recompensa verdadeiramente alinhados com o sucesso da tarefa, evitando a "alucinação" de sucesso em vídeos que parecem bons, mas falham fisicamente.
• Tratamento de Recompensa Esparsa: O framework demonstra que recompensas binárias esparsas podem ser efetivamente aproveitadas para geração de vídeo de alta dimensão se a otimização for localizada para as regiões específicas de falha e guiada por alvos corretivos explícitos derivados de amostras bem-sucedidas.
• Impacto Prático: O método permite o pós-treinamento de modelos de vídeo de propósito geral para tarefas robóticas específicas sem exigir recompensas densas e criadas manualmente, melhorando significativamente as taxas de sucesso na execução.

Limitações: Os autores reconhecem que o monitor atual raciocina sobre estados no plano da imagem 2D e não pode resolver totalmente relações espaciais 3D de alta granularidade. Eles identificam a extensão da avaliação de restrições com profundidade ou estimativa de estado 3D como uma direção para trabalhos futuros.