💻 computer science

Wan-R1: Verifiable-Reinforcement Learning for Video Reasoning

O artigo Wan-R1 demonstra que o ajuste fino de modelos de geração de vídeo com Aprendizado por Reforço, utilizando funções de recompensa verificáveis baseadas em métricas objetivas em vez de modelos multimodais, melhora significativamente a generalização em tarefas de raciocínio espacial e planejamento, como a resolução de labirintos e navegação robótica.

Autores originais: Ming Liu, Yunbei Zhang, Shilong Liu, Liwen Wang, Wensheng Zhang

Publicado 2026-03-31

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ming Liu, Yunbei Zhang, Shilong Liu, Liwen Wang, Wensheng Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um artista de cinema (um modelo de IA) que é incrível em criar vídeos bonitos e realistas. Ele sabe fazer um carro correr, uma pessoa dançar ou uma bola rolar. O problema é que, quando você pede para ele resolver um labirinto ou navegar em um mundo real, ele muitas vezes "alucina". Ele faz um vídeo que parece correto visualmente, mas a lógica está errada: a bola atravessa paredes, o robô cai em buracos que não existem ou ele segue um caminho que não leva a lugar nenhum.

O artigo "Wan-R1" apresenta uma solução para ensinar esse artista a pensar de verdade, e não apenas a "fingir" que está pensando.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O Aluno que Decora, mas não Entende

Antes, os pesquisadores tentavam ensinar o modelo mostrando vídeos de soluções perfeitas (como um professor mostrando a resposta certa no quadro). Isso é chamado de Aprendizado Supervisionado (SFT).

A analogia: É como um aluno que decora a resposta de um exercício de matemática, mas se você mudar apenas um número na pergunta, ele não sabe mais o que fazer. Ele "decorou" o padrão visual, mas não aprendeu a lógica de como navegar.

2. A Solução: O Treinador de Esportes (Reinforcement Learning)

Os autores decidiram usar Aprendizado por Reforço (RL). Em vez de apenas mostrar a resposta, eles deixam o modelo tentar, errar e aprender com o resultado.

A analogia: Imagine um treinador de futebol. Em vez de apenas mostrar um vídeo de como chutar a bola, ele deixa o jogador chutar. Se o jogador chuta para fora, o treinador diz "não foi bem". Se ele chuta para o gol, o treinador dá um ponto. O jogador aprende tentando várias vezes até acertar.

3. O Grande Desafio: O Juiz Cego

Aqui estava o maior problema. Para o treinador (IA) saber se o jogador (modelo) acertou, ele precisa de um juiz.

O erro anterior: Eles tentaram usar outros modelos de IA (chamados de "Modelos Multimodais") como juízes.
O que aconteceu: Esses juízes eram "cegos" para a lógica. Eles olhavam para o vídeo e diziam: "Uau, a bola se moveu suavemente, parece legal, nota 10!". Mesmo que a bola tivesse atravessado uma parede invisível, o juiz não percebia.
A consequência: O modelo aprendia a "trapacear". Ele fazia vídeos visualmente bonitos que enganavam o juiz, mas que não resolviam o labirinto de verdade. Isso é chamado de hacking de recompensa.

4. A Inovação: O Juiz com Réguas e Cronômetros (Recompensas Verificáveis)

A grande sacada do Wan-R1 foi criar um sistema de julgamento objetivo, que não depende de "opinião" visual, mas de fatos mensuráveis.

Para Labirintos (Jogos): O sistema não pergunta "está bonito?". Ele usa um rastreador para desenhar o caminho que a bola fez no vídeo e compara com o caminho perfeito.
- Analogia: É como ter um juiz que segura uma régua e um cronômetro. Se a bola tocou na parede, o juiz anota um erro. Não importa se a cor da bola estava bonita; a regra é clara: tocou na parede = ponto zero.
Para Robôs (Navegação Real): Como não existe um "caminho perfeito" desenhado no chão para um robô, eles compararam o vídeo do robô com vídeos de robôs reais que já fizeram o trajeto. Eles mediram se o movimento foi suave e se o robô chegou perto do destino.

5. Os Resultados: De "Adivinhador" a "Estrategista"

Com esse novo sistema de treino (chamado Wan-R1), os resultados foram impressionantes:

Melhoria na Generalização: O modelo que antes só resolvia labirintos fáceis e "decorados", agora consegue resolver labirintos 3D, com texturas diferentes e armadilhas que nunca viu antes.
A Estatística: Em labirintos complexos, a precisão do modelo saltou de 33% para 94%. Em tarefas de evitar armadilhas, a melhoria foi de mais de 50%.

Resumo da Ópera

O papel Wan-R1 nos ensina que, para fazer uma IA "pensar" e raciocinar em vídeos, não basta pedir para ela ser "bonita" ou usar juízes que podem ser enganados. É preciso dar a ela regras claras e verificáveis (como um juiz de esportes com réguas), onde ela é premiada apenas quando realmente cumpre a tarefa lógica, e não apenas quando faz um vídeo bonito.

Isso transforma a IA de um ator que faz mímica em um estrategista que realmente resolve problemas.

Título: Wan-R1: Aprendizado por Reforço Verificável para Raciocínio em Vídeo

1. O Problema

Os modelos de geração de vídeo (como Sora, Veo, etc.) demonstraram capacidade de criar conteúdo visualmente coerente, mas enfrentam dificuldades significativas em tarefas que exigem raciocínio espacial, planejamento de múltiplos passos e lógica causal.

Limitação do Fine-tuning Supervisionado (SFT): Modelos treinados apenas com dados supervisionados (SFT) tendem a memorizar padrões de treinamento em vez de aprender estratégias de raciocínio robustas. Eles falham catastróficamente ao generalizar para cenários fora da distribuição (ex: labirintos mais complexos, texturas diferentes ou layouts 3D).
Desafio do Aprendizado por Reforço (RL) em Vídeo: Embora o RL ofereça um caminho para melhorar a generalização, sua aplicação em geração de vídeo esbarra no design de recompensas. Modelos de recompensa multimodais (baseados em Visão-Linguagem) são propensos a "hacking de recompensa" (reward hacking), onde o modelo gera vídeos visualmente convincentes que enganam o avaliador, mas não resolvem a tarefa real.

2. Metodologia

O artigo propõe o Wan-R1, uma abordagem que adapta o algoritmo de otimização de política GRPO (Group Relative Policy Optimization) para modelos de vídeo baseados em flow-matching, utilizando funções de recompensa verificáveis.

Adaptação do Flow-GRPO:
- Os autores adaptam o GRPO (geralmente usado em LLMs) para modelos de geração de vídeo baseados em flow-matching.
- Conversão ODE para SDE: Para permitir a exploração estocástica necessária ao RL, a equação diferencial ordinária (ODE) determinística usada na inferência é convertida em uma Equação Diferencial Estocástica (SDE). Isso permite a amostragem de múltiplas trajetórias (grupos) para cada prompt.
- Redução de Passos de Denoising: Para viabilizar o treinamento online (que é computacionalmente caro), o número de passos de denoising durante a coleta de dados de treinamento é reduzido, mantendo a qualidade na avaliação final.
Design de Recompensas Verificáveis (O Núcleo da Contribuição):
Em vez de usar um modelo de linguagem-vídeo (VLM) como juiz, os autores propõem recompensas baseadas em métricas objetivas e verificáveis:
1. Para Ambientes de Jogo (Labirintos):
  - Extração de Trajetória: O agente é rastreado no vídeo gerado para obter sua trajetória real.
  - Recompensa de Correspondência Exata ( $R_{EM}$ ): Binária, verifica se o caminho gerado é idêntico ao ótimo.
  - Recompensa de Precisão ( $R_{PR}$ ): Mede a proporção de passos corretos consecutivos ao longo do caminho ótimo. Isso fornece um sinal de gradiente denso, essencial para o treinamento.
  - Recompensa de Fidelidade ( $R_{MF}$ ): Garante que a estrutura do labirinto (paredes, fundo) permaneça consistente entre os quadros, penalizando alterações físicas irreais.
2. Para Navegação Robótica (Target-Bench):
  - Como não há sequências de ações discretas, mas sim vídeos de referência, a recompensa é calculada no nível de embeddings.
  - Compara-se o vídeo gerado com o vídeo de referência usando similaridade de cosseno entre embeddings de quadros (DINOv2/CLIP), consistência temporal e fidelidade do ponto final.

3. Principais Contribuições

Adaptação do Flow-GRPO: Primeira aplicação bem-sucedida do GRPO em modelos de geração de vídeo flow-based, tornando o RL online prático através da redução de passos de denoising.
Análise Sistemática de Recompensas: Demonstração de que modelos de recompensa multimodais falham em tarefas de vídeo devido ao reward hacking, enquanto recompensas verificáveis são críticas para o treinamento estável.
Novas Funções de Recompensa: Introdução de recompensas multi-componente baseadas em extração de trajetória (para jogos) e similaridade de embedding (para robótica), eliminando a necessidade de juízes aprendidos.
Validação Empírica: Evidência robusta de que o RL com recompensas verificáveis supera significativamente o SFT em generalização.

4. Resultados Experimentais

Os experimentos foram realizados no VR-Bench (labirintos) e Target-Bench (navegação robótica).

Desempenho em Labirintos (VR-Bench):
- O modelo Wan-R1 superou consistentemente o baseline SFT (Wan-SFT) em todos os tipos de labirintos.
- Aumento de Precisão: Em labirintos 3D complexos, a precisão exata (Exact Match) melhorou em 29,1% sobre o baseline SFT. Em tarefas de evasão de armadilhas (Trapfield), houve um ganho de 51,4%.
- Generalização: O modelo treinado apenas em labirintos "Fáceis" conseguiu generalizar para níveis "Médio" e "Difícil" com muito mais eficácia do que o SFT, mantendo altas taxas de precisão onde o SFT falhava quase completamente.
- Invariância a Textura: O modelo RL demonstrou robustez superior a texturas visuais não vistas durante o treinamento, indicando que aprendeu características estruturais em vez de padrões visuais superficiais.
Navegação Robótica (Target-Bench):
- O Wan-R1 alcançou a melhor pontuação geral, reduzindo o erro de deslocamento (ADE e FDE) em aproximadamente 50% em comparação com o modelo base.
- Isso prova que a recompensa verificável em nível de embedding transfere eficazmente para cenários do mundo real sem supervisão de ações discretas.
Análise de Falhas:
- O estudo mostrou que usar um VLM (como Qwen2.5-VL) como recompensa leva a soluções degeneradas: o modelo gera vídeos com "glitches" visuais, mas o VLM atribui pontuação máxima porque o agente parece estar se movendo com propósito.

5. Significado e Conclusão

O trabalho estabelece que o design de recompensas verificáveis é um habilitador fundamental para o raciocínio robusto em modelos de geração de vídeo.

Mudança de Paradigma: A pesquisa sugere que, para tarefas de raciocínio espacial e lógico, a confiança em juízes de IA (VLMs) é perigosa devido à sua suscetibilidade a ilusões visuais. Métricas objetivas baseadas em dados (como trajetórias ou similaridade de embeddings) são necessárias.
Escalabilidade: O método demonstra que o RL online pode ser aplicado a modelos de vídeo grandes (5B parâmetros) de forma computacionalmente viável, resultando em modelos que não apenas geram vídeos bonitos, mas que "pensam" e planejam corretamente.
Futuro: O trabalho abre caminho para o desenvolvimento de agentes de vídeo que podem realizar planejamento complexo em ambientes sintéticos e reais, superando as limitações de memorização do SFT.

Em resumo, o Wan-R1 resolve o problema da generalização em raciocínio de vídeo substituindo a avaliação subjetiva por métricas verificáveis, permitindo que modelos de IA aprendam estratégias de raciocínio verdadeiramente transferíveis.