Goal Force: Teaching Video Models To Accomplish Physics-Conditioned Goals

Resumo Técnico: Goal Force

1. O Problema

Avanços recentes em geração de vídeo permitiram o desenvolvimento de "modelos de mundo" capazes de simular futuros potenciais para robótica e planejamento. No entanto, especificar objetivos precisos para esses modelos permanece um desafio significativo:

• Instruções de Texto: Frequentemente são muito abstratas para capturar nuances físicas (ex: "chutar a bola" não define a força exata ou a trajetória necessária).
• Imagens de Alvo: Para tarefas dinâmicas complexas, especificar um quadro final exato (imagem de destino) é muitas vezes inviável ou excessivamente oneroso para o usuário (ex: renderizar a iluminação exata de uma bola entrando no gol).
• Limitação Atual: Métodos existentes focam em forças diretas (causa imediata) ou trajetórias completas, mas não conseguem planejar a cadeia causal de ações necessárias para atingir um efeito desejado a partir de um estado inicial.

2. Metodologia

O artigo introduz o Goal Force, um novo paradigma onde o usuário define o objetivo através de vetores de força desejados e dinâmicas intermediárias, em vez de apenas o estado final ou texto. O modelo aprende a gerar o vídeo contendo a ação antecedente necessária para causar essa força no objeto alvo.

Componentes Principais:

• Sinal de Controle Físico Multicanal:
  O modelo utiliza um tensor de controle físico de 3 canais ($\tilde{\pi}$) para codificar as instruções do usuário:

  1. Canal 0 (Força Direta): Codifica a causa imediata (ex: empurrar um bloco). Representado como um "blob" gaussiano em movimento.
  2. Canal 1 (Força de Objetivo - Goal Force): Codifica o efeito desejado no objeto alvo (ex: a bola deve mover-se para a direita com certa velocidade). O modelo deve inferir e gerar a causa que leva a esse efeito.
  3. Canal 2 (Massa): Codifica informações privilegiadas sobre a massa relativa dos objetos (opcional), permitindo que o modelo ajuste a dinâmica com base na inércia.

• Estratégia de Treinamento (Curriculum de Dados Sintéticos):

  • O modelo é treinado em um conjunto de dados sintéticos curados contendo primitivas causais simples: colisões elásticas (bolas), dominós caindo e flores balançando (dinâmica não rígida).
  • Mascaramento Aleatório: Durante o treinamento, o modelo recebe aleatoriamente ou a força direta (Canal 0) ou a força de objetivo (Canal 1), com o outro canal zerado.
    • Se recebe a Força de Objetivo, o modelo deve aprender a planejar a ação antecedente (ex: qual bola bater em qual outra).
    • Se recebe a Força Direta, o modelo simula o resultado (efeito).
  • Isso força o modelo a aprender o raciocínio físico causal e a propagação de forças no tempo e no espaço.

• Arquitetura:
  Baseado no modelo de difusão de vídeo Wan2.2 (Mixture-of-Experts). Um módulo ControlNet é adicionado para condicionar a geração no tensor de física. O treinamento foca no "expert" de alto ruído, responsável pela estrutura global e dinâmicas de baixa frequência, permitindo que o modelo aprenda a física sem depender de motores de simulação externos durante a inferência.

3. Contribuições Principais

1. Novo Paradigma de Tarefa: Propõe o "Goal Force", onde o modelo planeja uma cadeia causal de interações físicas para atingir uma força específica, indo além dos métodos diretos de aplicação de força.
2. Simulador Neural Implícito: Introduz um paradigma de treinamento que ensina o modelo de vídeo a atuar como um simulador de física neural implícito. O modelo não requer um motor de física externo na inferência; ele internalizou as leis físicas através do treinamento em dados sintéticos.
3. Generalização Extraordinária (Zero-Shot): Apesar de treinado apenas em dados sintéticos simples (bolas, dominós, plantas), o modelo generaliza para cenários complexos do mundo real, incluindo:
   • Uso de ferramentas (ex: usar um taco de golfe para bater na bola).
   • Interação humano-objeto e objeto-objeto complexa.
   • Cadeias causais de múltiplos objetos.

4. Resultados Experimentais

• Comparação com Baselines de Texto: Em um estudo humano (2AFC) com 75 cenas desafiadoras, o modelo Goal Force superou consistentemente baselines baseadas apenas em texto (zero-shot e fine-tuned) na adesão ao objetivo físico, mantendo alta qualidade visual e realismo de movimento.
• Planejamento Visual e Precisão:
  • O modelo demonstrou alta precisão em selecionar o iniciador correto da cadeia causal em cenários com "bloqueadores" físicos (ex: escolher a bola branca para bater na vermelha quando a laranja está bloqueada).
  • Diversidade: O modelo não sofre de colapso de modo; ele explora múltiplas soluções válidas para atingir o mesmo objetivo (ex: derrubar a última fileira de dominós pode ser feito batendo em qualquer um dos 5 anteriores).
  • Uso de Informação de Massa: O modelo consegue ajustar a velocidade do projétil com base na massa do alvo e do projétil, mesmo em cenários fora da distribuição de treinamento (out-of-distribution), demonstrando compreensão física quantitativa.
• Comparação com Métodos Anteriores: Métodos anteriores (como Force Prompting ou PhysGen) falham ao interpretar uma "força de objetivo" como uma força direta, aplicando-a erroneamente ao objeto. O Goal Force, ao contrário, gera a ação antecedente correta (ex: um pêndulo balançando para derrubar um bloco).

5. Significado e Impacto

O trabalho representa um passo fundamental em direção a modelos de mundo interativos mais capazes e conscientes da física.

• Mudança de Abordagem: Transita de modelos que apenas simulam reações ("o que acontece se eu empurrar?") para modelos que realizam planejamento ("o que preciso fazer para que isso aconteça?").
• Aplicação em Robótica: Permite o planejamento visual de tarefas robóticas complexas sem a necessidade de simulações físicas pesadas ou engenharia de características manuais. O modelo pode "imaginar" a cadeia de eventos necessária para cumprir uma tarefa física antes de executá-la no mundo real.
• Eficiência: Ao aprender a física implicitamente a partir de dados de vídeo, elimina a dependência de motores de simulação 3D durante a inferência, tornando o processo mais escalável e acessível.

Em resumo, o Goal Force demonstra que, ao fundamentar a geração de vídeo em interações físicas fundamentais, é possível criar modelos que raciocinam sobre causa e efeito, planejando ações complexas para atingir objetivos físicos específicos.