Goal Force: Teaching Video Models To Accomplish Physics-Conditioned Goals

1. El Problema

Los modelos de generación de video recientes han avanzado hacia la creación de "modelos del mundo" capaces de simular futuros potenciales para la robótica y la planificación. Sin embargo, existe una limitación crítica en cómo se especifican los objetivos para estos modelos:

• Instrucciones de texto: Suelen ser demasiado abstractas para capturar matices físicos (ej. "disparar al arco" no define la fuerza ni la precisión necesarias).
• Imágenes objetivo: A menudo son inviables para tareas dinámicas, ya que requerirían renderizar condiciones de iluminación y estados exactos de objetos en movimiento.
• Falta de causalidad: Los métodos existentes de control de fuerza suelen aplicar una fuerza directa (el efecto inmediato) en lugar de planificar la cadena causal de acciones necesaria para lograr un resultado deseado.

El desafío es permitir que los usuarios definan metas físicas precisas de manera intuitiva, sin necesidad de motores de física externos ni manipulaciones de escena de bajo nivel.

2. Metodología: Goal Force

Los autores proponen Goal Force, un marco que permite a los usuarios definir objetivos mediante vectores de fuerza explícitos y dinámicas intermedias, imitando cómo los humanos conceptualizan tareas físicas (ej. "aplicar una fuerza específica a una pelota para que golpee otra").

A. Señal de Control de Física Multicanal

El núcleo del método es un tensor de control físico de 3 canales ($\tilde{\pi}$) que condiciona la generación de video:

1. Canal 0 (Fuerza Directa): Codifica la causa inmediata (ej. un empujón). Se representa como un "blob" gaussiano en movimiento.
2. Canal 1 (Fuerza Objetivo): Codifica el resultado deseado (el efecto) sobre un objeto objetivo. El modelo debe inferir la acción antecedente necesaria para lograr este efecto.
3. Canal 2 (Masa): Codifica información privilegiada sobre la masa relativa de los objetos (opcional). Se representa como un blob gaussiano estático.

B. Entrenamiento y Estrategia

• Datos Sintéticos: El modelo se entrena en un conjunto de datos curado de primitivas causales sintéticas generadas en Blender y PhysDreamer, incluyendo colisiones elásticas de bolas, cadenas de fichas de dominó y dinámicas no rígidas (flores meciéndose).
• Enmascaramiento Aleatorio: Durante el entrenamiento, se enmascara aleatoriamente la información causal.
  • Si se proporciona la Fuerza Objetivo, el modelo debe inferir y generar la acción directa antecedente (Planificación: Objetivo $\to$ Acción).
  • Si se proporciona la Fuerza Directa, el modelo debe simular el resultado y la fuerza secundaria (Simulación: Acción $\to$ Resultado).
• Arquitectura: Se basa en Wan2.2 (un modelo de difusión Mixture-of-Experts). Se utiliza un módulo ControlNet que se ajusta finamente solo en el experto de alto ruido (responsable de la estructura global y dinámicas de baja frecuencia) para inyectar la señal física.

C. Inferencia

El modelo actúa como un planificador de física neuronal implícito. No utiliza simuladores de física externos durante la inferencia. Dado un frame inicial y una fuerza objetivo, genera un video que sintetiza una cadena causal físicamente plausible (ej. un péndulo golpeando un bloque) para lograr dicho objetivo.

3. Contribuciones Clave

1. Nuevo Paradigma de Tarea: Introducen "Goal Force", desplazando el control de video de especificar la causa directa a declarar un efecto deseado, permitiendo la planificación de cadenas causales.
2. Simulador Neuronal Implícito: Demuestran que entrenar en primitivas físicas simples permite al modelo aprender a propagar fuerzas en el tiempo y el espacio, actuando como un simulador de física sin necesidad de un motor de física en tiempo de ejecución.
3. Generalización Fuera de Dominio: A pesar de entrenarse solo con bolas, fichas y flores sintéticas, el modelo generaliza a escenarios complejos del mundo real, incluyendo manipulación de herramientas, interacciones humano-objeto y cadenas de colisiones multi-objeto.

4. Resultados

• Comparación con Baselines de Texto: En un estudio humano (N=40) con 75 escenas desafiantes, Goal Force superó significativamente a los modelos basados solo en texto (tanto zero-shot como fine-tuned) en la adherencia al objetivo físico, manteniendo una alta calidad visual y realismo en el movimiento.
• Precisión en la Planificación Visual: En pruebas de selección de iniciadores válidos (ej. elegir qué bola golpear para mover otra cuando hay obstáculos), el modelo alcanzó tasas de éxito del 93-100% en diversas escenas (piscina, dominó, herramientas), superando a una línea base aleatoria (33%).
• Diversidad de Planes: El modelo no sufre de colapso de modos; explora una distribución multimodal de soluciones válidas (ej. puede elegir golpear diferentes fichas de dominó para lograr el mismo objetivo), con una métrica de diversidad significativamente mayor que los modelos deterministas.
• Comprensión de la Masa: El modelo utiliza correctamente la información de masa proporcionada para ajustar la velocidad de los proyectiles (ej. objetos más pesados requieren más fuerza o velocidad), demostrando razonamiento físico incluso en escenarios fuera de distribución.
• Comparación con Métodos Anteriores: A diferencia de métodos como PhysGen o Force Prompting que solo aplican fuerzas directas, Goal Force es capaz de "razonar hacia atrás" para encontrar la acción antecedente necesaria.

5. Significado e Impacto

Este trabajo representa un paso crucial hacia modelos del mundo interactivos y conscientes de la física.

• Planificación Robótica: Permite a los sistemas de robótica planificar acciones visuales basadas en objetivos físicos de alto nivel sin depender de simuladores 3D costosos o geometría explícita.
• Intuición Física: Demuestra que los modelos generativos pueden aprender principios físicos fundamentales (causalidad, masa, inercia) a partir de datos sintéticos simples y aplicarlos a contextos complejos del mundo real.
• Interfaz Natural: Ofrece una interfaz de control más intuitiva para los humanos, alineada con cómo conceptualizamos las tareas físicas (definir el resultado deseado en lugar de los detalles de la ejecución), facilitando la integración de IA generativa en sistemas de planificación autónoma.

El código, los pesos del modelo, los datos sintéticos y las demostraciones interactivas están disponibles públicamente en la página del proyecto.