Resumen Técnico: Optimización de Preferencia Directa Física y Semántica para la Generación de Texto a Vídeo

1. Planteamiento del Problema

Los modelos de generación de texto a vídeo (T2V) han logrado un realismo visual significativo, pero frecuentemente violan principios físicos básicos. Aunque los métodos de alineación basados en preferencias, particularmente la Optimización de Preferencia Directa (DPO), han surgido como un enfoque prometedor para mejorar la plausibilidad física mediante comparaciones por pares, introducen un modo de fallo crítico: la deriva semántica.

El problema central surge de una asimetría estructural en las señales de supervisión:

• Plausibilidad Física: Evaluada típicamente mediante comparación relativa (determinar qué vídeo obedece mejor las leyes físicas). Este proceso no verifica inherentemente si cualquiera de los dos vídeos representa fielmente los objetos o la escena específicos del prompt.
• Consistencia Semántica: Tratada naturalmente como una evaluación por muestra (comprobar si un vídeo coincide con el texto).

La DPO estándar asume que la muestra físicamente preferida es también semánticamente válida. Sin embargo, el análisis empírico revela que en más del 50% de los pares de preferencia física, el vídeo considerado "físicamente mejor" viola de hecho las restricciones semánticas del prompt (por ejemplo, representando un limón entero en lugar de una rodaja de limón, aunque el movimiento sea físicamente preciso). Cuando la DPO estándar optimiza sobre estos "pares en conflicto", impulsa al modelo hacia soluciones físicamente plausibles pero semánticamente inconsistentes, lo que provoca una convergencia inestable y una degradación de la alineación entre texto y vídeo.

2. Metodología: PSDPO

Los autores proponen la Optimización de Preferencia Directa Física y Semántica (PSDPO), un marco que trata la alineación física como un problema de optimización con restricciones. PSDPO opera enteramente dentro del marco estándar de DPO sin requerir modelos auxiliares, términos de pérdida adicionales o cambios arquitectónicos.

2.1 Formulación con Restricciones

El método formula el objetivo como la minimización de la pérdida DPO sujeta a una restricción de viabilidad semántica: el vídeo físicamente preferido ($y_w$) también debe mantener puntuaciones de alineación semántica ($S_{sem}$) mayores o iguales al vídeo rechazado ($y_l$).
$$\min_{\theta} L_{DPO}(\theta) \quad \text{sujeto a} \quad S_{sem}(y_w, x) \geq S_{sem}(y_l, x)$$

2.2 Modulación Asimétrica

En lugar de filtrar estrictamente los pares que violan la restricción (lo que descartaría valiosas señales de supervisión física), PSDPO introduce una función de modulación suave y estrictamente positiva, $\mathcal{W}(\Delta S)$, donde $\Delta S = S_{sem}(y_w, x) - S_{sem}(y_l, x)$.

• Pares Coincidentes ($\Delta S \geq 0$): El peso es 1.0, recuperando el comportamiento de la DPO estándar.
• Pares en Conflicto ($\Delta S < 0$): El peso se atenúa mediante una función exponencial asimétrica: $\mathcal{W}(\Delta S) = \exp(\Delta S / \tau)$.

Este mecanismo suprime proporcionalmente la contribución del gradiente de los pares donde la preferencia física entra en conflicto con la consistencia semántica, limitado por un parámetro de temperatura $\tau$.

2.3 Análisis de Gradiente y Control de Deriva

Un análisis a nivel de gradiente demuestra que la DPO no restringida introduce un sesgo direccional sistemático (deriva) proveniente de los pares en conflicto. PSDPO limita esta deriva a un residuo controlable. Para mitigar aún más la deriva acumulada durante el entrenamiento, los autores derivan un protocolo de optimización por etapas:

1. Etapa 1: Entrenar exclusivamente en "Pares Coincidentes" ($D_{match}$) para establecer una representación de preferencia estable con cero acumulación de deriva.
2. Etapa 2: Introducir "Pares en Conflicto" ($D_{conf}$) con pesos modulados para extraer señales físicas residuales de manera controlada.

2.4 Sistema de Evaluación de Sentido Común Físico (PCE)

Para generar los datos de preferencia necesarios, los autores desarrollaron un sistema PCE basado en un flujo de razonamiento jerárquico (utilizando Qwen3-VL). Este combina:

1. Analizador de Fenómenos Físicos: Identifica eventos físicos centrales a partir del texto.
2. Métricas Geométricas Auxiliares: Utiliza herramientas como Depth Anything y RAFT para estimar la magnitud del flujo y la inestabilidad de la profundidad.
3. Razonamiento Jerárquico: Un juez MLLM que verifica las leyes físicas y las métricas sin alucinar, logrando un 75.54% de acuerdo con los juicios humanos sobre la plausibilidad física relativa.

3. Contribuciones Clave

1. Identificación de Fallo Estructural: El artículo identifica que el conflicto físico-semántico es una tendencia sistemática en la alineación de preferencia T2V, no simplemente un artefacto de los datos, causado por la dependencia de la comparación física relativa sin verificaciones de fidelidad semántica.
2. Marco PSDPO: Un nuevo método de optimización de preferencia con restricciones que integra la viabilidad semántica en el objetivo de aprendizaje mediante un mecanismo de modulación, sin requerir modelos auxiliares.
3. Garantías Teóricas: Análisis a nivel de gradiente que demuestra que PSDPO limita la deriva semántica de los pares en conflicto y un protocolo por etapas derivado que reduce de forma demostrable la deriva acumulada.
4. Sistema PCE: Un sistema de evaluación robusto para construir conjuntos de datos de preferencia física que supera la puntuación absoluta y a los MLLM independientes en acuerdo con los juicios humanos.

os. Resultados Experimentales

Los experimentos se realizaron en VBench, VideoPhy-2 y PhyGenBench utilizando el modelo Wan-1.3B.

• Plausibilidad Física: PSDPO mejora la plausibilidad física hasta en un 2× respecto a la línea base en VideoPhy-2 (por ejemplo, mejorando la puntuación del subconjunto "Hard" de 0.039 a 0.078).
• Consistencia Semántica: A diferencia de la Vanilla DPO, que degrada la fidelidad semántica, PSDPSO mantiene o mejora las puntuaciones semánticas en VBench (Puntuación total: 84.13 frente a 82.79 para Vanilla DPO).
• Comparación con SOTA: PSDPO supera a los métodos de preferencia existentes (VideoDPO, PhysHPO, RDPO) y a los métodos especializados en física (PhysGen, PhyMAGIC) en múltiples benchmarks, logrando un mejor equilibrio entre el realismo físico y la alineación semántica.
• Estudios de Ablación:
  • Escala de Modulación ($\tau$): $\tau=0.02$ proporciona el equilibrio óptimo, recuperando significativamente la adherencia semántica mientras preserva el aprendizaje físico.
  • Entrenamiento por Etapas: Un paso de cambio ($T_s$) de 1000 pasos (en un programa total de 3k pasos) ofrece los mejores resultados, equilibrando la estabilidad temprana con la extracción posterior de la señal física.

5. Significado y Reivindicaciones

El artículo sostiene que PSDPO demuestra que una formulación con principios puede generar tanto solidez teórica como simplicidad práctica. Al abordar la asimetría estructural entre la supervisión física y la semántica, el método logra un equilibrio más fiable que los enfoques existentes.

Los autores enfatizan que su enfoque:

• Opera enteramente dentro del marco estándar de DPO.
• No requiere modelos auxiliares, términos de pérdida adicionales o cambios en la arquitectura base.
• No depende de simuladores físicos externos ni de razonamiento de Cadena de Pensamiento (CoT) durante la inferencia (a diferencia de algunos métodos competidores).
• Resuelve con éxito la tensión entre mejorar la plausibilidad física y mantener la consistencia semántica, un paso crítico hacia la generación de contenido de vídeo con base física a partir de texto.