Resumen Técnico: Real2SAM2Real

Planteamiento del Problema

Los Modelos de Difusión de Video (VDM) han logrado una síntesis de video de alta fidelidad aprovechando ricos sesgos espaciotemporales aprendidos de conjuntos de datos masivos. Sin embargo, permitir un control preciso sobre las trayectorias de la cámara y la dinámica de la escena sigue siendo un desafío significativo. Los enfoques existentes generalmente caen en dos paradigmas, ambos de los cuales sufren limitaciones críticas en escenarios complejos:

1. Embeddings de Cámara Parametrizados: Los métodos que inyectan poses de cámara numéricas (por ejemplo, matrices extrínsecas) en el modelo suelen tener dificultades con la ambigüedad de escala y un gran desfase entre la modalidad de las poses abstractas y las características visuales densas, lo que conduce a una adaptación lenta y a la degradación de los sesgos preentrenados.
2. Estrategias de "Deformación e Inpainting" (Warp-and-Inpaint): Estos métodos utilizan reconstrucciones 3D de píxeles explícitos (por ejemplo, nubes de puntos) para guiar la generación. Si bien reducen el desfase de modalidad, dependen de una geometría incompleta (capas visibles no cerradas). Esto introduce ambigüedades de perspectiva (agujeros estructurales, fachadas erróneas) y pistas engañosas en regiones no lambertianas (reflejos, refracciones). Crucialmente, ambos paradigmas no logran proporcionar un contexto 3D fiable para las regiones no observadas, obligando a los VDM a "alucinar" el contenido faltante, lo que inevitablemente conduce a un colapso estructural durante movimientos de alta dinámica o oclusiones severas.

El problema central identificado es que los VDM, aunque son robustos en los sesgos temporales y semánticos 2D, carecen del guiado complementario consciente de 3D necesario para navegar dinámicas espaciales complejas sin generar artefactos.

Metodología

Los autores proponen Real2SAM2Real, un marco que aprovecha modelos de elevación 3D generativos para crear un caché de geometría 3D explícitamente editable y completo por instancias. Este caché sirve como un robusto andamio geométrico para el VDM, desacoplando la disposición espacial de la apariencia.

1. Caché de Geometría 3D Completo por Instancias

En lugar de intentar reconstruir una escena completa (incluyendo fondos de profundidad infinita) desde una sola imagen, el marco restringe el modelado geométrico explícito a las entidades del primer plano.

• Construcción: Partiendo de una única imagen de referencia, un marco de generación 3D consciente del diseño (por ejemplo, SAM3D) extrae una unión de mallas 3D del primer plano, desacopladas y topológicamente cerradas ($O_k$).
• Configuración Dinámica: Se aplican manipulaciones espaciales especificadas por el usuario (por ejemplo, transformaciones rígidas de 6 grados de libertad) a estas instancias. Debido a que cada instancia es un activo 3D cerrado, la configuración de la escena resultante ($S^{(t)}_{3D}$) tiene en cuenta intrínsecamente las superficies traseras no observadas, evitando el "efecto cartón" y los agujeros estructurales comunes en la deformación monocular.

2. Curación de Datos y Perturbación Libres de 3D

Para cerrar la brecha entre los sesgos 3D explícitos y el dominio visual del VDM, el sistema utiliza mapas de normales con máscara de instancia como un puente transmodal.

• Representación: Los mapas de normales son descriptores geométricos densos e invariantes de escala que se asemejan al espacio RGB, reduciendo el desfase de dominio.
• Pipeline de Datos: Los autores emplean una estrategia de curación automatizada "libre de 3D". Utilizando modelos de predicción densa 2D estándar (NormalCrafter) y segmentación de instancias (SAM 3, VLMs), extraen secuencias de pseudo-normales de conjuntos de datos de video monoculares. Esto evita el desfase de dominio asociado con los conjuntos de datos 3D sintéticos.
• Perturbación: Para abordar la discrepancia entre los datos de entrenamiento limpios y los límites ruidosos y toscos de la elevación 3D de una sola imagen durante la inferencia, se aplica una estrategia de perturbación aleatoria a nivel de instancia durante el entrenamiento (deformaciones elásticas, operaciones morfológicas). Esto enseña al VDM a tratar los mapas de normales como anclajes de resistencia y toscos en lugar de restricciones de píxeles rígidas.

3. Inyección Suave Alineada Espacialmente y Ajuste Fino

El marco utiliza una estrategia de ajuste fino mínimamente invasiva en un VDM fundacional (Wan 2.2 Image-to-Video DiT) para preservar la generalización zero-shot.

• Inyección de Doble Vía:
  • Apariencia ($c_{app}$): Se inyecta mediante un mecanismo de doble vía (latentes VAE prependidos a la secuencia; características CLIP mediante atención cruzada).
  • Geometría ($c_{geo}$): Se inyecta mediante un mecanismo de Alineación Espacial Suave. La secuencia del mapa de normales es codificada por un VAE congelado, procesada por una capa de incrustación de parches convolucionales 3D entrenable, e inyectada aditivamente en los estados ocultos del DiT.
• Desacoplamiento: Crucialmente, la condición geométrica evita los tokens de apariencia prependidos. Esto evita el "cocinado" de los límites geométricos toscos en la textura, evitando la distorsión de la apariencia y la filtración de color.
• Eficiencia: Solo aproximadamente el 1.8% de los parámetros de la red (la capa de incrustación de parches y los módulos LoRA) son entrenables, mientras que el backbone, el VAE y los codificadores permanecen congelados.

Principales Contribuciones

1. Caché de Geometría 3D Completo por Instancias: La introducción de un proxy 3D explícitamente editable y completo por instancias que sirve como guía contextual complementaria. Esta formulación desbloquea capacidades de generación de alta dinámica mientras proporciona anclajes espaciales robustos que evitan las ambigüedades de perspectiva y los artefactos de las reconstrucciones a nivel de píxel.
2. Puente Transmodal mediante Mapas de Normales: El uso de mapas de normales con máscara de instancia para inyectar guía 3D explícita. Esta representación ofrece una alta densidad geométrica e invariancia de escala mientras excluye los detalles de apariencia, proporcionando una guía ortogonal que evita la competencia de características. La estrategia de curación de datos libre de 3D permite la construcción automatizada de conjuntos de datos utilizando solo modelos 2D.
3. Inyección Suave Alineada Espacialmente y Ajuste Fino Mínimo: Un mecanismo de inyección y un paradigma de ajuste fino novedosos que maximizan la preservación de los sesgos preentrenados. Este enfoque proporciona una tolerancia inherente a las imperfecciones de los modelos actuales de generación 3D y logra una rápida adaptación con pocos datos.

Resultados Experimentales

Experimentos extensos demuestran que Real2SAM2Real supera a los baselines de última generación (por ejemplo, ReCamMaster, ViewCrafter, TrajectoryCrafter, WorldForge) tanto en el control de la cámara como en la manipulación de entidades.

• Control de Cámara: En un conjunto de prueba de 100 imágenes de entornos reales con grandes cambios de punto de vista, el método propuesto mantiene una apariencia y coherencia espaciotemporal fieles. Los métodos de referencia exhiben artefactos en cascada y rupturas estructurales bajo condiciones similares. Las métricas cuantitativas (ATE, RPE-T, RPE-R) muestran una fidelidad de cámara superior.
• Movimiento de Entidades: En escenarios que involucran traslación y rotación de objetos aleatorios, Real2SAM2Real logra errores de Rotación y Traslación significativamente menores en comparación con los baselines. Maneja con éxito oclusiones complejas y la manipulación simultánea de múltiples entidades sin degradación estructural.
• Estudios de Ablación:
  • Eliminar la Inyección Suave Alineada Espacialmente (revirtiendo a la concatenación de canales) conduce a la distorsión de la apariencia y la filtración de color, confirmando la necesidad de desacoplar la geometría de la apariencia.
  • Eliminar la Perturbación a Nivel de Instancia resulta en una discrepancia entre entrenamiento e inferencia donde el modelo se adhiere rígidamente a los límites toscos, causando degradación visual y parpadeo temporal.
  • El modelo completo logra las puntuaciones más altas en las métricas de VBench para consistencia, suavidad de movimiento y calidad estética.

Significado y Reivindicaciones

El artículo afirma que Real2SAM2Real aborda fundamentalmente las limitaciones de la generación de video actual al desacoplar la geometría de la apariencia. Al utilizar un caché 3D generativo como contexto complementario, el marco:

• Erradica los Artefactos: Elimina las ambigüedades de perspectiva causadas por agujeros estructurales y fachadas erróneas, así como las pistas engañosas de superficies no lambertianas (reflejos, refracciones) que plagan los pipelines tradicionales de "deformación e inpainting".
• Permite un Control Preciso: Permite un control desacoplado y preciso sobre las trayectorias de la cámara y los movimientos de múltiples entidades, incluso bajo grandes cambios de cámara y oclusiones severas.
• Preserva los Sesgos: A través de un ajuste fino mínimamente invasivo y una inyección suave, retiene la poderosa capacidad de generalización zero-shot y el renderizado fotorealista de los VDM fundacionales.
• Democratiza el Control 3D: La curación de datos libre de 3D y la adaptación con pocos ejemplos hacen que el marco sea accesible sin requerir conjuntos de datos 3D emparejados masivos.

Los autores posicionan este trabajo como un paso hacia el "domado" de los VDM para el control de nivel de producción, proporcionando el guiado consciente de 3D que los sesgos 2D por sí solos no pueden suministrar.