🤖 AI

Controllable Video Object Insertion via Multi-View Priors

Este artículo propone un marco de inserción de objetos en video que aprovecha los conocimientos previos de objetos multivista y el condicionamiento consistente entre vistas para superar las limitaciones de los métodos existentes, tales como la deriva de identidad y los artefactos de contorno, logrando así una calidad visual superior, consistencia de identidad e integración fluida entre el primer plano y el fondo.

Autores originales: Qi Xia, Peishan Cong, Yichen Yao, Ziyi Wang, Yaoqin Ye, Yuexin Ma

Publicado 2026-08-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Qi Xia, Peishan Cong, Yichen Yao, Ziyi Wang, Yaoqin Ye, Yuexin Ma

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un director en un set de filmación, pero en lugar de construir sets gigantes, estás trabajando dentro de una pantalla de computadora; tienes un video de una calle concurrida y quieres añadir un personaje nuevo, como un elefante gigante, caminando justo a través del tráfico. Este es el mundo de la inserción de objetos en video, una rama de la visión por computadora donde los científicos enseñan a la IA a pegar cosas nuevas en videos existentes. La parte difícil es que los videos están vivos; la cámara se mueve, el sol cambia y los objetos giran. Si simplemente pegas una foto plana de un elefante en un video en movimiento, parece una calcomanía que no pertenece allí. Podría verse extraño cuando el elefante gira la cabeza, o podría parecer que flota sobre el suelo en lugar de caminar sobre él. Para solucionar esto, los métodos anteriores intentaron usar solo una foto del elefante o una descripción de texto simple, pero eso es como intentar adivinar cómo se ve la parte trasera de una estatua viendo solo su frente. El resultado es a menudo un desastre tembloroso y con fallos que cambia su forma o color mientras el video se reproduce.

Ahora, conoce al nuevo equipo de investigadores de la Universidad Tecnológica de Shanghái que decidió resolver este "problema de la calcomanía" con un truco ingenioso. Se dieron cuenta de que para que un objeto parezca real en un video en movimiento, necesitas saber cómo se ve desde cada ángulo, no solo desde uno. Su solución es como darle a la IA un recorrido de 360 grados del objeto antes de que siquiera intente ponerlo en el video. En lugar de mostrarle a la IA una sola foto plana, primero convierten esa foto en un modelo 3D y luego toman cientos de "instantáneas" de él desde diferentes lados. Ellos lo llaman sus Multi-View Priors (Precursores de Múltiples Vistas). Piensa en la diferencia entre entregarle a un pintor una sola foto de un rostro frente a darle un modelo vivo al que puede rodear.

Pero tener todas estas fotos extra no es suficiente; la IA necesita saber qué foto usar en el momento exacto. Si el elefante en el video gira a la izquierda, la IA necesita tomar la foto del "lado izquierdo" de su banco de memoria, no la del "frente". Los investigadores construyeron un módulo especial, el View-Consistent Conditioning Module (Módulo de Condicionamiento de Vista Consistente), que actúa como un bibliotecario súper inteligente. Cuando la cámara del video se mueve, este bibliotecario encuentra instantáneamente el ángulo perfecto del elefante para que coincida con la escena. También añadieron un sistema de "control de calidad". A veces, convertir una foto plana en un modelo 3D puede salir mal, creando partes extrañas, borrosas o faltantes. La IA es entrenada para ignorar estas instantáneas malas y concentrarse solo en las claras, asegurando que el elefante no se convierta de repente en un bloque de píxeles.

Finalmente, para asegurar que el elefante no parezca estar flotando en el aire o brillando con un halo extraño, añadieron un Integration-Aware Consistency Module (Módulo de Consistencia Consciente de la Integración). Esta parte del sistema actúa como un detective de detección de profundidad. Revisa qué tan profundo es el elefante en comparación con los árboles y los autos en el fondo, asegurándose de que el elefante se oculte detrás de un árbol si camina detrás de uno, y que proyecte las sombras correctas. También añadieron una regla para asegurar que el elefante no parpadee o vibre entre fotogramas, manteniendo su movimiento suave y natural.

Cuando probaron su nuevo marco de trabajo, los resultados fueron impresionantes. En sus experimentos, su método produjo videos que se veían mucho más realistas que los intentos anteriores. Los objetos insertados mantenían su apariencia original (consistencia de identidad) incluso cuando la cámara giraba, y se mezclaban con el fondo sin parecer un trabajo de recortar y pegar. Por ejemplo, cuando lo probaron en un conjunto de datos llamado DAVIS, su método alcanzó una puntuación de 23.22 para la claridad de la imagen (PSNR) y 0.9026 para la similitud estructural (SSIM), superando a otros métodos de alto nivel. Incluso demostraron que su sistema podía funcionar solo con una descripción de texto, convirtiendo palabras en un modelo 3D y luego en un video, demostrando que no siempre necesitas una foto perfecta para empezar. Si bien el sistema no es perfecto y todavía depende de la calidad de la conversión 3D inicial, los investigadores sugieren que el uso de estos "bancos de memoria" de múltiples vistas es un gran paso adelante para hacer que la edición de video se sienta como magia en lugar de un rompecabezas con fallos.

Resumen Técnico: Inserción de Objetos en Vídeo Controlable mediante Priores de Multivista

Planteamiento del Problema
La inserción de objetos en vídeo tiene como objetivo integrar objetos especificados por el usuario en escenas dinámicas existentes manteniendo la coherencia visual. Los métodos actuales suelen depender de prompts de texto o de una única imagen de referencia para definir la apariencia del objeto. Este enfoque crea limitaciones significativas:

Deriva de Identidad y Distorsión: Las observaciones de vista única no logran restringir la apariencia del objeto ante cambios de perspectiva, lo que provoca deriva de identidad, distorsión geométrica y artefactos en ángulos no vistos.
Fallos de Integración: Muchos enfoques existentes no modelan explícitamente las interacciones entre el primer plano y el fondo. En consecuencia, el movimiento de la cámara y los cambios de perspectiva suelen resultar en una capa incorrecta (por ejemplo, objetos que aparecen delante de elementos del fondo que deberían ocluirlos), artefactos de borde y parpadeo temporal.
Generación Subdeterminada: La falta de información multivista dificulta la preservación de la identidad del objeto insertado y la garantía de relaciones de oclusión plausibles en entornos dinámicos.

Metodología
Los autores proponen un marco de inserción de objetos en vídeo que aborda estas limitaciones incorporando priores de multivista derivados de 3D junto con módulos especializados de condicionamiento y consistencia. El marco opera sobre una secuencia de vídeo fuente, una imagen de referencia de primer plano, un prompt de texto y señales de control espacio-temporales (máscaras o cajas delimitadoras).

La arquitectura consta de tres componentes principales:

Generación de Referencia Multivista:
- Una única imagen de referencia 2D se "eleva" a una malla texturizada 3D utilizando una herramienta de reconstrucción 3D preentrenada (Hunyuan3D 2.0).
- La malla se renderiza en un conjunto de imágenes multivista ( $N$ vistas) utilizando extrínsecos de cámara distribuidos uniformemente. Esto proporciona al modelo generativo información de apariencia y geométrica más rica desde diversas perspectivas, en lugar de depender de una única vista estática.
Módulo de Condicionamiento con Consistencia de Vista:
- Inyección de Referencia de Doble Vía: Para utilizar eficazmente los datos multivista sin comprometer la estabilidad, el módulo emplea dos vías complementarias:
  - Inyección de Identidad en el Latente (IPLI): Un codificador visual compartido procesa el vídeo fuente y las renderizaciones multivista. Las representaciones concatenadas se inyectan directamente en los bloques DiT de eliminación de ruido para anclar la apariencia del objeto a través de los fotogramas.
  - Banco de Características Multivista (MVFB): Las imágenes multivista se codifican en una base de conocimientos de pares clave-valor buscables. A través de la atención cruzada, el modelo recupera dinámicamente texturas y pistas geométricas relevantes para la vista desde este banco, permitiendo una generación de apariencia adaptativa a medida que el objeto rota o se mueve.
- Ponderación Sensible a la Calidad: Reconociendo que la elevación 3D puede producir reconstrucciones imperfectas (por ejemplo, geometría faltante, texturas deformadas), el marco implementa un mecanismo de robustez:
  - Aumentación de Artefactos Sintetizados: El entrenamiento retiene renderizaciones naturalmente imperfectas para exponer al modelo al ruido de reconstrucción realista.
  - Verificación de Consistencia Semántica (SCC): Un módulo basado en CLIP computa la similitud de coseno entre el prompt de texto y cada vista renderizada. Un puntaje de consistencia modula la escala de referencia ( $\alpha_{ref}$ ) y escala los tokens de características individuales. Esto suprime la influencia de vistas semánticamente desalineadas o ruidosas mientras retiene evidencia fiable.
Módulo de Consistencia de Integración:
- Fundamentación Geométrica: Dos cabezales auxiliares (Cabezal de Profundidad y Cabezal de Contorno) operan en el espacio latente para mejorar el realismo espacial.
  - El Cabezal de Profundidad es supervisado por mapas de profundidad de pseudo-verdad de terreno para imponer un orden de profundidad y relaciones de oclusión correctos.
  - El Cabezal de Contorno minimiza las discrepancias de la máscara de segmentación para producir bordes de objeto más nítidos y reducir la filtración de color.
- Optimización de Consistencia Temporal: Se aplica una pérdida temporal durante el ajuste fino utilizando el flujo óptico de Lucas-Kanade. Esto deforma las predicciones decodificadas hacia fotogramas subsecuentes para minimizar el parpadeo entre fotogramas y asegurar la continuidad del movimiento.

Contribuciones Clave

Marco de Priores Multivista: Un enfoque novedoso que eleva referencias 2D a representaciones multivista para mejorar la consistencia de la apariencia y la integración de primer plano-fondo en escenas dinámicas.
Condicionamiento con Consistencia de Vista: Un mecanismo de doble vía que combina la inyección directa en el latente para la estabilidad de la identidad y un banco de características para la recuperación adaptativa de la vista, apoyado por un sistema de ponderación sensible a la calidad para manejar reconstrucciones 3D imperfectas.
Consistencia de Integración: La introducción de supervisión de profundidad y contorno latente, junto con restricciones temporales, para modelar explícitamente la oclusión, afilar los bordes y reducir el parpadeo.
Evaluación Exhaustiva: Validación a través de múltiples benchmarks (DAVIS, VIPSeg, MagicBench) demostrando mejoras en la calidad visual, la capacidad de control y la preservación de la identidad e integración perceptual.

Resultados Experimentales
El marco fue evaluado contra siete métodos de referencia (incluyendo AnyV2V, UniVideo, VACE, MagicMotion, LoRA-Edit y PISCO) en DAVIS 2017, VIPSeg y MagicBench.

Rendimiento Cuantitativo: El método propuesto logró resultados de vanguardia en fidelidad de reconstrucción (PSNR: 23.22, SSIM: 0.9026) y calidad perceptual (menores puntuaciones LPIPS y FVD). También superó a los métodos de referencia en control espacial (Mask_IoU y Box_IoU).
Métricas Sin Referencia: En términos de calidad de vídeo perceptual, el método alcanzó las puntuaciones más altas en Consistencia de Sujeto y Parpadeo Temporal, indicando una preservación de identidad superior y transiciones más suaves.
Estudios de Ablación: Eliminar cualquier componente central (priores de multivista, inyección de doble vía, SCC o fundamentación geométrica) resultó en descensos medibles en el rendimiento, confirmando la necesidad de cada módulo. Por ejemplo, eliminar el Banco de Características Multivista provocó deriva de identidad durante la rotación, mientras que eliminar la Verificación de Consistencia Semántica causó que el modelo siguiera reconstrucciones 3D defectuosas.
Capacidad Impulsada por Texto: Una variante impulsada por texto (Ours t2i), que sintetiza la imagen de referencia a partir de texto antes de la elevación 3D, se mantuvo competitiva, demostrando la robustez del flujo de trabajo ante cambios de dominio.

Significancia y Reivindicaciones
El artículo afirma que el marco propuesto aborda eficazmente el desafío central de preservar la identidad de un objeto insertado a través de diferentes puntos de vista, logrando al mismo tiempo una integración perceptualmente plausible en escenas dinámicas. Al combinar priores de multivista con consistencia de integración, el método supera las limitaciones del condicionamiento de vista única, específicamente reduciendo la deriva de identidad, la distorsión geométrica y los artefactos de borde. Los autores posicionan este trabajo como un paso significativo hacia la edición de vídeo realista y controlable para aplicaciones en postproducción cinematográfica, creación de contenido inmersivo de AR/VR y simulación de conducción autónoma, donde los objetos deben permanecer visualmente coherentes con escenas complejas a lo largo del tiempo. El marco soporta tanto el control de caja delimitadora gruesa como el control de máscara de grano fino sin requerir la reconstrucción de toda la escena.

Más como este