💻 computer science

ScaleVid: Geometry-Aware Video Object Scaling with Mesh-Free Inference

ScaleVid introduce un marco de entrenamiento de dos etapas y libre de mallas que logra el escalado de objetos de video con conciencia geométrica mediante el desacoplamiento de la deformación 3D del primer plano de la preservación del fondo utilizando la reconstrucción de pseudo-fuente, permitiendo así un redimensionamiento anisotrópico realista sin una reconstrucción 3D explícita durante la inferencia.

Autores originales: Youze Huang, Penghui Ruan, Bojia Zi, Xianbiao Qi, Shihao Zhao, Rong Xiao

Publicado 2026-08-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Youze Huang, Penghui Ruan, Bojia Zi, Xianbiao Qi, Shihao Zhao, Rong Xiao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que sostienes un control remoto mágico para la realidad. Apuntas a un video de un gato, presionas un botón y, de repente, el gato es el doble de ancho, o el coche en el fondo se encoge hasta el tamaño de un juguete. Este es el sueño de la "edición de video" impulsada por la inteligencia artificial. Durante mucho tiempo, las computadoras fueron excelentes para cambiar el aspecto de las cosas: hacer que una camisa sea roja o eliminar a una persona de una foto. Pero, ¿cambiar la forma o el tamaño de un objeto en un video manteniendo su apariencia real? Eso es como intentar estirar una banda elástica sin que se rompa o se convierta en una masa extraña. La computadora tiene que entender que si estiras un coche lateralmente, sus ruedas no deberían simplemente estirarse como un caramelo; deberían verse como si realmente se estuvieran ensanchando en un espacio 3D, y el fondo detrás de él debe permanecer perfectamente quieto. Si la computadora se equivoca en esto, el video parece una pesadilla llena de fallos donde los objetos se derriten o flotan de formas imposibles.

Aquí es donde entra una nueva idea llamada "ScaleVid". Los investigadores detrás de ella querían resolver un rompecabezas específico: cómo cambiar el tamaño de los objetos en un video (hacerlos más grandes, más pequeños, más anchos o más altos) sin necesidad de construir primero un modelo 3D complejo del mundo. Normalmente, para hacer este tipo de cambio de tamaño, necesitarías escanear el objeto, construir una malla 3D (como un esqueleto de alambre), estirar ese esqueleto y luego volver a pintar el video sobre él. Es lento, costoso y requiere mucho trabajo manual. ScaleVid sugiere una forma más inteligente y rápida. En lugar de construir un modelo 3D, utiliza un truco de "entrenamiento" de dos pasos. Primero, le enseña a una computadora a estirar cosas de formas simples en 2D (como aplastar una foto de forma plana). Luego, le enseña a la computadora a entender cómo se ven esos estiramientos cuando ocurren en un espacio 3D, utilizando videos de "práctica" creados a partir de modelos 3D. Una vez entrenada, la computadora puede tomar un video real, estirar el objeto exactamente como deseas y rellenar el fondo perfectamente, todo esto sin construir nunca un modelo 3D durante el proceso de edición real.

El artículo, titulado "ScaleVid: Geometry-Aware Video Object Scaling with Mesh-Free Inference", presenta un método que logra esto dividiendo la tarea en dos etapas distintas. Los autores argumentan que los métodos existentes dependen de prompts de texto (que suelen ser imprecisos, como decirle a una computadora "hazlo grande" sin decir qué tan grande) o requieren una reconstrucción 3D pesada (que es demasiado lenta para un uso en tiempo real). ScaleVid propone un enfoque "progresivo". En la primera etapa, el sistema aprende a manejar cambios simples y planos (2D), como estirar un rectángulo. Esto le enseña cómo mantener el fondo estable mientras el objeto cambia. En la segunda etapa, aprende a manejar deformaciones 3D reales. Aquí, el sistema utiliza un módulo especial llamado "Deformer" que toma un video y aplica un estiramiento 3D específico basado en las instrucciones del usuario (como "estirar el ancho por 1.5x, el alto por 0.8x"). Crucialmente, el sistema se entrena utilizando "pseudo-fuentes": videos falsos creados al estirar modelos 3D y luego renderizarlos nuevamente en formato de video. Esto permite que la IA aprenda las reglas de la geometría 3D sin necesidad de videos del mundo real donde el objeto ya esté redimensionado (los cuales son casi imposibles de encontrar).

Los resultados son bastante impresionantes. Al ser probado en una variedad de objetos, desde copas de vidrio transparentes hasta coches complejos, ScaleVid logró cambiar el tamaño de ellos manteniendo la geometría correcta. Por ejemplo, si estiras la profundidad de un coche, las ruedas traseras se vuelven visibles de una manera que tiene sentido físico, algo que el simple estiramiento en 2D no puede hacer. El artículo muestra que ScaleVid supera a otros métodos en mantener la identidad del objeto (sigue pareciendo el mismo coche, solo que más grande) y en preservar el fondo (sin deformaciones extrañas en el cielo o la carretera). Los autores midieron esto utilizando varias métricas, encontrando que su método logró una puntuación de precisión de escala de 0.804 (IoU) y un error de alineación geométrica de solo 0.237 grados para el yaw, significativamente mejor que competidores como "DiffHandles" o "GeoDiffuser".

Sin embargo, el artículo es cuidadoso al notar que esto no es una varita mágica que lo arregla todo. El sistema todavía tiene limitaciones. Si el objeto es muy simétrico, como una esfera perfecta o un cilindro, la computadora podría confundirse sobre qué dirección es "ancho" y cuál es "profundidad", lo que lleva a resultados ambiguos. Además, si el objeto se encoge significamente, el sistema tiene que "inventar" el fondo que antes estaba oculto detrás del objeto, y a veces puede alucinar detalles extraños en esas nuevas áreas. Los autores sugieren que, si bien su método es un gran paso adelante, el trabajo futuro podría centrarse en mejorar el manejo de estas tareas de "invención" y hacer que el estiramiento 3D sea aún más robusto para formas complicadas.

En esencia, ScaleVid es como un maestro chef que aprende a cocinar un plato complejo practicando primero en una versión simple y falsa de los ingredientes, y luego aplicando esas habilidades a comida real y fresca. Al separar la lógica del "estiramiento" de la lógica del "pintado", los investigadores crearon un sistema que puede cambiar el tamaño de objetos en videos con un nivel de realismo geométrico que antes estaba fuera del alcance de los métodos rápidos sin malla. Sugiere que no siempre necesitamos construir un mundo 3D completo para editarlo; a veces, enseñar a la IA a entender las reglas del espacio 3D mediante un entrenamiento ingenioso es suficiente para que ocurra la magia.

Resumen Técnico: ScaleVid

Definición del Problema

El artículo aborda el desafío del escalado de objetos en video con conciencia geométrica, una tarea que requiere redimensionar anisotrópicamente un objeto objetivo a lo largo de sus ejes centroides de objeto (ancho, alto y profundidad) manteniendo la plausibilidad geométrica, la coherencia temporal y la consistencia del fondo.

Los enfoques existentes enfrentan limitaciones significativas:

Los métodos guiados por texto operan principalmente en el plano de la imagen 2D, careciendo de un control preciso sobre las transformaciones geométricas 3D.
Los enfoques guiados por profundidad ofrecen un control geométrico solo grueso.
Los métodos basados en mallas (mesh) requieren una reconstrucción 3D costosa, estimación de cámara y alineación explícita entre malla y píxel durante la inferencia, lo que dificulta la escalabilidad y la aplicación práctica.
Escasez de Datos: Existe una falta de videos de entrenamiento reales emparejados donde un objeto se escale en 3D mientras el fondo permanece consistente, lo que dificulta el aprendizaje supervisado.

El objetivo es escalar un objeto de acuerdo con factores 3D especificados por el usuario ( $s_x, s_y, s_z$ ) sin recurrir a la reconstrucción 3D explícita o a la estimación de la cámara durante la inferencia.

Metodología

ScaleVid introduce un marco de entrenamiento progresivo de dos etapas que desacopla la transformación geométrica de la síntesis de video realista mediante una estrategia de reconstrucción de pseudo-fuentes. La idea central es construir pseudo-fuentes perturbadas geométricamente a partir de videos reales, manteniendo los videos completos originales como objetivos de reconstrucción. Esto permite que el modelo aprenda el control geométrico a partir de la supervisión sintética y la composición realista a partir de datos de video reales sin necesidad de una alineación explícita entre malla y píxel.

1. Módulos de Guía con Conciencia Geométrica (Deformer & Masker)

Estos módulos se entrenan en un conjunto de datos sintético a gran escala construido a partir de mallas 3D (reconstruidas mediante Hunyuan3D) y renderizadas con escalado anisotrópico controlado.

Alineación de Ejes Canónicos: Para asegurar una semántica de escalado consistente en diferentes objetos, el método alinea los ejes de la Caja de Orientación Objeto (OBB) con un marco canónico del renderizador (eje $y$ vertical, ancho $x$ , profundidad $z$ ).
Deformer (Deformador): Un modelo de flujo condicional en el espacio latente que aprende a transformar el video del primer plano basándose en parámetros de escalado anisotrópico continuos. Emplea un objetivo de entrenamiento bidireccional (escalado hacia adelante e inverso) para asegurar la consistencia de la transformación y reducir la deriva espacial.
Masker (Enmascarador): Predice el soporte espacial (máscara) temporalmente consistente del primer plano transformado. Se destila en un generador de 3 pasos para mayor eficiencia.

2. Entrenamiento Progresivo del Modelo Principal

El Modelo Principal se entrena en dos etapas para aprender progresivamente de transformaciones 2D a 3D:

Etapa I (Escalado Planar 2D): El modelo aprende una composición robusta de primer plano-fondo mediante transformaciones planas. Las pseudo-fuentes se construyen aplicando escalado 2D al primer plano y enmascarando la región correspondiente en el fondo. Esta etapa establece un fuerte prior para completar regiones faltantes y preservar la escena.
Etapa II (Escalado con Conciencia 3D): El modelo incorpora guía de deformación 3D centrada en el objeto. El Deformer genera un primer plano geométricamente transformado ( $F_{src}$ ), y el Masker predice su soporte. Crucialmente, el Modelo Principal está condicionado a una guía alineada con el objetivo ( $F_{tgt}$ ) generada aplicando el escalado inverso a $F_{src}$ . Esto crea una señal de aprendizaje no trivial donde el Modelo Principal debe refinar el primer plano deformado y componerlo de manera fluida con el fondo, en lugar de simplemente copiar la entrada.

3. Pipeline de Inferencia

En la inferencia, el proceso se simplifica y no requiere mallas:

El usuario selecciona un objeto (vía SAM2) y especifica los factores de escala $s$ .
El fondo se extrae (usando Minimax Remover).
El Deformer se aplica una sola vez para generar el primer plano alineado con el objetivo.
El Modelo Principal integra este primer plano con el fondo para producir el video final.
El Masker y la deformación inversa no son necesarios en la inferencia, lo que reduce significativamente el costo computacional.

Contribuciones Clave

Formulación del Escalado de Objetos en Video: El artículo formula la tarea utilizando factores anisotrópicos centrados en el objeto y aprende efectos geométricos proyectados sin necesidad de reconstrucción 3D explícita durante la inferencia.
Estrategia de Entrenamiento Progresivo de 2D a 3D: Un marco novedoso que construye pseudo-fuentes mientras utiliza videos reales originales como objetivos. Esto permite aprender una composición robusta a partir de transformaciones planas (Etapa I) y un escalado con conciencia de la geometría a partir de la guía de deformación 3D (Etapa II).
Benchmarks Exhaustivos: Los autores establecen tres benchmarks complementarios:
- Benchmark de Geometría: Aísla la precisión geométrica y la fidelidad del primer plano en fondos uniformes.
- Benchmark de Fondo Real: Compone objetos renderizados en fondos del mundo real para probar la preservación del fondo.
- Benchmark de Mundo Real: Evalúa el rendimiento en videos de la vida real (Pexels, DAVIS) centrándose en la calidad perceptual y la consistencia temporal.

Resultados Experimentales

Experimentos extensos demuestran que ScaleVid supera a los métodos de vanguardia (incluyendo métodos guiados por texto, profundidad y mallas) en múltiples métricas:

Precisión Geométrica: ScaleVid logra una precisión de escala y un alineamiento geométrico superiores (medidos por IoU de máscara, error de área y errores de ajuste de pose de cámara) en comparación con métodos que dependen de prompts de texto o mapas de profundidad.
Fidelidad del Primer Plano: El método ofrece los mejores resultados en error a nivel de píxel (MSE, PSNR) y similitud perceptual (DINO, DreamSim) tanto en los benchmarks de fondo sintético como de fondo real.
Preservación del Fondo: Mantiene una alta consistencia del fondo, superando a los métodos que tienen dificultades con las interacciones objeto-escena o la filtración en los bordes (boundary leakage).
Consistencia Temporal: ScaleVid logra puntuaciones Ewarp competitivas, lo que indica una coherencia temporal estable sin el parpadeo observado en los métodos basados en imágenes o impulsados por texto.
Eficiencia: Al evitar la reconstrucción 3D explícita y el renderizado de mallas durante la inferencia, ScaleVid ofrece una inferencia más rápida y práctica en comparación con los pipelines basados en mallas.

Significado y Reivindicaciones

El artículo afirma que ScaleVid representa un paso significativo hacia adelante en la edición de video controlable al lograr desacoplar la transformación geométrica de la síntesis de video de alta fidelidad. Su importancia radica en:

Eliminar el Cuello de Botella de la Inferencia: Logra el escalado con conciencia geométrica sin la carga computacional de la reconstrucción 3D o la estimación de cámara durante la fase de generación.
Resolver el Problema de la Escasez de Datos: La formulación de reconstrucción de pseudo-fuentes permite al modelo aprender de videos reales sin requerir objetivos de escalado reales emparejados, los cuales no están disponibles de otra manera.
Aplicabilidad Práctica: El método es adecuado para la edición de videos cortos, publicidad y aplicaciones de AR/VR donde el tamaño del objeto afecta la composición y el énfasis visual, ofreciendo un equilibrio entre el control geométrico y la apariencia realista que los métodos existentes no logran alcanzar simultáneamente.

Los autores reconocen limitaciones, particularmente respecto a la brecha de distribución entre los datos de entrenamiento de mallas renderizadas y los videos reales en el espacio de píxeles, así como la ambigüedad de los ejes canónicos para objetos simétricos (por ejemplo, esferas). Sin embargo, sostienen que el marco propuesto proporciona una solución robusta y práctica para el escalado de objetos en video con conciencia geométrica.