💻 computer science

Scanline-Aware Animatable Gaussian Avatars from Rolling-Shutter Videos

Este artículo presenta RS-Avatar, un método que reconstruye avatares de Gaussianas 3D nítidos y animables a partir de videos de obturación progresiva (rolling-shutter) mediante la sustitución del renderizado de desenfoque de movimiento estándar por un operador de composición consciente de las líneas de escaneo que contabiliza correctamente la lectura secuencial de diferentes partes del cuerpo dentro de un mismo fotograma.

Autores originales: Youxiang Wang

Publicado 2026-08-19

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Youxiang Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la imagen digital, existe una suposición silenciosa de que cada fotografía captura un único momento congelado en el tiempo. Cuando una cámara toma una foto, generalmente se cree que toda la escena —desde la parte superior de la cabeza de una persona hasta sus pies— se registra en el mismo instante exacto. Esta creencia sustenta gran parte de la visión computacional moderna, el campo dedicado a enseñar a las máquinas a ver y comprender el mundo. Esto permite a los investigadores construir modelos 3 {D} complejos de personas, conocidos como avatares, que pueden ser animados y vistos desde cualquier ángulo. Estos dobles digitales se están volviendo esenciales para todo, desde la telepresencia virtual y la producción cinematográfica hasta el análisis deportivo y la inteligencia artificial. Sin embargo, esta suposición casi nunca es cierta en el mundo real. La gran mayoría de las cámaras, desde los teléfonos inteligentes en nuestros bolsillos hasta los sensores de alta velocidad en estudios profesionales, no capturan una imagen de golpe. En su lugar, escanean la imagen línea por línea, de arriba hacia abajo, en una fracción de segundo. Este método, llamado obturador rodante (rolling shutter), significa que para cuando la cámara termina de leer la parte inferior del encuadre, la parte superior ya ha sido registrada unos milisegundos antes. Para una persona que mueve los brazos o camina, esos pocos milisegundos son suficientes para que su cuerpo cambie de posición significativamente, creando una distorsión sutil pero omnipresente donde diferentes partes del cuerpo son capturadas en momentos distintos.

Durante años, los investigadores que intentaban construir estos avatares 3D a partir de video han ignorado en gran medida este desajuste temporal, tratando cada fotograma como si fuera una instantánea perfecta. El resultado ha sido un fantasma digital: un modelo 3D que se ve correcto cuando se observa desde los mismos ángulos que el video original, pero que se desmorona cuando el espectador intenta mirarlo desde un nuevo ángulo o mover el avatar a una nueva pose. La distorsión se queda grabada en la forma del modelo, causando que las extremidades parezcan tambaleantes, deformadas o antinaturalmente gruesas. Un investigador ha abordado este problema directamente, no intentando arreglar el video antes de construir el modelo, sino enseñándole al modelo mismo cómo entender el comportamiento de escaneo de la cámara. Desarrolló un nuevo sistema que reconstruye avatares 3D nítidos y sin distorsiones directamente a partir de video con obturador rodante, reconociendo que cada una de las líneas de píxeles en una imagen representa un momento ligeramente diferente en el tiempo.

El núcleo de este nuevo enfoque, que el investigador llama RS-Avatar, se basa en un cambio de perspectiva simple pero poderoso. En lugar de pedirle a la computadora que adivine cómo se veía la persona en un solo momento, el sistema acepta que la persona se estaba moviendo a lo largo de toda la duración del escaneo. El software construye un modelo del movimiento del cuerpo que es lo suficientemente preciso como para saber dónde estaba cada parte del cuerpo en cualquier fracción de segundo dada. Cuando crea la imagen final, no promedia las diferentes posiciones, lo que resultaría en un desenfoque, sino que actúa como un editor meticuloso, seleccionando la posición exacta del cuerpo para la línea superior de píxeles, una posición ligeramente diferente para la siguiente línea, y así sucesivamente, coincidiendo con el tiempo específico en que cada línea fue capturada por la cámara. Este proceso es distinto de cómo funciona el desenfoque de movimiento (motion blur); mientras que un desenfoque es como mezclar todos los colores de un objeto en movimiento en un solo rastro borroso, un obturador rodante es más bien como un corte preciso del tiempo, donde cada corte contiene una imagen clara y nítida del cuerpo en un instante específico.

Para probar su idea, el investigador creó un nuevo referente utilizando datos de un estudio de captura de movimiento estándar. Tomó grabaciones de alta calidad de personas moviéndose y simuló artificialmente el efecto del obturador rodante, creando un conjunto de datos donde la respuesta real y nítida era conocida. Luego comparó su nuevo método contra varios enfoques existentes. Una estrategia común es intentar "arreglar" el video primero, utilizando software para enderezar las líneas distorsionadas antes de construir el modelo 3D. Otra estrategia es utilizar un modelo diseñado para el desenfoque de movimiento, que asume que la cámara promedió el movimiento a lo largo del tiempo. Los resultados fueron claros y sorprendentes. El método que intentaba arreglar el video primero mejoró ligeramente la imagen, pero los modelos 3D resultantes seguían siendo defectuosos porque el software de corrección no podía garantizar que los diferentes ángulos de cámara coincidieran entre sí en el espacio tridimensional. El modelo de desenfoque de movimiento funcionó aún peor, produciendo resultados de menor calidad que simplemente ignorar el problema del obturador. Esto sucedió porque la matemática utilizada para manejar el desenfoque es fundamentalmente diferente de la matemática necesaria para el obturador rodante; el modelo de desenfoque intenta adivinar la dirección del movimiento, mientras que el obturador rodante ya proporciona esa dirección a través del orden en que las líneas son escaneadas.

El nuevo sistema, que modela el obturador directamente, superó a todos los demás métodos. Produjo avatares significativamente más nítidos y precisos, preservando detalles finos como la conicidad de un brazo y el espacio entre una mano y una cadera que otros métodos habían suavizado o distorsionado. El investigador descubrió que no necesitaba hacer que los cortes temporales fueran más finos o numerosos para obtener mejores resultados; el modelo de movimiento existente ya era lo suficientemente detallado como para capturar el movimiento dentro de un solo fotograma. La clave era simplemente cambiar cómo la computadora combinaba los diferentes momentos del movimiento del cuerpo en la imagen final. Al tratar el escaneo de la cámara como un programa de eventos en lugar de una instantánea única, el sistema pudo reconstruir un cuerpo 3D limpio y sin distorsiones que podía ser animado y visto desde cualquier ángulo sin el tambaleo o la deformación que plagaban los intentos anteriores.

Este trabajo demuestra que la forma en que una cámara captura una imagen no es solo un detalle técnico para ser corregido después, sino una parte fundamental de la física de la visión. Al integrar el comportamiento de la cámara directamente en el proceso de reconstrucción 3D, el investigador ha demostrado que es posible recuperar una representación digital clara y precisa de una persona en movimiento a partir de un video imperfecto. Los hallazgos sugieren que las herramientas utilizadas para corregir un tipo de distorsión de imagen, como el desenfoque, no pueden simplemente intercambiarse para corregir otro, como el obturador rodante, porque la naturaleza del error es distinta. Aunque el sistema actual funciona mejor con múltiples cámaras y condiciones de buena iluminación, y aunque depende de un modelo matemático de las articulaciones del cuerpo, abre un nuevo camino para la creación de humanos digitales realistas a partir del metraje de video cotidiano que nos rodea. El investigador deja abierta la pregunta de si este muestreo denso del tiempo podría eventualmente usarse para crear videos que corran más rápido de lo que la cámara los capturó, pero por ahora, el logro es una imagen más clara y verdadera de la forma humana en movimiento.

Resumen Técnico: Avatares de Gaussianas Animables Sensibles al Escaneo de Línea de Escaneo desde Videos con Obturador de Rodillo

1. Planteamiento del Problema

La reconstrucción de avatares humanos 3D animables a partir de videos multivista suele basarse en la suposición de que cada píxel en un fotograma captura el cuerpo en un único momento instantáneo. Sin embargo, la gran mayoría de las cámaras CMOS (desde teléfonos inteligentes hasta equipos de captura en estudio) utilizan sensores de Obturador de Rodillo (Rolling Shutter - RS), que leen las filas de la imagen de forma secuencial.

En un fotograma de RS, la diferencia temporal entre la primera y la última fila puede ser de decenas de milisegundos. Para un cuerpo humano articulado y en movimiento, esto significa que la cabeza y los pies (o diferentes extremidades) son capturados en poses significativamente distintas dentro de un mismo fotograma.

El fallo de los métodos actuales: Alimentar los pipelines de reconstrucción de avatares con videos de RS directamente (por ejemplo, Gaussian Splatting o NeRF) obliga al optimizador a explicar la geometría dependiente del escaneo de línea con una única pose por fotograma. Esto "graba" la distorsión en la representación canónica, resultando en artefactos de cizallamiento y oscilación bajo nuevas vistas y poses.
Limitaciones de las soluciones existentes:
- Ignorar el obturador: Conduce a modelos canónicos corruptos y viola la consistencia multivista, ya que diferentes cámaras leen las filas en tiempos distintos.
- Corrección en dos etapas: Aplicar redes de corrección de RS 2D antes del entrenamiento del avatar falla porque operan por vista, no pueden imponer consistencia 3D y alucinan contenido en regiones disocidadas.
- Renderizado sensible al RS existente: Los métodos actuales de renderizado neuronal sensibles al RS (por ejemplo, RS-NeRF) asumen una escena estática con una cámara en movimiento. No pueden manejar el problema inverso de un rig de cámara estático observando un humano que se deforma no rígidamente.
- Modelos de desenfoque de movimiento (Motion Blur): Aunque trabajos recientes reconstruyen avatares a partir de video con desenfoque, el operador matemático para el desenfoque (promedio temporal) es estructuralmente diferente al del RS (selección temporal). Un modelo de desenfoque falla en datos de RS porque promedia renderizados que el sensor nunca promedió realmente.

2. Metodología: RS-Avatar

El autor propone RS-Avatar, un marco que reconstruye avatares de Gaussianas 3D nítidos, sin distorsiones y animables directamente desde video de RS, integrando el modelo de obturador en el proceso de formación de la imagen.

Idea Central:
La formulación es mínima. Un avatar consciente del movimiento ya renderiza el cuerpo en varios instantes sub-fotogramáticos para manejar el desenfoque de movimiento. El único cambio requerido para adaptar esto para RS es el operador de combinación:

Modelo de Desenfoque (Blur): Promedia $T$ renderizados sub-fotogramáticos de forma uniforme ( $\frac{1}{T} \sum$ ).
Modelo de RS: Compone los renderizados línea por línea. Cada fila (o banda de filas) se muestrea del renderizado del sub-fotograma específico correspondiente al tiempo en que esa fila fue leída.

Componentes Técnicos:

Formación de Imagen RS con Conciencia 3D:
- La imagen nítida latente se modela como el renderizado del avatar bajo un estado corporal específico en el tiempo $t$ .
- El fotograma de RS observado es una composición de estas imágenes latentes, donde la fila $v$ muestrea la imagen en el tiempo $t_{c,n}(v) = n\Delta + \delta_c + \frac{v}{H}\rho_c$ .
- El modelo discretiza el fotograma en $T$ bandas de filas contiguas. El fotograma sintetizado $\hat{I}^{RS}$ se computa como una suma enmascarada: $\sum_{i=1}^T M_i \odot R(W(G, S_{t_i}); \Pi_c)$ , donde $M_i$ es la máscara binaria para la banda $i$ .
Modelo de Movimiento Sub-fotogramático:
- Para suministrar los $T$ estados corporales requeridos por fotograma, el método utiliza una interpolación de B-spline de los puntos de control SMPL por fotograma.
- Una red pequeña predice una deformación residual sobre la pose interpolada para dar cuenta de la dinámica de la ropa y los tejidos blandos.
- Regularización Inter-fotogramática: Una penalización geodésica impone continuidad entre el final de la trayectoria de un fotograma y el inicio del siguiente. Crucialmente, a diferencia de los modelos de desenfoque, este prior no necesita disambiguar la dirección del movimiento (ya que el orden de escaneo proporciona la "flecha del tiempo"), reduciendo su carga a imponer únicamente la continuidad.
Optimización:
- El sistema optimiza conjuntamente las Gaussianas canónicas, los puntos de control de la spline por fotograma, las redes de deformación, la forma y los pesos de skinning contra las observaciones de RS puras.
- La discretización temporal ( $T$ ) no necesita ser extremadamente fina (por ejemplo, coincidir con el número de filas) porque la trayectoria intra-fotograma es un polinomio de bajo orden; una discretización gruesa ya sobremuestrea la curva de movimiento.

3. Contribuciones Clave

Definición del Problema: El artículo introduce el desafío específico de la reconstrucción de avatares animables a partir de video de obturador de rodillo, identificando que las suposiciones estándar de "instantaneidad" corrompen el modelo canónico.
Formulación Mínima: Presenta un modelo de formación de imagen de RS con conciencia 3D para Gaussianas que difiere del modelo de desenfoque de movimiento únicamente en su operador de combinación (selección vs. promedio).
Perspectiva Teórica: El autor demuestra que los modelos de corrupción no son intercambiables incluso cuando se comparte la misma maquinaria subyacente (splines, renderizadores). Demuestran que un modelo de desenfoque con conciencia de movimiento, aplicado a datos de RS, funciona peor que un baseline que ignora el obturador porque el operador de promedio crea un desajuste con la verdad de campo basada en la selección.
Benchmark (RS-ZJU): Contribuyen con un nuevo benchmark construido mediante la composición por línea de escaneo de secuencias ZJU-MoCap interpoladas temporalmente, proporcionando fotogramas nítidos de verdad de campo para la evaluación.

4. Resultados

Evaluado en el benchmark RS-ZJU (6 sujetos, 18 cámaras excluidas):

Rendimiento: RS-Avatar logra un PSNR de 24.68, superando al baseline que ignora el obturador (GauHuman, 23.69) por 0.99 dB y al mejor método de corrección en dos etapas (CVR + GH, 23.99) por 0.69 dB.
Mejoras Cualitativas: El método recupera con éxito detalles nítidos de las extremidades (por ejemplo, el estrechamiento del antebrazo, los huecos entre la mano y la cadera) que otros métodos desenfocan o engrosan.
Fallo de la Transferencia de Desenfoque: El modelo de desenfoque con conciencia de movimiento (MAD-Avatar) obtuvo 22.99, situándose 0.70 dB por debajo del baseline que ignora el obturador. Esto confirma que el operador de promedio del desenfoque es fundamentalmente incompatible con los datos de RS, a pesar de utilizar la misma maquinaria de renderizado sub-fotogramático.
Ablación: Eliminar el modelo de RS (tratándolo como obturador global) reduce el rendimiento en ~1.57 dB. Eliminar la spline intra-fotograma (usando una sola pose por fotograma) causa una caída catastrófica de 3.25 dB, resaltando que el modelo de movimiento sub-fotogramático es esencial incluso antes de aplicar el operador de RS.

5. Significado y Reivindicaciones

El artículo argumenta que el obturador de rodillo debe tratarse como una parte intrínseca del modelo de formación de la imagen en lugar de un artefacto de preprocesamiento. Al cambiar la suposición de "un fotograma es una instantánea" a "un fotograma es un cronograma", el método evita las inconsistencias geométricas que plagan la reconstrucción de avatares actual.

El autor enfatiza una lección más amplia para el campo: Los modelos de corrupción no son intercambiables. Aunque el desenfoque y el obturador de rodillo involucran movimiento sub-fotogramático, sus operadores (promedio vs. selección) tienen ambigüedades opuestas. Un prior diseñado para resolver la ambigüedad de direccionalidad en el desenfoque es innecesario (y potencialmente perjudicial) para el obturador de rodillo, donde el orden de escaneo define explícitamente la flecha del tiempo.

El trabajo es modesto sobre sus limitaciones, señalando que asume capturas sRGB bien expuestas, depende de SMPL para el movimiento sub-fotogramático (presentando dificultades con prendas holgadas u objetos sostenidos a mano) y actualmente opera sobre datos de RS sintéticos (aunque el cronograma de lectura es exacto por construcción). Deja abierta la pregunta de si el densificado muestreo temporal del RS puede ser aprovechado para la super-resolución temporal.