Frequency-Decomposed Avatar Representation for Varying Camera Distances

Imagina intentar capturar a una persona en un mundo digital de forma tan perfecta que puedas acercarte a ella, inspeccionar el tejido de su camisa o retroceder para ver todo su cuerpo en una habitación llena de gente. Durante años, los científicos de la computación han luchado por crear estos "humanos digitales" que se vean reales a cualquier distancia. El problema es un compromiso: los métodos que se ven nítidos cuando estás cerca suelen volverse borrosos o con fallos cuando te alejas, mientras que los métodos que funcionan bien desde lejos pierden los detalles finos necesarios para una vista de primer plano. Esta limitación ha frenado aplicaciones en la realidad virtual, los videojuegos y la telepresencia, donde los usuarios necesitan interactuar con personas digitales de forma natural, moviéndose libremente sin que la imagen se desmorone.

La solución a este problema ha sido durante mucho tiempo un concepto conocido como "nivel de detalle", una técnica utilizada en la computación gráfica para simplificar objetos complejos cuando están lejos y añadir detalle cuando están cerca. Sin embargo, los métodos existentes para crear avatares humanos animados no han podido aplicar esta idea de forma fluida. O bien dependen de formas 3D rígidas que carecen de textura, o utilizan miles de puntos diminutos y flotantes que se vuelven desordenados y lentos cuando la cámara se acerca demasiado. Un equipo de investigadores ha desarrollado ahora una nueva forma de construir estos humanos digitales que resuelve este problema de la distancia, permitiendo una representación única y de alta calidad que se ve realista ya sea que estés a centímetros de distancia o al otro lado de la habitación.

Los investigadores, trabajando con datos de cámaras de alta resolución, crearon un sistema que llaman CloseUpAvatar. En lugar de intentar construir a la persona a partir de una malla sólida o una nube de millones de puntos, representan el cuerpo humano como una colección de pequeños cuadrados planos y con textura. Piensa en estos cuadrados como diminutos carteles flexibles que cubren la superficie del cuerpo. Cada uno de estos cartros lleva su propia imagen, que puede cambiar a medida que la persona se mueve. La innovación clave reside en cómo se almacenan estas imágenes. El equipo se dio cuenta de que un solo archivo de imagen no puede manejar tanto los colores amplios de un rostro como los detalles nítidos de un poro de la piel al mismo tiempo sin confundirse.

Para solucionar esto, dividieron la información visual en dos capas separadas para cada uno de los carteles. Una capa contiene los detalles de baja frecuencia, que son los colores y formas suaves y generales que definen el aspecto general de la persona. La segunda capa contiene los detalles de alta frecuencia, que son las texturas nítidas y crujientes como arrugas, poros y patrones de la tela. El sistema está diseñado para ser inteligente sobre cuándo usar cada capa. Cuando la cámara está lejos, el sistema solo muestra la capa de baja frecuencia, que es eficiente y se ve perfecta desde la distancia. A medida que la cámara se acerca, el sistema mezcla automática y gradualmente la capa de alta frecuencia, que es más nítida. Esta transición ocurre de forma tan fluida que el espectador nunca nota el cambio; la imagen simplemente se vuelve más nítida a medida que se acerca, sin saltos repentinos ni desenfoques.

Los investigadores probaron este enfoque utilizando un gran conjunto de datos de personas reales filmadas desde muchos ángulos, incluyendo metraje de alta resolución que les permitió simular primeros planos extremos. Compararon su nuevo método con las mejores técnicas actuales en el campo. Los resultados mostaron que, mientras otros métodos luchaban por producir una imagen clara cuando la cámara hacía zoom, resultando a menudo en rostros borrosos o distorsionados, su nuevo sistema mantenía una calidad fotorrealista. De hecho, el nuevo método fue capaz de renderizar estos avatares detallados a una velocidad de más de 200 fotogramas por segundo, lo cual es lo suficientemente rápido para la interacción en tiempo real en la realidad virtual. Esta velocidad se logró utilizando muchos menos bloques de construcción que los métodos anteriores, demostrando que tener menos piezas, pero más inteligentes, es más efectivo que tener millones de piezas simples.

Uno de los hallazgos más significativos fue que el sistema podía aprender a manejar estas distintas distancias durante su proceso de entrenamiento. Los investigadores enseñaron a la computadora mostrándole a la misma persona tanto muy de cerca como muy de lejos, una técnica que hizo que otros métodos fallaran o produjeran artefactos extraños. Al utilizar su enfoque de división de frecuencias, el sistema aprendió a separar la forma general de los detalles finos, lo que le permitió adaptarse instantáneamente a la posición de la cámara. Esto significa que un humano digital creado con este método puede ser recorrido, inspeccionado de cerca y visto desde la distancia sin que la calidad de la imagen se degrade nunca.

El trabajo demuestra que es posible tener un humano digital que sea tanto eficiente como increíblemente detallado. Los investigadores señalaron que, aunque su sistema es altamente efectivo para el cuerpo y las características generales, todavía enfrenta desafíos con detalles extremadamente finos como los dedos individuales o las expresiones faciales complejas, que siguen siendo un área de mejora futura. Sin embargo, para la tarea amplia de crear personas digitales realistas e interactivas, este nuevo enfoque ofrece un salto significativo. Elimina la barrera entre el usuario y el mundo digital, asegurando que, sin importar lo cerca que estés, la persona en la pantalla se vea tan real como se ve de lejos.