Revisiting an Old Perspective Projection for Monocular 3D Morphable Models Regression

Este artículo presenta un nuevo modelo de cámara que incorpora un efecto pseudo-perspectiva mediante un parámetro de contracción para mejorar la regresión de modelos 3DMM monocular en imágenes de primer plano, manteniendo la estabilidad de la proyección ortográfica tradicional.

Lo esencial

¡Hola! Imagina que quieres crear un avatar 3D de tu cara para un videojuego o una película, pero solo tienes una foto normal tomada con tu celular. El problema es que las cámaras de los celulares (y las que llevamos en la cabeza para grabar videos) tienen un "efecto de lente" que hace que las cosas cercanas se vean más grandes y las lejanas más pequeñas. A esto le llamamos distorsión de perspectiva.

Los métodos antiguos para crear estos avatares funcionaban como si la cámara fuera un "proyector de diapositivas" perfecto: todo se veía del mismo tamaño, sin importar si estaba cerca o lejos. Esto funcionaba bien para fotos de estudio, pero cuando intentaban recrear una selfie o un video muy cercano, el resultado era extraño: la nariz se veía diminuta y la mandíbula flotaba en el aire, como si la cara fuera un globo desinflado.

Aquí es donde entra este nuevo trabajo de Toby Chong y Ryota Nakajima. Vamos a explicarlo con una analogía sencilla:

1. El Problema: La "Cámara Mágica" vs. La Realidad

Imagina que tienes una cámara mágica (los métodos antiguos) que ignora la profundidad. Si te acercas mucho a la lente, la cámara mágica sigue dibujando tu cara como si estuvieras a un metro de distancia.

• Resultado: Tu nariz, que está muy cerca de la lente, debería verse gigante, pero la cámara mágica la dibuja pequeña. Tu frente, que está más lejos, se ve igual que la nariz. ¡El resultado es una cara de dibujos animados con la nariz de un bebé y una frente de gigante!

2. La Solución: El "Botón de Ajuste" (El Parámetro $\rho$)

Los autores dicen: "¿Y si no cambiamos toda la cámara, sino que le añadimos un pequeño botón de ajuste?"

En lugar de intentar adivinar exactamente qué lente usó la cámara y a qué distancia estaba (lo cual es como intentar adivinar cuánta sal hay en una sopa sin probarla), ellos añadieron un parámetro de "encogimiento" (llamado $\rho$).

• La analogía del globo: Imagina que la cara 3D es un globo.
  • Con el método antiguo (proyección ortogonal), el globo se ve igual de grande desde cualquier ángulo.
  • Con su nuevo método, el globo tiene un elástico invisible. Cuando la nariz está muy cerca de la cámara, el elástico se estira y la hace parecer más grande. Cuando la frente está lejos, el elástico se relaja.
  • Este "botón" se puede aprender automáticamente. Es como enseñarle a la computadora a decir: "¡Oye, esta foto es un primer plano, así que vamos a estirar un poco la nariz!".

3. ¿Cómo lo hicieron? (El Entrenamiento)

No tuvieron que reinventar la rueda. Tomaron modelos de inteligencia artificial que ya eran muy buenos (llamados SMIRK, DECA, etc.) y les dieron un curso de especialización usando un dataset nuevo que ellos mismos crearon: HMC1M.

• El Dataset HMC1M: Imagina que grabaron a 200 actores con cámaras pegadas a sus cabezas (como las que usan los vloggers o los actores de realidad virtual). Estas fotos son extremadamente cercanas, donde la distorsión es muy fuerte.
• El Truco del Enmascaramiento: Al entrenar, les dijeron a la IA: "No mires el borde de la cara ni la punta de la nariz al principio, porque ahí es donde la IA se confunde más. Enfócate en el resto y luego ajusta esos detalles". Es como pintar un cuadro: primero haces el boceto general y luego corriges los detalles difíciles al final.

4. Los Resultados: ¿Funcionó?

¡Sí! Y aquí está la magia:

• En fotos de cerca (Selfies y cámaras en la cabeza): La nariz ahora se ve del tamaño correcto, la mandíbula se asienta bien y la cara no parece un globo. La IA entendió que "cerca = grande".
• En fotos normales (de lejos): El nuevo botón se queda en "cero" (o casi cero), por lo que la IA sigue funcionando igual de bien que antes. No rompió nada.

En resumen

Este paper es como si le dieras a un pintor que solo sabe pintar retratos planos (2D) un lente de aumento inteligente. Ahora, cuando el pintor ve una foto muy cercana, el lente le dice: "¡Ojo! La nariz está muy cerca, hazla más grande".

Gracias a este pequeño ajuste, podemos crear avatares 3D mucho más realistas para videos de TikTok, realidad virtual o películas, sin necesidad de tener cámaras de cine costosas o escáneres 3D complejos. ¡Es una mejora simple pero que cambia el juego para las fotos cercanas!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Revisiting an Old Perspective: Projection for Monocular 3D Morphable Models Regression" en español:

1. Problema Identificado

El ajuste de Modelos Morfables 3D (3DMM) a imágenes monoculares es fundamental para la creación de contenido, especialmente mediante enfoques basados en regresión profunda. Sin embargo, la mayoría de los métodos actuales (como EMOCA, DECA, SMIRK) utilizan proyección ortográfica para mapear el modelo 3D al espacio 2D.

• Limitación de la proyección ortográfica: Elimina la ambigüedad entre la distancia del objeto ($t_z$) y la longitud focal ($f$), lo que simplifica el entrenamiento. No obstante, ignora la distorsión de perspectiva, un efecto crítico en imágenes de primer plano (close-ups), como las capturadas con cámaras montadas en la cabeza (HMC) o selfies.
• Artefactos observados: Al ignorar la perspectiva, los modelos reconstruyen rostros con narices más pequeñas de lo real y mandíbulas "levitadas". Además, se produce un efecto de "cerebro expansivo" (expanding brain), donde el contorno superior de la malla 3D se curva hacia afuera exageradamente para compensar la falta de distorsión.

2. Metodología Propuesta

Los autores proponen un modelo de cámara novedoso que extiende la proyección ortográfica para capturar la distorsión de perspectiva de manera controlada y compatible con arquitecturas existentes.

A. Modelo de Cámara de "Pseudo-Perspectiva"

Introducen un nuevo parámetro aprendible llamado $\rho$ (parámetro de contracción o shrinkage). La proyección se modifica de la siguiente manera:

$$\begin{pmatrix} u \\ v \end{pmatrix} = \begin{pmatrix} S\frac {v_x}{1+\rho v_z}\\ S\frac {v_y}{1+\rho v_z} \end{pmatrix}$$

• Comportamiento:
  • Si $\rho = 0$, la proyección es ortográfica (equivalente a los métodos actuales).
  • A medida que $\rho$ aumenta, la proyección se vuelve más parecida a la perspectiva (simulando una longitud focal efectiva $f \approx S/\rho$).
• Ventaja: Aísla el efecto de contracción de la perspectiva en un solo parámetro, permitiendo una transición suave optimizable mediante retropropagación sin alterar drásticamente el tamaño general del objeto proyectado.

B. Técnicas de Ajuste Fino (Fine-Tuning)

Para adaptar modelos preentrenados con proyección ortográfica a este nuevo modelo, proponen varias técnicas:

1. Capa Lineal Adicional: Se añade una capa lineal simple (seguida de una activación sigmoide) al codificador de pose para predecir $\rho$. Se inicializa con pesos pequeños para mantener la compatibilidad con el modelo preentrenado.
2. Prior de $\rho$ por Dataset: Se utiliza una pérdida $L_2$ para guiar a $\rho$ hacia un valor prior ($\rho_{prior}$) basado en el tipo de dataset.
   • Para datos de cámaras montadas en la cabeza (HMC1M), $\rho_{prior} \approx 4.0$.
   • Para datasets estándar (FFHQ, CelebA), $\rho_{prior} \approx 0.0$.
3. Máscara de Ambigüedad: Se modifica la técnica de enmascaramiento durante el entrenamiento para evitar que la nariz y el contorno facial (regiones con mayor ambigüedad de profundidad) dominen la pérdida de reconstrucción, permitiendo que el modelo aprenda la distorsión correcta sin sobreajustar a características específicas.

C. Dataset HMC1M

Los autores crearon un nuevo dataset interno (HMC1M) con 1 millón de imágenes capturadas con cámaras montadas en la cabeza a distancias de 15-30 cm de actores profesionales. Este dataset es crucial para entrenar y evaluar la capacidad del modelo para manejar distorsiones extremas.

3. Contribuciones Clave

1. Nuevo Modelo de Cámara: Una extensión de la proyección ortográfica mediante el parámetro $\rho$ que captura efectos de perspectiva sin reintroducir la ambigüedad completa de la proyección de perspectiva tradicional (focal + distancia).
2. Técnicas de Adaptación: Métodos de fine-tuning que permiten convertir modelos existentes (entrenados con ortografía) a este nuevo modelo de cámara utilizando imágenes no calibradas.
3. Dataset Especializado: Introducción de HMC1M, un conjunto de datos de primer plano extremo para validar la eficacia del método en escenarios de distorsión alta.

4. Resultados y Evaluación

Evaluación Cuantitativa

• Reconstrucción de Landmarks (2D): En el dataset HMC1M, el método propuesto ("Ours") logra la menor pérdida de reconstrucción tanto en la línea de la mandíbula como en el resto de puntos faciales, superando a SMIRK preentrenado y reentrenado.
• Reconstrucción de Malla (3D): En el dataset NoW (subconjunto "Selfie"), el método propuesto supera significativamente a SMIRK preentrenado, reduciendo la pérdida de reconstrucción. Esto confirma que el modelo recupera mejor la geometría subyacente en imágenes con fuerte distorsión de perspectiva.
• Comparación con MICA: Aunque el método supera a SMIRK, MICA sigue teniendo un rendimiento ligeramente superior en geometría neutra, ya que MICA está entrenado específicamente con escaneos 3D masivos para esa tarea, mientras que el enfoque de los autores se optimiza para coincidir con la imagen de entrada.

Evaluación Cualitativa

• Estudio de Percepción: En una prueba de preferencia humana (Mechanical Turk) con 619 respuestas, el 44.4% de los usuarios prefirieron la reconstrucción del método propuesto sobre SMIRK preentrenado y reentrenado.
• Visualización: Las imágenes muestran que el método elimina el efecto de "cerebro expansivo" y reconstruye narices con el tamaño y la proyección correctos en primeros planos, evitando las mejillas huecas que genera SMIRK para compensar la falta de perspectiva.

Análisis de $\rho$

Los valores estimados de $\rho$ reflejan la distorsión del dataset:

• HMC1M: $\rho \approx 2.95$ (máxima distorsión).
• MEAD: $\rho \approx 1.35$ (distorsión moderada).
• CelebA/FFHQ: $\rho \approx 0.68$ (distorsión mínima, casi ortográfica).

5. Significado y Conclusión

El trabajo demuestra que es posible mejorar la calidad de reconstrucción de modelos 3DMM en escenarios de primer plano sin abandonar la estabilidad de la proyección ortográfica.

• Impacto: La solución es particularmente relevante para aplicaciones de realidad aumentada (AR), efectos visuales (VFX) y animación que utilizan cámaras corporales o selfies, donde la distorsión de perspectiva es inevitable.
• Limitaciones: El método no muestra mejoras significativas en imágenes "in-the-wild" estándar (como CelebA) porque estas ya son mayoritariamente ortográficas. Además, intentar aprender directamente la longitud focal ($f$) y la distancia ($t_z$) en lugar de usar el parámetro $\rho$ resultó inestable durante el entrenamiento, validando la necesidad de su enfoque intermedio.

En resumen, los autores ofrecen una solución práctica y eficiente para "revisitar" la perspectiva en la regresión 3D, cerrando la brecha de calidad entre modelos entrenados en estudio y aplicaciones en escenarios de primer plano extremo.