Resumen Técnico: Face Anything

1. El Problema

La reconstrucción y el seguimiento (tracking) preciso de rostros humanos dinámicos a partir de secuencias de imágenes es un desafío fundamental en visión por computadora. Las dificultades principales surgen de la naturaleza no rígida de la cara, donde ocurren simultáneamente:

• Deformaciones complejas: Cambios de expresión, movimiento de la cabeza y variaciones de viewpoint.
• Ambigüedad: La geometría y la correspondencia entre píxeles en diferentes momentos son difíciles de estimar sin suposiciones fuertes.
• Limitaciones de métodos existentes:
  • Los métodos basados en movimiento (predicción de flujo óptico o campos de deformación entre frames) se vuelven difíciles de aprender a medida que aumenta la complejidad del movimiento y la longitud de la secuencia.
  • Los métodos paramétricos (como 3DMMs) a menudo carecen de detalle geométrico fino (arrugas, interior de la boca).
  • Los enfoques de reconstrucción y seguimiento suelen tratarse como problemas separados o carecen de consistencia temporal.

2. Metodología Propuesta

El artículo presenta Face Anything, un método unificado de una sola pasada (feed-forward) para la reconstrucción 4D de alta fidelidad y el seguimiento denso. La innovación central es el uso de un espacio canónico facial normalizado.

Concepto Clave: Predicción de Mapas Canónicos

En lugar de predecir el movimiento de un punto del frame $t$ al frame $t+1$ (lo cual es inestable), el método predice un mapa canónico denso para cada píxel.

• Definición: Cada píxel de una imagen de entrada se asigna a una coordenada facial normalizada en un espacio canónico compartido (basado en la topología FLAME).
• Ventaja: La geometría canónica es mayoritariamente compartida entre diferentes poses y expresiones, proporcionando una referencia estable.
• Correspondencia: El seguimiento se convierte en un problema de reconstrucción canónica. Para encontrar la correspondencia entre dos imágenes, se realiza una búsqueda de vecinos más cercanos en el espacio de coordenadas canónicas, en lugar de calcular un flujo de movimiento complejo.

Arquitectura

• Modelo: Se utiliza una arquitectura basada en Transformers (similar a DA3 y DPT).
• Entrada: Una o más imágenes RGB.
• Salidas Conjuntas: El modelo predice simultáneamente:
  1. Mapas de profundidad ($D$).
  2. Mapas de rayos ($R$).
  3. Mapas canónicos ($C$): Coordenadas 3D normalizadas en el espacio FLAME.
• Proceso de Inferencia: Una sola pasada hacia adelante (forward pass) genera todas las salidas. Las correspondencias se establecen mediante búsqueda de vecinos más cercanos (KD-Tree) en el espacio canónico, lo cual es computacionalmente eficiente.

Creación del Dataset (Supervisión)

Dado que los datasets existentes carecen de correspondencias canónicas densas supervisadas, los autores construyeron un nuevo dataset basado en NeRSemble:

1. Reconstrucción Multi-vista: Uso de COLMAP para obtener geometría densa y consistente a partir de 16 cámaras.
2. Alineación Paramétrica: Uso de FLAME para rastrear la cara y establecer una topología canónica.
3. Transferencia de Deformación: Se transfieren los vectores de deformación estimados por FLAME a los puntos reconstruidos por COLMAP. Esto permite mapear la geometría detallada (cabello, arrugas) al espacio canónico, creando mapas canónicos densos y precisos para el entrenamiento.

3. Contribuciones Clave

1. Método Unificado: Un modelo Transformer que realiza simultáneamente estimación de profundidad, reconstrucción 4D y seguimiento denso en una sola arquitectura.
2. Representación Canónica: La predicción de mapas canónicos en lugar de campos de movimiento simplifica el aprendizaje, garantiza consistencia temporal y permite correspondencias robustas incluso con grandes movimientos.
3. Nuevo Dataset: Creación de un dataset de gran escala con representaciones canónicas derivadas de reconstrucciones multi-vista de alta calidad y seguimiento FLAME.
4. Rendimiento de Estado del Arte (SOTA): Logra resultados superiores en estimación de profundidad monoculares y de video, reconstrucción 4D densa y seguimiento de puntos 3D.

4. Resultados y Evaluación

Los experimentos se realizaron en datasets como NeRSemble, Ava-256, VFHQ y CelebV-HQ.

• Precisión de Profundidad:
  • Supera a métodos anteriores como Sapiens, DA3 y V-DPM.
  • Mejora la precisión de profundidad en un 16% en comparación con los métodos existentes.
  • El uso de múltiples vistas de entrada mejora significativamente la precisión en regiones laterales ambiguas.
• Seguimiento y Correspondencia:
  • Reduce el error de correspondencia en aproximadamente 3 veces ($3\times$) en comparación con métodos dinámicos previos.
  • Mantiene correspondencias estables en regiones difíciles como el cabello y bajo movimientos extremos, donde métodos como P3DMM o V-DPM fallan.
• Eficiencia:
  • Es significativamente más rápido y consume menos memoria que los métodos iterativos o basados en optimización.
  • Tiempo de inferencia: ~5 segundos por lote (frente a 160s de V-DPM).
  • Memoria: Utiliza 19 GB de GPU frente a 40 GB de V-DPM, permitiendo procesar hasta 470 imágenes por GPU.

5. Significado e Impacto

El trabajo "Face Anything" representa un avance significativo en la comprensión dinámica de la cara humana al:

• Unificar tareas: Demostrar que la reconstrucción geométrica y el seguimiento de puntos no necesitan ser problemas separados, sino que pueden resolverse conjuntamente mediante una representación canónica.
• Simplificar el aprendizaje: Al transformar el problema de seguimiento (dinámico y complejo) en un problema de reconstrucción en un espacio estático y normalizado, se facilita el entrenamiento y se mejora la estabilidad.
• Habilitar aplicaciones: Proporciona una base sólida para la creación de avatares digitales, telepresencia y animación a partir de videos monoculares no controlados, ofreciendo geometría detallada y consistencia temporal sin necesidad de optimización específica por sujeto.

En conclusión, la predicción de puntos faciales canónicos se establece como una representación fundamental y efectiva para la reconstrucción 4D unificada y eficiente.