You Only Landmark Once: Lightweight U-Net Face Super Resolution with YOLO-World Landmark Heatmaps

Resumen Técnico: Solo se Localiza una Vez

Enunciado del Problema
La superresolución (SR) de imágenes faciales busca reconstruir imágenes faciales de alta resolución a partir de entradas de baja resolución severamente degradadas. Bajo factores de ampliación extremos (por ejemplo, 8×), los detalles faciales finos a menudo se pierden, lo que dificulta una reconstrucción precisa. Los métodos existentes más avanzados suelen depender de arquitecturas computacionalmente pesadas (como modelos de difusión o grandes transformadores de visión), esquemas de entrenamiento adversarial o redes de alineación separadas para guiar la reconstrucción de regiones críticas como ojos, nariz y boca. Estos enfoques a menudo resultan en una complejidad de modelo prohibitiva, requisitos de entrenamiento extensos y aplicabilidad limitada en escenarios con recursos restringidos o en tiempo real. Además, los métodos que dependen de detectores de puntos de referencia dedicados pueden tener dificultades con la generalización y la robustez cuando los puntos de referencia están ocluidos.

Metodología
Los autores proponen una arquitectura ligera basada en U-Net diseñada para reconstruir imágenes faciales de 128×128 a partir de entradas de 16×16, sin necesidad de redes de entrenamiento auxiliares ni entrenamiento adversarial.

• Arquitectura: El modelo sigue un diseño de codificador-cuello de botella-decodificador. El codificador utiliza cuatro bloques convolucionales con profundidad de canal creciente (comenzando en 48 filtros) y convoluciones con paso 2 (stride-2) para la submuestreo. El decodificador refleja esta estructura con un aumento progresivo de la muestra y conexiones de salto. Para evitar artefactos tipo tablero de ajedrez, el proceso de aumento de la muestra utiliza interpolación de vecino más cercano seguida de capas convolucionales en lugar de convoluciones transpuestas. Una cabeza de refinamiento con bloques residuales mejora aún más los detalles espaciales a resolución completa. El modelo incluye una conexión de salto global que añade una versión aumentada de la muestra de la entrada de baja resolución a la predicción final para mejorar la consistencia del color y la convergencia. El recuento total de parámetros es de aproximadamente 7,3 millones.
• Supervisión Guiada por Mapas de Calor: Una innovación central es una estrategia de supervisión novedosa que aprovecha mapas de calor generados por YOLO-World, un detector de objetos de vocabulario abierto. En lugar de entrenar una red de puntos de referencia dedicada, los autores utilizan YOLO-World para detectar componentes faciales (ojos, nariz, boca, etc.) en las imágenes de alta resolución de referencia (ground-truth).
  • Generación de Mapas de Calor: Las regiones detectadas se procesan utilizando detectores de bordes Scharr y Canny, se normalizan y se suavizan con desenfoque gaussiano. Se aplican funciones de desvanecimiento espacial (Gaussiana o Gaussiana inversa) para modular la importancia según la distancia desde el centro de la característica. Se asignan pesos específicos de clase manualmente para enfatizar regiones visualmente prominentes (por ejemplo, los ojos reciben un peso de 4,5).
  • Función de Pérdida: Estos mapas de calor se convierten en pesos espaciales para formar una "pérdida guiada por mapas de calor". Esta pérdida repondera los errores de píxel, asignando penalizaciones más altas a errores en regiones semánticamente importantes mientras reduce el peso de áreas menos relevantes.
• Pérdida Compuesta: La red se entrena utilizando una función de pérdida compuesta que combina:
  1. Pérdida de Píxel (MSE): Para fidelidad de bajo nivel.
  2. Pérdida Perceptual: Basada en activaciones de características de VGG16.
  3. Pérdida de Mapa de Calor: La pérdida de píxel ponderada propuesta.
  4. Pérdida LPIPS: Para mejorar el realismo perceptual y la nitidez de la textura.

Contribuciones Clave

1. Priors de Coste Cero: La introducción de un método para obtener priors de superresolución facial a partir de un modelo YOLO-World de propósito general sin coste adicional de entrenamiento. Esto elimina la necesidad de redes auxiliares específicas de la tarea o detectores de puntos de referencia.
2. Marco Ligero: La presentación de un marco de superresolución estable y ligero basado en una columna vertebral U-Net que equilibra la calidad de reconstrucción con la eficiencia computacional.
3. Validación Robusta: Validación extensa en el conjunto de datos CelebA alineado bajo configuraciones de degradación bilineal y bicúbica, demostrando la robustez del enfoque y su aplicabilidad general.

Resultados Experimentales
El método se evaluó en el conjunto de datos alineado CelebA (de 16×16 a 128×128, escala 8×).

• Rendimiento Cuantitativo: Bajo submuestreo bilineal, el método propuesto con pérdida de mapa de calor logró un PSNR de 25,47 dB y un SSIM de 0,716, superando la línea base sin pérdida de mapa de calor (24,66 dB PSNR) y superando a varias arquitecturas complejas basadas en priors (por ejemplo, ProgFSR, EIPNet). Bajo submuestreo bicúbico, el método logró 24,77 PSNR y 0,6924 SSIM.
• Eficiencia: El modelo demuestra ventajas significativas en eficiencia. Requiere solo 4,0 GMACs (o 1,28 GMACs con una cabeza de refinamiento reducida) en comparación con 19–45 GMACs para métodos basados en atención o iterativos como MAIC y DIC.
• Velocidad de Inferencia: El enfoque logra un rendimiento en tiempo real, superando los 200 FPS en GPU y manteniendo tiempos de inferencia prácticos en CPU (latencia de aprox. 4,20 ms), significativamente más rápido que los métodos competidores.
• Resultados Cualitativos: Las inspecciones visuales indican que el modelo guiado por mapas de calor produce reconstrucciones más nítidas y coherentes en regiones faciales críticas (ojos, boca) con menos artefactos en comparación con modelos sin la pérdida de mapa de calor.

Significado y Afirmaciones
El artículo afirma que los priors impulsados por detección de modelos fundacionales de propósito general pueden guiar eficazmente la superresolución facial extrema sin aumentar la complejidad arquitectónica ni los costes de supervisión. Al reutilizar directamente las salidas del detector como supervisión, el enfoque mantiene un pipeline de entrenamiento e inferencia eficiente. Los autores afirman que sus resultados demuestran que las redes ligeras pueden aprovechar estos priors para lograr una ampliación extrema perceptivamente convincente, ofreciendo una alternativa robusta para escenarios donde los recursos computacionales son limitados o se requiere un rendimiento en tiempo real. El trabajo destaca el potencial de reutilizar modelos fundacionales como priors de coste cero para la restauración de imágenes bajo degradación severa.