Resumen Técnico: Desenroscando la Lente: Un Enfoque Basado en la Física para la Eliminación de Gafas en Vídeo

Declaración del Problema

La eliminación de alta fidelidad de las gafas de un vídeo presenta un desafío significativo en la edición de atributos faciales. A diferencia de las oclusiones estándar, las gafas son elementos ópticos complejos que introducen distorsiones refractivas dependientes de la profundidad y reflexiones especulares dependientes de la vista, lo que a menudo oscurece la geometría facial subyacente. Los enfoques existentes que dependen de prioridades generativas estocásticas (por ejemplo, GAN o modelos de difusión) luchan por separar estos efectos ópticos de la verdadera estructura facial. En consecuencia, estos métodos suelen sufrir de "deriva de identidad", donde la expresión, la pose o las características estructurales únicas del sujeto restaurado divergen del original. Además, la aplicación de tales modelos fotograma a fotograma suele provocar parpadeo temporal debido a la falta de restricciones en el dominio temporal.

Metodología

Los autores proponen un novedoso marco de transferencia que tiende un puente entre las prioridades generativas a gran escala y los principios de restauración física. El flujo de trabajo consta de tres componentes principales: curación de datos, aumentación basada en la física y una arquitectura de restauración especializada.

1. Creación y Filtrado de Datos Generativos

Los datos de entrenamiento se sintetizan utilizando Nano Banana (Gemini 3 Pro Image), un modelo generativo de grado comercial.

• Síntesis: Para cada identidad sintética, el modelo genera 13 conjuntos de imágenes de alta fidelidad que capturan diversas poses de cabeza y expresiones, tanto con como sin gafas.
• Alineación: Para abordar la desalineación espacial inherente a los modelos generativos, los autores emplean una malla de deformación As-Rigid-As-Possible (ARAP). Esto alinea el rostro "limpio" a la pose y configuración exacta de la imagen "con gafas" utilizando restricciones de puntos de referencia (landmarks) y una pérdida fotométrica multiescala.
• Filtrado: Un riguroso proceso de filtrado de tres etapas garantiza la calidad de los datos:
  1. Filtrado L1: Elimina muestras con cambios significativos en la pose de la cabeza, la mirada o la identidad mediante el análisis de errores de fondo y ocular.
  2. Consistencia Estructural: Filtra identidades donde el modelo generativo introdujo una deriva de expresión no deseada.
  3. Proxy de Reconstrucción: Una U-Net ligera realiza una restauración preliminar; las identidades con un alto error de reconstrucción (que indica desalineaciones residuales o artefactos) son descartadas.
     Este proceso produce un conjunto de datos curado de 1.860 identidades (24.180 pares de imágenes).

2. Aumentación de Entrenamiento Basada en la Física

Para superar el sesgo de simplicidad de los modelos generativos respecto a los efectos ópticos, los autores introducen un flujo de trabajo de aumentación basado en la física que opera durante el entrenamiento:

• Simulación de Refracción: Utilizando el ajuste facial paramétrico 3D y la estimación de profundidad monocular, el sistema simula las propiedades ópticas de las lentes. Se lanzan rayos a través de superficies de lentes esféricas definidas por dioptrías objetivo (usando la Regla de Vogel), y se aplica la ley de Snell para calcular la deformación refractiva. Esto crea un campo de deformación denso ($W$) que simula la magnificación/minificación dependiente de la profundidad.
• Simulación de Reflexión: Las reflexiones especulares se generan utilizando mapas de entorno de visión inversa condicionados al retrato del sujeto, simulados en Alto Rango Dinámico (HDR) para capturar brillos realistas y recubrimientos de lentes variables.
• Entrada de Entrenamiento: La entrada final de entrenamiento $I$ es una composición de la imagen con gafas generativa y el rostro limpio físicamente simulado:
  $$I = (1 - M_{lens}) \cdot G_{glasses} + M_{lens} \cdot (\mathcal{W}(G_{clean}) + \mathcal{R}) + \epsilon$$
  donde $M_{lens}$ es la máscara de la lente, $\mathcal{W}$ es la deformación refractiva y $\mathcal{R}$ es la capa de reflexión.

3. Arquitectura JFSnet

La red de restauración, JFSnet (red de Características Conjuntas-Espaciales), opera directamente en el espacio de píxeles para preservar detalles de alta frecuencia que suelen perderse en los enfoques de difusión latente.

• Codificador: Utiliza un codificador DINOv2 (ViT-L/14) preentrenado para capturar prioridades de identidad semántica estables e invariantes a las distorsiones locales. Solo se ajustan las últimas cuatro capas.
• Decodificador: Un decodificador convolucional basado en ResNet reconstruye las características faciales finas.
• Conexiones de Salto (Skip Connections): Las conexiones de salto directas desde la imagen de entrada evitan el cuello de botella de la información, asegurando que la red retenga los detalles no ocluidos por las gafas.
• Consistencia Temporal: Para evitar el parpadeo sin una estimación de flujo costosa, el modelo impone equivarianza de traslación durante el entrenamiento. Un término de pérdida ($\mathcal{L}_{temp}$) obliga a la red a conmutar con pequeños desplazamientos espaciales, asegurando que las características restauradas se muevan coherentemente con el sujeto.

Contribuciones Clave

1. Marco de Transferencia Determinista: Los autores formulan la eliminación de gafas en vídeo como la transferencia offline de una prioridad generativa a un modelo determinista de alimentación directa (feed-forward), combinando conjuntos generativos curados con aumentación basada en la física.
2. Arquitectura JFSnet: Una arquitectura híbrida ViT-CNN que integra características semánticas con reconstrucción espacial, permitiendo la preservación de la identidad y la consistencia temporal.
3. Aumentación Basada en la Física: Un novedoso flujo de trabajo que simula la refracción y reflexión de lentes realistas, permitiendo que el modelo aprenda a invertir distorsiones ópticas específicas en lugar de depender únicamente de la alucinación.
4. Evaluación Exhaustiva: Evaluación extensa en los conjuntos de datos curados FFHQ y CelebV-Text, demostrando un rendimiento superior en preservación de la mirada, estabilidad temporal y fidelidad estructural en comparación con las líneas base del estado del arte.

Resultados

• Rendimiento Cuantitativo: En el conjunto de datos FFHQ (12.163 imágenes), el método logra una Distancia de Inception de Fréchet (FID) de 0.379 y un error L2 de puntos de referencia de 0.632, superando a las líneas base como Nano Banana, ProPainter y varios modelos de difusión.
• Velocidad de Inferencia: El modelo opera a 27.68 FPS, adecuado para aplicaciones de vídeo en tiempo real.
• Estudios Perceptuales: En estudios de usuario sobre secuencias de vídeo de CelebV-Text, el enfoque fue preferido consistentemente sobre las líneas base basadas en difusión y GAN (incluyendo Runway Gen-4.5) en cuanto a consistencia de la mirada, estabilidad temporal y calidad de restauración general.
• Ablación: Los experimentos confirman que tanto las simulaciones de refracción/reflexión como la pérdida de equivalancia de traslación son críticos para lograr puntuaciones FID bajas y estabilidad temporal.

Significado

El artículo afirma cerrar la brecha entre las prioridades generativas a gran escala y la restauración física. Al transferir el conocimiento fotorealista y multivista de un modelo generativo a una arquitectura especializada entrenada con datos físicamente simulados, el enfoque logra una precisión estructural de alta fidelidad manteniendo el rendimiento en tiempo real. El trabajo aborda las limitaciones específicas de las prioridades estocásticas para preservar la identidad y la expresión, ofreciendo una solución que respeta las restricciones geométricas y ópticas del rostro humano. Los autores posicionan esto como un paso adelante en la edición local precisa, yendo más allá de la transferencia de estilo global para manejar oclusiones ópticas complejas con fiabilidad determinista.