FIELDS: Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision

Resumen Técnico: FIELDS

Planteamiento del Problema
La reconstrucción facial 3D monocular tiene como objetivo estimar una representación de Modelo Morfable 3D (3DMM) a partir de una sola imagen, proporcionando códigos de expresión con conciencia geométrica que son útiles para el reconocimiento de la expresión facial (FER) y la comprensión afectiva. Aunque los procesos actuales han logrado avances significativos, están predominantemente entrenados mediante la autosupervisión a nivel de imagen (consistencia de reconstrucción) y se evalúan basándose en la fidelidad geométrica. Los autores argumentan que este enfoque no necesariamente maximiza la "utilidad afectiva" de la representación de la expresión aprendida. Además, el acoplamiento ingenuo de la supervisión afectiva con las pérdidas de consistencia a nivel de imagen puede fomentar "atajos de amplificación de intensidad", donde el modelo genera expresiones exageradas para satisfacer las restricciones emocionales, comprometiendo así la plausibilidad geométrica. Los métodos existentes que intentan cerrar esta brecha suelen depender de pérdidas de consistencia emocional débiles a nivel de imagen o de módulos emocionales preentrenados externos, lo que puede derivar en un compromiso entre la captura del afecto y el renderizado de imágenes plausibles.

Metodología: FIELDS
El artículo propone FIELDS (Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision), un marco impulsado por tareas diseñado para resolver la tensión entre la utilidad afectiva y la plausibilidad geométrica. FIELDS extiende el proceso de reconstrucción facial 3D monocular autosupervisado TEASER mediante la introducción de una supervisión híbrida 2D/3D.

La arquitectura consta de:

1. Codificador (Encoder): Un codificador basado en FLAME que predice los parámetros de forma ($\beta$), expresión ($\Psi$) y pose ($\Theta$), junto con un token de apariencia.
2. Sintetizador Neuronal (Neural Synthesizer): Un sintetizador guiado por tokens que reconstruye la imagen a partir de la malla FLAME, la máscara de fondo y los tokens de apariencia.
3. Cabezal de Emoción Auxiliar (Auxiliary Emotion Head): Un MLP ligero entrenado conjuntamente para predecir puntuaciones continuas de valencia-activación (valence-arousal) y categorías de emociones discretas directamente desde los parámetros FLAME.

La innovación central reside en la Estrategia de Supervisión Híbrida:

• Anclaje de Expresión Derivado de Escaneos (Scan-Derived Expression Anchoring): Para estabilizar la geometría de la expresión y evitar la amplificación de la intensidad, el marco utiliza objetivos limitados "derivados del ajuste" (fit-derived). Específicamente, los parámetros de expresión de FLAME se ajustan a datos de escaneo 3D de BP4D. Estos parámetros derivados del escaneo sirven como anclajes directos para el codificador de expresión mediante una pérdida de Error Cuadrático Medio (MSE) ($L_{3D-expr}$).
• Supervisión Afectiva Directa en el Espacio de Parámetros: En lugar de depender de la consistencia emocional a nivel de imagen, FIELDS introduce un cabezal de reconocimiento emocional auxiliar que aplica la supervisión directamente en el espacio de parámetros 3DMM. Este cabezal es entrenado utilizando una combinación de pérdidas de regresión (para valencia-activación) y clasificación (para emociones discretas) ($L_{emo}$). Esto fomenta que los códigos de expresión sean informativos para el afecto sin depender de comparaciones perceptuales entre las imágenes renderizadas y las reales.
• Consistencia 2D: El marco retiene las pérdidas estándar de consistencia 2D (fotométrica, perceptual y basada en puntos de referencia o landmarks) para asegurar que la imagen reconstruida sea visualmente plausible.
• Regularización: Se utiliza un modelo base preentrenado (alineado con MICA) para regularizar los parámetros de forma y expresión, asegurando que el espacio de variedades (manifold) aprendido permanezca estable.

El procedimiento de entrenamiento alterna entre un Paso del Codificador (optimizando la consistencia 2D, el anclaje de expresión 3D y la supervisión emocional) y un Paso del Sintetizador (optimizando únicamente el sintetizador para la consistencia 2D y la consistencia de ciclo), evitando que un componente compense los errores del otro.

Contribuciones Clave

1. Marco de Trabajo: La propuesta de FIELDS, un marco impulsado por tareas que combina la consistencia de nivel de imagen autosupervisada con el anclaje de expresión derivado de escaneos y un cabezal de reconocimiento afectivo entrenado conjuntamente que aplica la supervisión directamente en el espacio de parámetros 3DMM.
2. Anclajes Derivados de Escaneos: La derivación de objetivos de expresión basados en escaneos (derivados del ajuste) del conjunto de datos BP4D para servir como anclajes limitados para supervisar directamente los parámetros de expresión de FLAME, reduciendo el riesgo de atajos de amplificación de intensidad.
3. Evaluación: Una evaluación exhaustiva que demuestra que FIELDS mejora la predicción afectiva (tanto discreta como continua) manteniendo una fidelidad geométrica competitiva en pruebas de conjuntos de datos no vistos y fuera de dominio.

Resultados
Los autores evalúan FIELDS en múltiples bancos de pruebas, comparándolo con bases de referencia como EMOCA, SMIRK y TEASER.

• Utilidad Afectiva: En el conjunto de datos AffectNet, FIELDS logra resultados de vanguardia tanto para la clasificación de emociones discretas (56.0% de precisión) como para la regresión de valencia-activación (0.737 V-CCC), superando a los métodos anteriores.
• Plausibilidad Geométrica: En el conjunto de datos BP4D (usando sujetos no vistos), FIELDS mantiene una fidelidad geométrica 3D competitiva (errores de vértices y puntos de referencia) comparable a las bases de referencia centradas en la reconstrucción. Crucialmente, mejora significamente la concordancia con los parámetros de expresión y mandíbula derivados de escaneos (reduciendo el MSE de los parámetros FLAME de ~5.9 a ~0.17) en comparación con las bases de referencia que carecen de supervisión 3D directa.
• Validación Externa: En RAF-DB (usando el sondeo KNN solo en los parámetros de expresión), FIELDS muestra una transferibilidad superior (73.0% de precisión). En MultiREX (geometría fuera de dominio), se mantiene comparable a las bases de referencia existentes, confirmando que las ganancias afectivas no ocurren a expensas de la calidad geométrica general.
• Análisis Cualitativo: Las comparaciones visuales indican que FIELDS preserva mejor la geometría local consistente con la entrada (por ejemplo, formas sutiles de las comisuras de la boca, tensión en la parte inferior de la cara) que las bases de referencia, que a menudo presentan deformaciones sobre-suavizadas o exageradas.

Significado y Reivindicaciones
El artículo afirma que FIELDS proporciona una ruta práctica para obtener representaciones 3DMM listas para FER que son robustas en entornos reales (in the wild) y útiles para aplicaciones de computación afectiva de uso descendente. Al supervisar explícitamente los parámetros 3DMM con anclajes derivados de escaneos y etiquetas afectivas directas, el marco elude el compromiso tradicional entre capturar el afecto y renderizar imágenes plausibles. Los autores sostienen que su enfoque aprende representaciones de expresión informativas para el afecto que son menos sensibles a factores de molestia (pose, iluminación) y están mejor alineadas con los movimientos musculares faciales subyacentes, todo ello preservando la plausibilidad geométrica.

El artículo concluye de manera modesta, señalando que trabajos futuros podrían involucrar el modelado temporal para FER en video, la exploración de estrategias de ponderación de múltiples pérdidas para una mejor robustez entre conjuntos de datos, e la incorporación de otros descriptores estructurados como las unidades de acción (action units) cuando estén disponibles.