Towards Emotion Recognition with 3D Pointclouds Obtained from Facial Expression Images

Título: Hacia el Reconocimiento de Emociones con Nubes de Puntos 3D Obtenidas de Imágenes de Expresiones Faciales

1. El Problema

El Reconocimiento de Expresiones Faciales (FER, por sus siglas en inglés) es fundamental para la Computación Afectiva y la Interacción Humano-Computadora. Sin embargo, los métodos actuales presentan dos limitaciones críticas:

• Privacidad y Regulación: Los enfoques basados en imágenes 2D (RGB) generan preocupaciones de privacidad bajo regulaciones estrictas como el GDPR y la Ley de IA de la UE, ya que capturan texturas y rasgos identificables de alta resolución.
• Escasez de Datos 3D: Aunque las nubes de puntos 3D ofrecen una alternativa más privada (al eliminar texturas), existen muy pocos conjuntos de datos 3D etiquetados y de gran escala. Los existentes (como BU-3DFE) son pequeños, capturados en entornos controlados y carecen de la diversidad "en el mundo real" (in-the-wild) de los conjuntos 2D (como AffectNet). Esto dificulta el entrenamiento de modelos de Aprendizaje Profundo (DL) robustos y generalizables.
• Barrera de Adopción: La adquisición de datos 3D reales requiere escáneres costosos y complejos, lo que impide el monitoreo continuo y no intrusivo necesario para aplicaciones de salud y fatiga.

2. Metodología

Los autores proponen un pipeline end-to-end que combina la generación de datos sintéticos con el uso de sensores de detección de alta frecuencia (HFWS) para un FER privado y continuo.

• Generación de Datos (AffectNet3D):

  • Se utiliza el modelo FLAME (Faces Learned with an Articulated Model and Expressions) para reconstruir geometrías 3D a partir de imágenes 2D del conjunto de datos público AffectNet.
  • Se emplean estimadores de profundidad de vanguardia (ZoeDepth combinado con Boost Your Own Depth) para mejorar la precisión de los mapas de profundidad.
  • El resultado es AffectNet3D, una versión 3D masiva del AffectNet original.

• Refinamiento de Datos:

  • Dado que las reconstrucciones iniciales incluyen toda la cabeza (cuello, orejas), se desarrolla un pipeline de refinamiento para aislar la región facial.
  • El proceso detecta las órbitas oculares en proyecciones 2D, calcula un plano de corte basado en la geometría facial y elimina los puntos no faciales.
  • Se aplica Farthest Point Sampling (FPS) para estandarizar el número de puntos (reduciéndolos a 512 centroides) antes del entrenamiento.

• Modelo de Aprendizaje Profundo:

  • Se utiliza PointNet++ como arquitectura base para procesar las nubes de puntos 3D. Se seleccionó por su eficiencia computacional y capacidad para aprender características jerárquicas directamente de datos 3D crudos.

• Estrategia de Entrenamiento y Evaluación:

  • Entrenamiento: El modelo se entrena primero en el gran conjunto de datos generado (AffectNet3D).
  • Fine-tuning: Se ajusta el modelo con una pequeña fracción (25% o 10%) del conjunto de datos de referencia BU-3DFE (que no se usó para el entrenamiento inicial) para cerrar la brecha de dominio.
  • Simulación de Wearables: Para evaluar la viabilidad en dispositivos como gafas inteligentes, se aplican máscaras a las nubes de puntos simulando la cobertura limitada de sensores HFWS.

3. Contribuciones Clave

• Pipeline de Generación de Datos 3D: Demostración de la viabilidad de convertir conjuntos de datos 2D masivos y públicos en conjuntos de datos 3D etiquetados utilizando FLAME, resolviendo la escasez de datos 3D.
• Enfoque Privado por Diseño: Propuesta de un sistema de FER que utiliza geometrías 3D sin texturas, reduciendo significativamente el riesgo de re-identificación en comparación con las imágenes 2D, alineándose con los principios de privacidad.
• Pipeline de Refinamiento: Desarrollo de un método automatizado para aislar la región facial en nubes de puntos generadas, mejorando la eficiencia y la precisión del modelo.
• Validación de Viabilidad en Wearables: Simulación de condiciones de sensores HFWS (gafas inteligentes) mediante enmascaramiento de datos, demostrando que el sistema mantiene su utilidad incluso con cobertura facial parcial.

4. Resultados

• Rendimiento de Clasificación:
  • El modelo entrenado en AffectNet3D y ajustado (fine-tuned) con solo el 25% de BU-3DFE alcanzó una precisión de clasificación del 70.64%.
  • Este resultado es comparable al de una solución "oráculo" entrenada con el 80% de BU-3DFE (78.90%) y supera significativamente a los modelos entrenados exclusivamente con pequeñas porciones de BU-3DFE (que rondaban el 49%).
  • El ajuste fino con solo el 10% de BU-3DFE aún logró un 58.52%, demostrando la robustez del enfoque.
• Eficiencia y Privacidad:
  • El refinamiento de datos redujo el tiempo de entrenamiento en un factor de 4 al eliminar puntos irrelevantes.
  • La simulación de cobertura parcial (simulando gafas) mostró que la precisión se mantiene razonablemente alta, validando el uso en dispositivos portátiles.
• Comparativa: Los modelos entrenados directamente en AffectNet3D sin fine-tuning tuvieron un rendimiento bajo en BU-3DFE (debido a la brecha de dominio), lo que confirma la necesidad del ajuste fino, pero el enfoque combinado cerró esa brecha exitosamente.

5. Significado e Impacto

• Viabilidad del HFWS: El trabajo valida teóricamente el uso de la Detección de Alta Frecuencia (HFWS), específicamente en el rango de Terahercios (THz), para la creación de mapas faciales 3D en tiempo real mediante wearables. Esto permite un monitoreo continuo de emociones sin cámaras invasivas.
• Cumplimiento Normativo: Al eliminar las texturas y usar geometrías 3D, el sistema ofrece una ruta hacia el cumplimiento de regulaciones de privacidad (GDPR, Ley de IA de la UE) en aplicaciones de salud y HCI, donde el uso de imágenes faciales completas es problemático.
• Habilitador de Investigación: La creación de AffectNet3D proporciona un recurso crucial para la comunidad de investigación, permitiendo entrenar modelos de DL 3D sin depender de costosos escáneres de laboratorio.
• Futuro: Aunque el sistema de hardware THz se describe como un diseño de factibilidad, el pipeline de software y datos presentado sienta las bases para la implementación real de sistemas de reconocimiento de emociones privados, continuos y no intrusivos en dispositivos portátiles del futuro.

En resumen, el artículo demuestra que es posible superar la escasez de datos 3D y las preocupaciones de privacidad mediante la síntesis de datos a partir de imágenes 2D y el uso de geometrías 3D, logrando un rendimiento de reconocimiento de emociones competitivo y adecuado para la implementación en wearables.