AffectNet+: A Database for Enhancing Facial Expression Recognition with Soft-Labels

Resumen Técnico: AffectNet+: Una base de datos para mejorar el Reconocimiento de Expresiones Faciales con Etiquetas Suaves (Soft-Labels)

Planteamiento del Problema
El Reconocimiento Automatizado de Expresiones Faciales (FER, por sus siglas en inglés) enfrenta desafíos significativos debido a las variaciones intra-clase (diversas manifestaciones de una misma emoción) y las similitudes inter-clase (solapamiento de activaciones musculares faciales entre diferentes emociones). Estos problemas se ven exacerbados por las "expresiones compuestas", donde una sola imagen facial transmite una mezcla de emociones en lugar de una categoría discreta. Los conjuntos de datos de FER existentes, como AffectNet, dependen de "etiquetas duras" (hard-labels), asignando una categoría de emoción discreta y única a cada imagen. Este enfoque ignora el matiz de las emociones mixtas y la incertidumbre inherente a la anotación humana, lo que a menudo conduce a etiquetas ruidosas y modelos sesgados. Además, los conjuntos de datos actuales frecuentemente carecen de metadatos exhaustivos (por ejemplo, edad, género, etnia, pose de la cabeza) y no tienen en cuenta los distintos niveles de dificultad para reconocer expresiones en entornos de "vida real" (in-the-wild).

Metodología
Los autores proponen un nuevo marco denominado Soft-FER, que reemplaza las etiquetas duras discretas por etiquetas suaves (soft-labels). Una etiqueta suave se define como un vector de puntuaciones de probabilidad que representa la medida en que múltiples categorías de emociones están presentes simultáneamente en una sola imagen facial. Para generar estas etiquetas para el conjunto de datos AffectNet+, los autores utilizaron un Conjunto Multi-Anotado (MAS) que contiene 3ó,000 imágenes etiquetadas por al menos dos anotadores humanos para garantizar una mayor fiabilidad.

El proceso de generación de etiquetas suaves emplea dos métodos distintos de aprendizaje profundo:

1. Ensamblaje de Clasificadores Binarios (EBC): Este enfoque entrena ocho clasificadores binarios (uno para cada clase de emoción mediante la estrategia uno-contra-todos) utilizando un ensamblaje de tres arquitecturas diferentes: ResNet-50, EfficientNet-B3 y XceptionNet. Para manejar el desequilibrio de clases durante el entrenamiento, los autores propusieron una estrategia específica de muestreo negativo basada en la correlación de las Unidades de Acción (AUs) entre emociones. La puntuación semántica final para cada emoción se calcula agregando las salidas de probabilidad de los tres clasificadores, ponderadas por sus respectivos niveles de confianza (precisión promedio).
2. Clasificador Basado en Unidades de Acción (AU): Este método aprovecha el Sistema de Codificación de Acción Facial Emocional (EMFACS). Se entrena un modelo ResNet-50 de múltiples cabezales para realizar simultáneamente la clasificación binaria y predecir un vector de representación de 21 dimensiones de AU. El modelo aprende las combinaciones específicas de AU asociadas con cada emoción. La probabilidad final se deriva combinando la salida de la clasificación binaria con una puntuación de similitud entre el vector de AU predicho y el vector de AU de referencia para cada clase de emoción.

El vector de etiqueta suave final para cada imagen es el promedio de las puntuaciones semánticas producidas por el EBC y el clasificador basado en AU.

Basándose en la alineación entre las etiquetas suaves generadas y las etiquetas duras originalmente asignadas por humanos, el conjunto de datos AffectNet+ se divide en tres subconjuntos:

• Fácil (Easy): La etiqueta dura coincide con la emoción que tiene la mayor probabilidad en el vector de etiqueta suave.
• Desafiante (Challenging): La etiqueta dura se encuentra dentro de las tres principales probabilidades del vector de etiqueta suave, pero no es la más alta.
• Difícil (Difficult): La etiqueta dura no aparece dentro de las tres principales probabilidades del vector de etiqueta suave.

Adicionalmente, los autores actualizaron los metadatos del conjunto de datos, añadiendo edad, género, etnia, pose de la cabeza y dos conjuntos de puntos de referencia faciales (68 puntos y 28 puntos) utilizando modelos de aprendizaje profundo pre-entrenados.

Contribuciones Clave

• Introducción de Etiquetas Suaves (Soft-Labels): El artículo introduce el concepto de etiquetas suaves para conjuntos de datos de expresiones faciales, proporcionando una descripción más realista y multidimensional de las expresiones faciales que captura las emociones compuestas y las intensidades variables.
• Conjunto de Datos AffectNet+: Los autores presentan AffectNet+, un conjunto de datos de próxima generación construido sobre AffectNet. Incluye etiquetas suaves para todas las imágenes, tres subconjuntos basados en la dificultad (Fácil, Desafiante, Difícil) y metadatos enriquecidos (demografía, pose, puntos de referencia).
• Metodología de Etiquetado Novedosa: El artículo propone y valida dos métodos automáticos (EBC y clasificador basado en AU) para calcular las etiquetas suaves, abordando el alto costo y el tiempo requerido para la multi-anotación manual.
• Evaluación Subjetiva: Un estudio humano con seis participantes demostró que las etiquetas suaves son preferidas sobre las etiquetas duras para describir expresiones faciales y que los humanos pueden distinguir de manera confiable las etiquetas suaves precisas de las aleatorias.

Resultados Experimentales

• Generación de Etiquetas: El modelo EBC logró altas precisiones promedio (que oscilan entre el ~78% y el 93% dependiendo de la configuración del ensamblaje) en todas las clases de emociones, siendo el ensamblaje significativamente capaz de reducir la desviación estándar en comparación con los modelos individuales. El clasificador basado en AU mostró un fuerte desempeño para la mayoría de las emociones, aunque tuvo dificultades con el Miedo (Fear) y la Ira (Anger) debido al alto solapamiento de las AU.
• Desempeño de la Línea Base (Hard-FER): Un modelo base ResNet-50 entrenado con etiquetas duras alcanzó un 85.86% de precisión en el subconjunto "Fácil", pero cayó significativamente a 51.62% en los subconjuntos "Desafiante" y 34.34% en el "Difícil". El modelo exhibió una alta confusión entre emociones similares (por ejemplo, Desprecio vs. Neutral/Alegría, Asco vs. Ira).
• Desempeño de la Línea Base (Soft-FER): Cuando se evaluó utilizando etiquetas suaves, el modelo base mostró un Error Absoluto Medio Ponderado (W-MAE) y una Tasa de Fallo Ponderada (W-FR) menores en el subconjunto Fácil en comparación con el Difícil. Notablemente, Soft-FER redujo la confusión entre Neutral y Desprecio en comparación con Hard-FER, ya que trata cada clase de emoción de forma independiente en lugar de forzar una única elección discreta.
• Evaluación Humana: En pruebas subjetivas, el 65% de los participantes prefirió las etiquetas suaves sobre las etiquetas duras para describir imágenes, y el 81% pudo identificar correctamente las etiquetas suaves precisas frente a alternativas aleatorias.

Significancia y Reivindicaciones
El artículo afirma que AffectNet+ aborda las limitaciones de los conjuntos de datos de FER existentes al proporcionar una representación más matizada de las expresiones faciales mediante etiquetas suaves. Al reconocer que las expresiones faciales a menudo implican emociones compuestas e intensidades variables, el conjunto de datos permite el desarrollo de modelos con fronteras de decisión más suaves. Los autores postulan que AffectNet+ facilitará la investigación en varias áreas, incluyendo:

• Cuantificar la incertidumbre en FER.
• Desarrollar modelos de multi-etiquetado capaces de predecir múltiples expresiones simultáneamente.
• Mitigar los efectos de las etiquetas ruidosas y las distribuciones de datos desequilibradas.
• Mejorar la interpretabilidad del modelo y la generalización en entornos de "vida real" (in-the-wild).
• Permitir la adaptación de dominio y el aprendizaje autosupervisado mediante metadatos enriquecidos.

Los autores concluyen que AffectNet+ representa un paso significativo adelante en la computación afectiva, ofreciendo un recurso que refleja mejor la complejidad de la expresión emocional humana que los conjuntos de datos previos de etiquetas duras.