PriorProbe: Recovering Individual-Level Priors for Personalizing Neural Networks in Facial Expression Recognition

Resumen Técnico: PriorProbe para la personalización de redes neuronales en el reconocimiento de expresiones faciales

Planteamiento del problema
La adaptación de la inteligencia artificial a usuarios individuales es crítica para la toma de decisiones personalizada; sin embargo, capturar el comportamiento específico de cada individuo sigue siendo un desafío significativo. Si bien las redes neuronales profundas (DNN) de última generación pueden predecir el comportamiento humano de forma promedio, tienen dificultades para capturar los juicios perceptuales individuales, particularmente en lo que respecta a expresiones faciales sutiles o ambiguas donde la variabilidad interpersonal es alta.

Formalmente, el reconocimiento de expresiones faciales puede modelarse como una inferencia bayesiana: $P(e|f) \propto P(e)P(f|e)$, donde $P(e)$ es la creencia previa (prior) de un individuo sobre los estados emocionales y $P(f|e)$ es la verosimilitud (likelihood) de observar la expresión $f$ dada la emoción $e$. Cuando los estímulos son ambiguos, el término de verosimilitud se vuelve poco informativo y las diferencias individuales en los priors $P(e)$ dominan la inferencia. Los métodos existentes para personalizar las DNN enfrentan dos obstáculos fundamentales:

1. Escasez de datos: Entrenar con datos a nivel de individuo suele ser costoso e inviable debido a la necesidad de conjuntos de datos grandes y representativos.
2. Degradación del modelo: El ajuste fino (fine-tuning) de las DNN con datos individuales dispersos y ruidosos conlleva el riesgo de sobreajuste (overfitting) y olvido catastrófico de las representaciones aprendidas.

Además, los métodos tradicionales de la ciencia cognitiva para la obtención de priors a menudo no logran identificar de manera única dichos priors o introducen sesgos sistemáticos al tratar la función de verosimilitud como un parámetro libre o un mapeo arbitrario.

Metodología
Los autores presentan PriorProbe, un novedoso enfoque de obtención basado en MCMC con Personas (MCMCP). A diferencia de la personalización a nivel de parámetros (por ejemplo, el ajuste de pesos), PriorProbe recupera priors cognitivos y verosimilitudes finos y específicos de cada individuo para informar el espacio de inferencia de una red neuronal sin modificar sus pesos.

La metodología consta de tres componentes principales:

1. DistFace (Espacio de Identidad-Afecto Desentrelazado):
   Para permitir un muestreo imparcial, los autores construyeron un espacio generativo controlado donde el afecto facial se desentrelaza de la identidad facial.

   • Arquitectura: Un Auto-Codificador Variacional (VAE) híbrido que comprende:
     • Codificador: Tres ramas preentrenadas extraen características: ResEmoteNet (expresión), FMAE-IAT (unidades de acción, identidad-adversaria) y ArcFace (identidad).
     • Espacio Latente: Estas características se mapean en distintos subespacios latentes ($V_{af}$ para el afecto, $V_{id}$ para la identidad).
     • Eliminación de ruido (Denoising): Un auto-codificador de eliminación de ruido comprime el espacio de afecto de 128 dimensiones en un espacio de afecto puro de 16 dimensiones para un muestreo eficiente.
   • Entrenamiento: El modelo fue entrenado en el conjunto de datos BU-4DFE utilizando pérdidas de reconstrucción, preservación de identidad y preservación de afecto para asegurar que la rama de afecto impulse la expresión mientras que la rama de identidad impulse la identidad.

2. Procedimiento de obtención de PriorProbe:
   PriorProbe opera dentro del espacio de afecto de 16 dimensiones mediante un algoritmo de Metropolis–Hastings por bloques con un humano en el bucle (human-in-the-loop). Alterna entre dos tipos de ensayos para muestrear conjuntamente la verosimilitud $P(f|e)$ y el prior $P(e)$ de un individuo:

   • Ensayos de Rostro: Los participantes ven una categoría de emoción $e$ y dos opciones de rostro ($f, f'$). Seleccionan el rostro que mejor representa la categoría. Para acelerar el muestreo, se utiliza un esquema de Metropolis–Hastings Independiente (IMH) donde un "Guardián" (ResEmoteNet) propone rostros que probablemente pertenezcan a la categoría objetivo.
   • Ensayos de Categorización: Los participantes ven un rostro $f$ y dos categorías de emoción ($e, e'$). Seleccionan la mejor descripción. La distribución de propuesta para las categorías también es guiada por el Guardián.
   • Recuperación: La cadena de Markov resultante converge en la distribución conjunta $\pi(f, e)$. Los priors individuales $P(e)$ se recuperan reponderando las categorías muestreadas por $1/G_e(e|f)$, donde $G_e$ es la asignación de probabilidad del Guardián, corrigiendo efectivamente el sesgo de la propuesta.

3. Integración y Evaluación:
   Los priors individuales recuperados se integran con una DNN de última generación (ResEmoteNet) dentro del espacio de inferencia. El sistema se evalúa mediante una tarea de clasificación de estímulos novedosos y ambiguos (imágenes donde la confianza de la DNN es $<0.25$). El objetivo es determinar si la incorporación de priors individuales mejora la alineación del modelo con la clasificación humana en estímulos ambiguos sin degradar el rendimiento en etiquetas de verdad de campo (ground-truth).

Contribuciones Clave

• Marco de trabajo PriorProbe: Un método general e interpretable para recuperar representaciones mentales finas y específicas de cada individuo de manera eficiente, evitando la necesidad de conjuntos de datos masivos a nivel de individuo o la modificación de pesos.
• Modelo/Conjunto de datos DistFace: Un modelo generativo que desentrelaza el afecto facial de la identidad, proporcionando un "espacio de afecto puro" esencial para la obtención imparcial de priors en tareas de expresión facial.
• Validación Empírica: Un experimento humano exhaustivo que demuestra que las redes neuronales informadas por priors recuperados predicen mejor las elecciones individuales en estímulos ambiguos en comparación con la red sola o redes que utilizan fuentes de priors alternativas.

Resultados
En un experimento con 55 participantes, los autores recuperaron los priors individuales sobre siete emociones básicas.

• Diferencias Individuales: Los priors recuperados exhibieron una heterogeneidad sustancial entre los participantes, confirmando que los individuos poseen sesgos cognitivos distintos respecto a las categorías emocionales.
• Ganancias de Rendimiento: La integración de los priors derivados de PriorProbe en la red neuronal produjo ganancias sustanciales en la predicción de las clasificaciones individuales en estímulos ambiguos.
• Robustez: La personalización mejoró la alineación con los juicios humanos individuales sin degradar el rendimiento de inferencia del modelo en estímulos no ambiguos (ground-truth).

Significado y Reivindicaciones
El artículo afirma proporcionar un marco general, interpretable y robusto para personalizar redes neuronales profundas. Al desplazar el enfoque de la adaptación a nivel de parámetros hacia la recuperación de priors cognitivos, PriorProbe aborda las limitaciones de la escasez de datos y el olvido catastrófico. Los autores sostienen que este enfoque ofrece una ruta con principios para desarrollar sistemas digitales que brinden asistencia genuinamente personalizada, particularmente en dominios como el reconocimiento de expresiones faciales donde las diferencias perceptuales individuales son significativas y los modelos estándar fallan en capturarlas. El trabajo demuestra que los priors cognitivos a nivel de individuo pueden obtenerse con precisión y utilizarse eficazmente para mejorar el poder predictivo de los sistemas de IA para usuarios específicos.