Resumen Técnico: Razonamiento Causal de Unidades de Acción Fiel (FACR)

1. Planteamiento del Problema

Los sistemas automáticos de reconocimiento de emociones faciales requieren cada vez más explicaciones que no sean meramente plausibles sino fieles —es decir, que la explicación debe reflejar los factores reales que impulsan la predicción. Los enfoques actuales se dividen en dos categorías, ambas carentes de fidelidad:

1. Métodos causales estructurales: Modelan las Unidades de Acción (AU) y las expresiones mediante grafos causales, pero son puramente discriminativos. Descartan la estructura recuperada durante la inferencia, emitiendo solo etiquetas o mapas de atención sin racionales verbalizados.
2. Modelos de Lenguaje de Gran Escala Multimodales (MLLM): Generan racionales de emoción en lenguaje natural basados en las AU. Sin embargo, su texto no está restringido por estructuras causales verificadas y se evalúa únicamente por su plausibilidad (por ejemplo, superposición de texto o jueces basados en GPT). En consecuencia, suelen sustituir la atribución causal por el emparejamiento de plantillas y no logran actualizar sus explicaciones ante ediciones contrafácticas.

La brecha central es la ausencia de un sistema que fundamente un razonador de AU $\to$ emoción en un grafo causal verificado y que imponga una fidelidad contrafáctica, asegurando que la intervención en una AU causal cambie tanto la predicción como el racional, mientras que la intervención en una AU irrelevante los deje sin cambios.

2. Metodología: FACR

El sistema propuesto, Razonamiento Causal de Unidades de Acción Fiel (FACR), aborda esta brecha a través de tres etapas integradas:

A. Inducción de Grafo Causal de AU $\to$ Emoción ($G$)

FACR induce un grafo causal dirigido y consciente de la polaridad $G = (A \cup C, E)$ de forma independiente en lugar de reutilizar grafos externos. El grafo se ensambla a partir de tres fuentes:

• Aristas AU $\to$ Emoción: Estimadas mediante regresión logística con regularización L1 en el corpus conjunto AffectNet $\times$ FABA.
• Aristas AU $\to$ AU: Estimadas mediante selección de vecindad en EmotioNet.
• Subestructuras Verificadas: La subestructura del dolor se fija utilizando la fórmula PSPI (Prachkin–Solomon Pain Intensity) como verdad de terreno. Para otras emociones, las aristas se completan a partir de prototipos de EMFACS.
• Polaridad: Cada arista lleva un signo ($s \in \{-1, +1\}$) que indica relaciones excitatorias o inhibitorias.

B. Razonador Condicionado por Grafo

El sistema mapea una cara de entrada $x$ a un latente de AU desentrelazado $z \in \mathbb{R}^K$, donde cada coordenada $z_k$ representa la presencia de la AU $k$.

• Predicción: Una cabeza condicionada por el grafo predice la clase de emoción $\hat{y}$ basada en $z$.
• Racional: Un verbalizador de lenguaje genera una explicación en lenguaje natural nombrando las AU activas y sus aristas causales en $G$.
• Mecanismo de Intervención: El espacio latente permite intervenciones $do$ bien definidas (por ejemplo, $do(z_k=0)$), simulando la eliminación de una AU.

C. Objetivo de Fidelidad Contrafáctica

FACR introduce un objetivo de entrenamiento que acopla la predicción y el racional al grafo $G$ mediante dos términos:

1. Término de Sensibilidad ($L_{sens}$): Requiere que la eliminación de una AU $a_k$ que $G$ marca como causal para la clase $c$ mueva el logit de la clase en la dirección implicada por la polaridad de la arista.
2. Término de Invarianza ($L_{inv}$): Requiere que la eliminación de una AU $a_k$ marcada como irrelevante para la clase $c$ deje el logit de la clase sin cambios.

La pérdida total combina la pérdida de clasificación, la pérdida de fundamentación de AU y estos términos de fidelidad:
$$L = L_{cls} + \lambda_a L_{au} + \lambda_s L_{sens} + \lambda_i L_{inv}$$

D. Construcción de Racionales Verbalizados

Para asegurar que el texto generado sea fiel, el verbalizador está limitado por construcción. La emisión de cada token de AU está sesgada por su activación latente $z_k$. Si una AU está inactiva en el espacio latente, se suprime fuertemente su mención en el texto. Esto asegura que la ablación de una AU en el espacio latente elimine de forma fiable su presencia en la explicación generada.

3. Contribuciones Clave

1. Formalización: Considera el razonamiento de AU $\to$ emoción como un problema de consistencia contrafáctica entre el racional, la etiqueta y un grafo causal.
2. Sistema FACR: Propone un sistema que fundamenta un razonador MLLM en un grafo causal independiente y consciente de la polaridad, y que impone la fidelidad mediante intervenciones $do$ en un espacio latente desentrelazado.
3. Métrica de Fidelidad: Introduce una métrica de fidelidad contrafáctica (sensibilidad e invariancia) evaluada contra estructuras conocidas (PSPI para dolor, EMFACS para emoción). Crucialmente, esta métrica prueba la fidelidad a la estructura suministrada en datos no vistos, no el redescubrimiento de la estructura.
4. Validación Empírica: Demuestra que el objetivo de fidelidad aumenta significativamente el acuerdo entre las AU invocadas y las estructuras causales (PSPI y EMFACS), cuantificando explícitamente el compromiso con la precisión de detección.

4. Resultados Experimentales

A. UNBC-PAIN (Detección de Dolor)

Evaluado mediante validación cruzada de dejar un sujeto fuera (LOSO):

• Ganancia de Fidelidad: El objetivo de fidelidad elevó el acuerdo entre las AU invocadas y la composición PSPI verificada desde una línea base de 0.08 (sin objetivo) a 0.57.
• Compromiso de Precisión: Esta ganancia conllevó un costo cuantificado y modesto en la precisión de detección, con un AUC que disminuyó de 0.83 (control) a 0.79 (FACR).
• Recuperación de Invarianza: El ajuste del peso de invariancia ($\lambda_i$) permitió al modelo satisfacer simultáneamente las restricciones de sensibilidad e invariancia.

B. Transferencia de Emoción entre Datasets (AffectNet $\times$ FABA $\to$ Aff-Wild2)

• Generalización: El objetivo elevó el acuerdo grafo-causal de 0.50 a 0.84 en una tarea de emoción de siete clases.
• Dependencia de la Calidad del Grafo:
  • Con un grafo aprendido (con ruido), el acuerdo con las AU verdaderamente activas fue bajo (0.24), igualando al control.
  • Con un grafo verificado (EMFACS), el acuerdo con las AU verdaderamente activas subió a 0.59, mientras que el acuerdo grafo-causal se mantuvo alto (0.74).
  • Esto confirma que la fidelidad al grafo es necesaria pero no suficiente; la corrección del grafo establece el techo para la alineación con la realidad.
• Comparación con EmoLA: Un MLLM afectivo publicado (EmoLA) logró un mayor recall de las AU activas (0.52 vs. 0.37) al nombrar muchas AU indiscriminadamente. Sin embargo, FACR con un grafo verificado logró una mayor precisión (0.59 vs. 0.51) y una mayor fidelidad a la estructura causal (0.74 vs. 0.63), demostrando que selecciona las AU causales correctas en lugar de simplemente muchas AU.

C. Auditoría de Racionales Verbalizados

• Construcción vs. Aprendizaje: Un verbalizador entrenado para nombrar AU activas sin limitación era infiel (solo el 6% de las AU abladas fueron eliminadas del texto).
• Éxito de la Limitación: Con la restricción de limitación, la ablación de una AU causal eliminaba de forma fiable su presencia en el texto generado.
• Independencia del Backbone: El mecanismo de fidelidad se transfirió a un segundo backbone de lenguaje (Gemma 3), confirmando que el mecanismo no es específico del modelo base.

5. Significado y Reivindicaciones

El artículo afirma que FACR ofrece una ruta hacia explicaciones restringidas, no meramente plausibles, en el razonamiento de AU $\to$ emoción.

• La Fidelidad es Distinta de la Precisión: El estudio demuestra que la fidelidad y la precisión son ejes distintos; un modelo puede hacerse más fiel sin volverse más preciso, lo que requiere métricas separadas.
• Mango Intervencionista: A diferencia de trabajos previos, FACR proporciona un mango de intervención auditable (el latente de AU) que permite probar la dependencia de la explicación respecto a la predicción.
• Principio de Diseño: La fidelidad es más robusta cuando se impone por construcción (mediante limitación y restricciones causales) en lugar de aprenderse solo a través de la capacidad o los datos.
• Limitaciones: Los autores declaran explícitamente que FACR no es un modelo de reconocimiento de estado del arte (puntuaciones AUC/F1 modestas) y que su alineación con la realidad está limitada por la corrección del grafo causal suministrado. El método no pretende redescubrir la estructura, sino adherirse fielmente a una proporcionada.