Debiased Multimodal Personality Understanding through Dual Causal Intervention

Resumen Técnico: Comprensión de la Personalidad Multimodal Desviada mediante Intervención Causal Dual

Enunciado del Problema
La comprensión de la personalidad multimodal busca inferir rasgos intrínsecos (por ejemplo, Big Five, MBTI) a partir de datos de video que contienen señales visuales, auditivas y lingüísticas. Si bien los enfoques de aprendizaje profundo han logrado una alta precisión al fusionar modalidades heterogéneas, a menudo sufren de sesgo de sujeto. Los modelos frecuentemente aprenden correlaciones espurias entre atributos demográficos (confusores observables como edad, género, raza) o estados psicológicos transitorios (confusores no observables) y rasgos de personalidad. Por ejemplo, un modelo podría asociar erróneamente la demografía "mujer blanca" con una alta amabilidad basándose en la distribución de los datos de entrenamiento, lo que conduce a predicciones injustas e inexactas para sujetos que no se ajustan a este perfil demográfico específico. Los métodos actuales carecen de un marco unificado para abordar simultáneamente tanto los confusores observables como los latentes, y las referencias existentes a menudo carecen de anotaciones demográficas comprehensivas o se centran exclusivamente en los rasgos Big Five, limitando el análisis de equidad.

Metodología: Red de Ajuste Causal Dual (DCAN)
Los autores proponen un Modelo Causal Estructural (MCE) para formalizar las relaciones causales entre las entradas multimodales ($X$), los rasgos de personalidad ($Y$), los mediadores de modalidad ($M_x$), los confusores observables ($C^o_x$) y los confusores no observables ($C^u_x$). Para mitigar el sesgo, introducen DCAN, una red de extremo a extremo que integra dos mecanismos de intervención causal:

1. Aprendizaje Causal de Ajuste por Puerta Trasera (BACL):

   • Objetivo: Confusores demográficos observables (por ejemplo, edad, género, raza).
   • Mecanismo: Construye diccionarios prototípicos de confusores específicos de modalidad ($D_{back}$).
     • Texto: Identifica palabras con diferencias significativas de probabilidad entre grupos demográficos para formar un diccionario.
     • Visual/Audio: Agrupa incrustaciones por tripletes demográficos (raza, género, edad) para crear prototipos globales, actualizados mediante un Promedio Móvil Exponencial (EMA).
   • Intervención: Recupera representaciones de confusores mediante atención y aplica una conexión residual a las características de entrada. Esto bloquea efectivamente la ruta de puerta trasera ($X \leftarrow C^o_x \rightarrow Y$), aproximando el efecto causal $P(Y|do(X))$ al marginalizar sobre la distribución del confusor.

2. Aprendizaje Causal de Ajuste por Puerta Delantera (FACL):

   • Objetivo: Confusores no observables/latentes (por ejemplo, estados emocionales transitorios, fluctuaciones psicológicas) que BACL no puede capturar.
   • Mecanismo: Introduce un mediador ($M$) para formar la ruta $F_m \rightarrow M \rightarrow Y$. Construye dos diccionarios: un diccionario de características global ($D_{global}$) que aproxima el espacio de entrada y un diccionario de mediadores ($D_{med}$) que sirve como prior de conocimiento.
   • Intervención: Utiliza un mecanismo de doble atención para recuperar prototipos relevantes de estos diccionarios basándose en la salida de BACL. Esto aproxima la fórmula de ajuste por puerta delantera, aislando el efecto causal genuino al intervenir en el mediador, manejando así sesgos que no tienen una ruta observable directa.

3. Fusión y Predicción:

   • Las representaciones desconfundidas de ambos módulos se fusionan utilizando un Transformador Cross-Modal.
   • El modelo se entrena con una función de pérdida unificada que combina el Error Cuadrático Medio (MSE) y la regularización $L_2$ para predecir puntuaciones de rasgos continuos para las taxonomías Big Five y MBTI.

Contribuciones Clave

• Análisis Causal: El artículo es el primero en investigar el sesgo de sujeto en la comprensión de la personalidad multimodal a través de una lente causal, modelando explícitamente tanto confusores observables como no observables.
• Marco Causal Dual: El DCAN propuesto combina de manera única los ajustes de puerta trasera y delantera en una sola red para mitigar conjuntamente sesgos demográficos y latentes, avanzando más allá del mapeo basado en verosimilitud estándar ($P(Y|X)$) hacia la intervención causal ($P(Y|do(X))$).
• Nuevo Conjunto de Datos (DMSP): Los autores construyeron el conjunto de datos DMSP (Personalidad Estudiantil Multimodal Anotada Demográficamente). A diferencia de las referencias existentes (por ejemplo, CFI-V2) que se centran principalmente en rasgos Big Five y carecen de anotaciones demográficas detalladas, DMSP contiene 839 videos de interacción diádica anotados con rasgos MBTI y atributos sensibles (género, edad), permitiendo una evaluación rigurosa de la equidad.
• Evaluación Comprehensive: El trabajo proporciona experimentos extensos que demuestran mejoras tanto en la precisión de predicción como en las métricas de equidad (Paridad Demográfica y Oportunidad Igual).

Resultados Experimentales
Se realizaron experimentos extensos en la referencia CFI-V2 y el nuevo conjunto de datos DMSP.

• Precisión: DCAN logró un rendimiento de vanguardia, alcanzando una precisión del 92.11% en CFI-V2 (mejorando en 0.12% al mejor anterior, PMGRT) y una precisión del 92.90% en DMSP (mejorando en 1.21% a MM-ResVGG).
• Equidad: El modelo redujo significativamente el sesgo. En CFI-V2, las mejoras en Paridad Demográfica (DP) y Oportunidad Igual (EO) fueron del 6.57% y 7.97%, respectivamente. En el conjunto de datos DMSP, estas métricas mejoraron un 15.38% y un 20.06%.
• Generalización: Las pruebas fuera de distribución (OOD) mostraron que DCAN mantiene un rendimiento robusto a través de divisiones demográficas (edad, género, etnia) donde los modelos base se degradan, particularmente en el manejo de estereotipos de género en la dimensión T/F (Pensamiento/Sentimiento) de MBTI.
• Ablación: Eliminar BACL o FACL resultó en una degradación del rendimiento, confirmando que tanto los confusores observables como los latentes deben abordarse simultáneamente.

Significado y Afirmaciones
El artículo afirma que, al pasar del aprendizaje basado en correlaciones a la intervención causal, DCAN logra desentrañar con éxito las señales intrínsecas de la personalidad de las asociaciones demográficas espurias. Los autores enfatizan que este enfoque es crítico para desarrollar sistemas de IA centrados en el ser humano justos y confiables, particularmente en aplicaciones como el monitoreo de la salud mental y las recomendaciones personalizadas, donde el sesgo puede conducir a resultados dañinos. La introducción del conjunto de datos DMSP se destaca como un paso necesario para llenar la brecha en las referencias existentes con respecto a las anotaciones demográficas y el análisis de equidad basado en MBTI. El trabajo concluye que la desconfundición causal es esencial para generalizar modelos de comprensión de la personalidad a poblaciones de sujetos diversas e inéditas.