Debiased Multimodal Personality Understanding through Dual Causal Intervention

Resumo Técnico: Compreensão de Personalidade Multimodal Desviciada por Intervenção Causal Dupla

Declaração do Problema
A compreensão de personalidade multimodal visa inferir traços intrínsecos (por exemplo, Big Five, MBTI) a partir de dados de vídeo contendo sinais visuais, auditivos e linguísticos. Embora as abordagens de aprendizado profundo tenham alcançado alta precisão ao fundir modalidades heterogêneas, elas frequentemente sofrem de viés de sujeito. Os modelos muitas vezes aprendem correlações espúrias entre atributos demográficos (confundidores observáveis como idade, gênero, raça) ou estados psicológicos transitórios (confundidores não observáveis) e traços de personalidade. Por exemplo, um modelo pode erroneamente associar a demografia "mulher branca" a alta amabilidade com base na distribuição dos dados de treinamento, levando a previsões injustas e imprecisas para sujeitos que não se enquadram neste perfil demográfico específico. Os métodos atuais carecem de um quadro unificado para abordar simultaneamente confundidores observáveis e latentes, e os benchmarks existentes frequentemente carecem de anotações demográficas abrangentes ou focam exclusivamente nos traços do Big Five, limitando a análise de equidade.

Metodologia: Rede de Ajuste Causal Duplo (DCAN)
Os autores propõem um Modelo Causal Estrutural (SCM) para formalizar as relações causais entre entradas multimodais ($X$), traços de personalidade ($Y$), mediadores de modalidade ($M_x$), confundidores observáveis ($C^o_x$) e confundidores não observáveis ($C^u_x$). Para mitigar o viés, eles introduzem a DCAN, uma rede de ponta a ponta que integra dois mecanismos de intervenção causal:

1. Aprendizado Causal de Ajuste de Porta Traseira (BACL):

   • Alvo: Confundidores demográficos observáveis (por exemplo, idade, gênero, raça).
   • Mecanismo: Constrói dicionários prototípicos de confundidores específicos de modalidade ($D_{back}$).
     • Texto: Identifica palavras com diferenças significativas de probabilidade entre grupos demográficos para formar um dicionário.
     • Visual/Áudio: Agrupa embeddings por tripletas demográficas (raça, gênero, idade) para criar protótipos globais, atualizados via Média Móvel Exponencial (EMA).
   • Intervenção: Recupera representações de confundidores via atenção e aplica uma conexão residual às características de entrada. Isso bloqueia efetivamente o caminho de porta traseira ($X \leftarrow C^o_x \rightarrow Y$), aproximando o efeito causal $P(Y|do(X))$ ao marginalizar sobre a distribuição do confundidor.

2. Aprendizado Causal de Ajuste de Porta da Frente (FACL):

   • Alvo: Confundidores não observáveis/latentes (por exemplo, estados emocionais transitórios, flutuações psicológicas) que o BACL não consegue capturar.
   • Mecanismo: Introduz um mediador ($M$) para formar o caminho $F_m \rightarrow M \rightarrow Y$. Constrói dois dicionários: um dicionário de características global ($D_{global}$) que aproxima o espaço de entrada e um dicionário de mediador ($D_{med}$) que serve como prior de conhecimento.
   • Intervenção: Usa um mecanismo de atenção dupla para recuperar protótipos relevantes desses dicionários com base na saída do BACL. Isso aproxima a fórmula de ajuste de porta da frente, isolando o efeito causal genuíno ao intervir no mediador, tratando assim vieses que não possuem um caminho observável direto.

3. Fusão e Predição:

   • As representações desconfundidas de ambos os módulos são fundidas usando um Transformer Cross-Modal.
   • O modelo é treinado com uma função de perda unificada combinando Erro Quadrático Médio (MSE) e regularização $L_2$ para prever pontuações de traços contínuos para as taxonomias Big Five e MBTI.

Principais Contribuições

• Análise Causal: O artigo é o primeiro a investigar o viés de sujeito na compreensão de personalidade multimodal através de uma lente causal, modelando explicitamente confundidores observáveis e não observáveis.
• Quadro Causal Duplo: A DCAN proposta combina exclusivamente ajustes de porta traseira e porta da frente em uma única rede para mitigar conjuntamente vieses demográficos e latentes, indo além do mapeamento baseado em verossimilhança padrão ($P(Y|X)$) para intervenção causal ($P(Y|do(X))$).
• Novo Conjunto de Dados (DMSP): Os autores construíram o conjunto de dados Demographic-annotated Multimodal Student Personality (DMSP). Diferentemente dos benchmarks existentes (por exemplo, CFI-V2) que focam principalmente nos traços do Big Five e carecem de anotações demográficas detalhadas, o DMSP contém 839 vídeos de interação diádica anotados com traços MBTI e atributos sensíveis (gênero, idade), permitindo uma avaliação rigorosa de equidade.
• Avaliação Abrangente: O trabalho fornece experimentos extensos demonstrando melhorias tanto na precisão de predição quanto nas métricas de equidade (Paridade Demográfica e Oportunidade Igual).

Resultados Experimentais
Experimentos extensos foram conduzidos no benchmark CFI-V2 e no novo conjunto de dados DMSP.

• Precisão: A DCAN alcançou desempenho de última geração, atingindo 92,11% de precisão no CFI-V2 (melhorando em 0,12% o melhor anterior, PMGRT) e 92,90% de precisão no DMSP (melhorando em 1,21% sobre o MM-ResVGG).
• Equidade: O modelo reduziu significativamente o viés. No CFI-V2, as melhorias na Paridade Demográfica (DP) e na Oportunidade Igual (EO) foram de 6,57% e 7,97%, respectivamente. No conjunto de dados DMSP, essas métricas melhoraram em 15,38% e 20,06%.
• Generalização: Testes fora da distribuição (OOD) mostraram que a DCAN mantém desempenho robusto em divisões demográficas (idade, gênero, etnia) onde os modelos de base degradam, particularmente no tratamento de estereótipos de gênero na dimensão T/F (Pensamento/Sentimento) do MBTI.
• Ablação: A remoção de BACL ou FACL resultou em degradação de desempenho, confirmando que tanto confundidores observáveis quanto latentes devem ser abordados simultaneamente.

Significado e Alegações
O artigo alega que, ao mudar do aprendizado baseado em correlação para intervenção causal, a DCAN desconecta com sucesso sinais intrínsecos de personalidade de associações demográficas espúrias. Os autores enfatizam que essa abordagem é crítica para desenvolver sistemas de IA centrados no ser humano justos e confiáveis, particularmente em aplicações como monitoramento de saúde mental e recomendações personalizadas, onde o viés pode levar a resultados prejudiciais. A introdução do conjunto de dados DMSP é destacada como um passo necessário para preencher a lacuna nos benchmarks existentes quanto a anotações demográficas e análise de equidade baseada em MBTI. O trabalho conclui que a desconfundição causal é essencial para generalizar modelos de compreensão de personalidade através de populações de sujeitos diversas e não vistas.