Debiased Multimodal Personality Understanding through Dual Causal Intervention

기술 요약: 이중 인과적 개입을 통한 편향 제거된 다중 모달 성격 이해

문제 제기
다중 모달 성격 이해는 시각, 청각, 언어 신호를 포함하는 비디오 데이터로부터 Big Five, MBTI 와 같은 내재적 특성을 추론하는 것을 목표로 합니다. 이질적인 모달리티를 융합하는 딥러닝 접근법은 높은 정확도를 달성해 왔으나, 종종 **주체 편향 (subject bias)**으로 고통받습니다. 모델들은 종종 인구통계학적 속성 (나이, 성별, 인종과 같은 관측 가능한 교란 변수) 이나 일시적인 심리 상태 (관측 불가능한 교란 변수) 와 성격 특성 사이의 허위 상관관계를 학습합니다. 예를 들어, 모델은 훈련 데이터 분포에 기반하여 "백인 여성"이라는 인구통계학적 특성을 높은 친화성과 잘못 연관지을 수 있으며, 이는 이러한 특정 인구통계학적 프로필에 부합하지 않는 주체에 대한 불공정하고 부정확한 예측으로 이어집니다. 현재 방법론들은 관측 가능한 교란 변수와 잠재적 교란 변수를 동시에 해결할 수 있는 통합된 프레임워크가 부족하며, 기존 벤치마크들은 종종 포괄적인 인구통계학적 주석이 없거나 Big Five 특성에만 초점을 맞추어 공정성 분석을 제한합니다.

방법론: 이중 인과적 조정 네트워크 (DCAN)
저자들은 다중 모달 입력 ($X$), 성격 특성 ($Y$), 모달리티 매개변수 ($M_x$), 관측 가능한 교란 변수 ($C^o_x$), 그리고 관측 불가능한 교란 변수 ($C^u_x$) 간의 인과 관계를 형식화하기 위해 구조적 인과 모델 (SCM) 을 제안합니다. 편향을 완화하기 위해, 두 가지 인과적 개입 메커니즘을 통합하는 엔드 투 엔드 네트워크인 DCAN을 도입합니다:

1. 백도어 조정 인과 학습 (BACL):

   • 대상: 관측 가능한 인구통계학적 교란 변수 (예: 나이, 성별, 인종).
   • 메커니즘: 모달리티별 **원형 교란 변수 사전 (prototypical confounder dictionaries, $D_{back}$)**을 구성합니다.
     • 텍스트: 인구통계학적 그룹 간 유의미한 확률 차이를 보이는 단어를 식별하여 사전을 형성합니다.
     • 시각/오디오: 인구통계학적 삼중체 (인종, 성별, 나이) 로 임베딩을 클러스터링하여 전역 원형을 생성하고, 지수 이동 평균 (EMA) 을 통해 업데이트합니다.
   • 개입: 어텐션을 통해 교란 변수 표현을 검색하고 입력 특징에 잔차 연결을 적용합니다. 이는 교란 변수 분포에 대해 주변화함으로써 인과 효과 $P(Y|do(X))$를 근사하면서 백도어 경로 ($X \leftarrow C^o_x \rightarrow Y$) 를 효과적으로 차단합니다.

2. 프론트도어 조정 인과 학습 (FACL):

   • 대상: BACL 이 포착하지 못하는 관측 불가능한/잠재적 교란 변수 (예: 일시적 정서 상태, 심리적 변동).
   • 메커니즘: $F_m \rightarrow M \rightarrow Y$ 경로를 형성하기 위해 **매개변수 (mediator, $M$)**를 도입합니다. 입력 공간을 근사하는 **전역 특징 사전 ($D_{global}$)**과 지식 사전으로 작용하는 매개변수 사전 ($D_{med}$) 두 가지 사전을 구성합니다.
   • 개입: BACL 출력에 기반하여 이러한 사전에서 관련 원형을 검색하기 위해 이중 어텐션 메커니즘을 사용합니다. 이는 매개변수에 개입함으로써 진정한 인과 효과를 분리하는 프론트도어 조정 공식을 근사하며, 직접적인 관측 가능한 경로가 없는 편향을 처리합니다.

3. 융합 및 예측:

   • 두 모듈에서 나온 교란 제거된 표현은 **크로스-모달 트랜스포머 (Cross-Modal Transformer)**를 사용하여 융합됩니다.
   • 모델은 Big Five 및 MBTI 분류에 대한 연속적 특성 점수를 예측하기 위해 평균 제곱 오차 (MSE) 와 $L_2$ 정규화를 결합한 통합 손실 함수로 훈련됩니다.

주요 기여

• 인과적 분석: 본 논문은 관측 가능한 교란 변수와 관측 불가능한 교란 변수를 명시적으로 모델링하여 인과적 렌즈를 통해 다중 모달 성격 이해에서의 주체 편향을 조사한 최초의 연구입니다.
• 이중 인과적 프레임워크: 제안된 DCAN 은 단일 네트워크에서 백도어 및 프론트도어 조정을 독창적으로 결합하여 인구통계학적 및 잠재적 편향을 공동으로 완화하며, 표준 가능성 기반 매핑 ($P(Y|X)$) 을 넘어 인과적 개입 ($P(Y|do(X))$) 으로 나아갑니다.
• 새로운 데이터셋 (DMSP): 저자들은 인구통계학적 주석이 달린 다중 모달 학생 성격 (DMSP) 데이터셋을 구축했습니다. 기존 벤치마크 (예: CFI-V2) 가 주로 Big Five 특성에 초점을 맞추고 상세한 인구통계학적 주석이 부족한 반면, DMSP 는 MBTI 특성과 민감한 속성 (성별, 나이) 이 주석된 839 개의 이원 상호작용 비디오를 포함하여 엄격한 공정성 평가를 가능하게 합니다.
• 포괄적 평가: 이 연구는 예측 정확도와 공정성 지표 (인구통계학적 평등 및 동등 기회) 모두에서 개선을 보여주는 광범위한 실험을 제공합니다.

실험 결과
광범위한 실험은 CFI-V2 벤치마크와 새로운 DMSP 데이터셋에서 수행되었습니다.

• 정확도: DCAN 은 CFI-V2 에서 92.11% 정확도를 달성하여 이전 최강인 PMGRT 보다 0.12% 향상되었고, DMSP 에서는 92.90% 정확도를 기록하여 MM-ResVGG 보다 1.21% 향상되는 최첨단 성능을 보였습니다.
• 공정성: 모델은 편향을 현저히 감소시켰습니다. CFI-V2 에서 인구통계학적 평등 (DP) 과 동등 기회 (EO) 의 개선은 각각 **6.57%**와 **7.97%**였습니다. DMSP 데이터셋에서는 이러한 지표가 각각 **15.38%**와 **20.06%**만큼 향상되었습니다.
• 일반화: 분포 외 (OOD) 테스트는 기준 모델이 저하되는 인구통계학적 분할 (나이, 성별, 민족) 전반에 걸쳐 DCAN 이 견고한 성능을 유지하며, 특히 MBTI 의 T/F (사고/감정) 차원에서 성별 고정관념을 처리하는 데 탁월함을 보여주었습니다.
• 절제 실험: BACL 또는 FACL 중 하나를 제거하면 성능이 저하되어, 관측 가능한 교란 변수와 잠재적 교란 변수를 동시에 해결해야 함이 확인되었습니다.

의의 및 주장
본 논문은 상관관계 기반 학습에서 인과적 개입으로의 전환을 통해 DCAN 이 성공적으로 내재적 성격 신호를 허위 인구통계학적 연관성으로부터 분리해냈다고 주장합니다. 저자들은 편향이 해로운 결과로 이어질 수 있는 정신 건강 모니터링 및 개인화된 추천과 같은 응용 분야에서 공정하고 신뢰할 수 있는 인간 중심 AI 시스템을 개발하는 데 이 접근법이 중요하다고 강조합니다. DMSP 데이터셋의 도입은 인구통계학적 주석 및 MBTI 기반 공정성 분석과 관련된 기존 벤치마크의 격차를 해소하기 위한 필수적인 단계로 부각됩니다. 이 연구는 다양한 그리고 보이지 않는 주체 집단 간에 성격 이해 모델을 일반화하기 위해서는 인과적 교란 제거가 필수적이라고 결론지었습니다.