Ambivalence/Hesitancy Recognition in Videos for Personalized Digital Health Interventions

논문 개요

이 논문은 행동 과학과 기계 학습 (ML) 을 결합하여, 디지털 건강 개입 (Digital Health Interventions) 에서 환자의 **양가성 (Ambivalence)**과 **주저성 (Hesitancy, 이하 A/H)**을 비디오를 통해 자동으로 인식하는 기술을 탐구합니다. A/H 는 건강 행동 변화를 지연, 회피 또는 포기하게 만드는 주요 심리적 장벽이며, 이를 정확히 감지하여 개입 전략을 개인화하는 것이 핵심 목표입니다.

1. 문제 정의 (Problem)

• 배경: 만성 질환의 부담을 줄이기 위해 건강 행동 변화가 필수적이지만, 기존 대면 개입은 비용이 많이 들고 확장성이 낮습니다. 디지털 건강 솔루션은 대안으로 부상했으나, 사용자의 심리적 저항 (A/H) 을 실시간으로 감지하고 적응적으로 대응하는 데 한계가 있습니다.
• A/H 의 특성: 양가성과 주저성은 단순한 기본 감정 (기쁨, 슬픔 등) 이 아니라, 긍정적/부정적 평가 사이, 혹은 수용/거부 사이에서 발생하는 복합적이고 모순적인 감정 상태입니다.
• 기술적 난제: A/H 는 언어, 표정, 음성, 몸짓 등 다양한 모달리티 (Multi-modal) 간의 미묘한 불일치 (conflict) 로 나타납니다. 예를 들어, 말로는 동의하는 듯하지만 표정이나 어조는 반대되는 감정을 드러낼 수 있습니다. 이러한 모달리티 간의 모순을 감지하는 것은 기존 단일 모달리티 기반의 감정 인식 모델로는 매우 어렵습니다.

2. 방법론 (Methodology)

저자들은 새로운 BAH (Behavioural Ambivalence/Hesitancy) 데이터셋을 기반으로 세 가지 학습 시나리오를 실험했습니다.

가. 데이터셋 (BAH Dataset)

• 300 명의 참가자가 다양한 환경에서 7 가지 질문에 답하는 비디오로 구성 (총 1,427 개 영상, 10.6 시간).
• 모달리티: 시각 (Visual), 오디오 (Audio), 텍스트 (Transcript).
• 레이블: 프레임 단위 및 비디오 단위로 A/H 유무 (이진 분류) 가 레이블링됨.

나. 실험 설정

1. 지도 학습 (Supervised Learning):

   • 모달리티 분석: 시각 (ResNet, ViT), 오디오 (VGGish), 텍스트 (BERT) 단독 및 결합 (Multimodal) 성능 비교.
   • 맥락 모델링: 단일 프레임 vs. 인접 프레임 시퀀스 (TCN 활용) 를 통한 시간적 의존성 학습.
   • 융합 기법 (Fusion): 단순 연결 (Concatenation), 공동 주의 (Co-attention), Transformer 기반 융합 등 다양한 피처 융합 방법 비교.
   • 비디오 단위 분류: Video-FocalNet 및 EmoCLIP 모델을 활용한 전체 영상 분류.

2. 개인화를 위한 도메인 적응 (Unsupervised Domain Adaptation, UDA):

   • 각 참가자를 별도의 타겟 도메인으로 간주하여, 라벨이 있는 소스 데이터로 학습된 모델을 라벨이 없는 타겟 사용자에게 적응시키는 방식.
   • 기법: MMD, ACPL (가짜 레이블링 + 정렬), SHOT, NRC 등 다양한 UDA 및 SFDA (Source-Free DA), TTA (Test-Time Adaptation) 방법론 적용.

3. 제로샷 추론 (Zero-shot Inference via LLMs):

   • MLLM 활용: Video-LLaVA-7B 및 AffectGPT 와 같은 멀티모달 대규모 언어 모델을 활용.
   • 프롬프트 엔지니어링: 정의 (Definition) 와 대본 (Transcript) 을 포함한 다양한 프롬프트 변형을 통해 A/H 감지 성능 평가.

3. 주요 결과 (Key Results)

• 성능 한계: 모든 실험에서 기존 모델들의 성능은 제한적이었습니다.

  • 시각 모달리티 단독: A/H 감지가 매우 어렵고 정확도가 낮음 (AP < 0.21).
  • 모달리티 융합: 텍스트 모달리티가 가장 강력한 신호를 제공했으나, 세 가지 모달리티를 모두 결합했을 때 오히려 성능이 약간 하락하거나 큰 향상이 없었습니다. 이는 기존 융합 기술이 모달리티 간의 '갈등 (conflict)'을 효과적으로 포착하지 못했음을 시사합니다.
  • 맥락의 중요성: 시간적 맥락 (Context) 을 고려한 모델 (TCN 등) 이 단일 프레임 모델보다 성능이 좋았으나, 여전히 개선의 여지가 큽니다.

• 도메인 적응 (Personalization):

  • UDA: 소스 데이터 접근이 가능한 ACPL 방법이 가장 좋은 개인화 성능을 보였습니다 (AVGF1 0.54).
  • TTA: 테스트 시 적응 (TTA) 은 전반적인 적응성을 높였으나, 클래스 불균형 문제 해결에는 UDA 보다 효과가 낮았습니다.

• MLLM (Zero-shot):

  • 단순 프롬프트만으로는 성능이 매우 낮았으나, 비디오 대본 (Transcript) 과 A/H 정의를 프롬프트에 포함시켰을 때 성능이 크게 향상되었습니다.
  • 이는 MLLM 이 텍스트 모달리티에 크게 의존하며, A/H 감지에 텍스트 정보가 결정적임을 보여줍니다.
  • 미세 조정 (Fine-tuning) 을 통해 성능이 일부 개선되었으나, 여전히 복잡한 A/H 감지에는 한계가 있었습니다.

4. 주요 기여 및 제안 (Contributions & Recommendations)

1. 새로운 작업 정의: A/H 감지를 비디오 기반의 멀티모달 태스크로 공식화하고, 이를 위한 BAH 데이터셋을 활용한 체계적인 벤치마크를 제시했습니다.
2. 성능 분석: 기존 표준 멀티모달 모델이 A/H 와 같은 복합적이고 모순적인 감정을 인식하는 데 한계가 있음을 실증했습니다.
3. 미래 작업에 대한 제안 (2 단계 프레임워크):
   • 1 단계: 각 모달리티별로 독립적으로 감정/의도를 모델링 (예: 사전 학습된 감정 분석 모델 사용).
   • 2 단계: 전용 융합 (Fusion) 메커니즘을 도입하여 모달리티 간 (Cross-modal) 및 모달리티 내 (Within-modal) 의 **감정적 갈등 (Affective Conflict)**을 명시적으로 감지하고 해석하는 모듈 설계.
   • 단순한 특징 결합이 아닌, '갈등'을 이해할 수 있는 해석 가능한 (Interpretable) 구조가 필요하다고 강조했습니다.

5. 의의 (Significance)

이 연구는 디지털 건강 개입의 효과를 높이기 위해 개인화된 실시간 피드백이 가능하도록 하는 기술적 토대를 마련했습니다. A/H 를 정확히 감지하면, 시스템이 사용자의 저항을 인지하고 개입 전략 (예: 동기 부여 메시지 변경, 휴식 제안 등) 을 동적으로 조정할 수 있어, 장기적인 건강 행동 변화 성공률을 높일 수 있습니다. 또한, 현재 존재하는 표준 감정 인식 모델의 한계를 지적하고, 모달리티 간 불일치를 처리하는 전용 모델링의 필요성을 강조함으로써 향후 연구 방향을 제시했습니다.