BROTHER: Behavioral Recognition Optimized Through Heterogeneous Ensemble Regularization for Ambivalence and Hesitancy

논문 요약: BROTHER (Ambivalence and Hesitancy 감지를 위한 이질적 앙상블 정규화 기반 행동 인식)

1. 문제 정의 (Problem)

• 배경: 자연스러운 환경 (in-the-wild) 에서의 '양가성 (Ambivalence)'과 '주저함 (Hesitancy, 이하 A/H)' 상태 인식은 감정 컴퓨팅 분야에서 중요한 과제이나, 기존 접근법보다 훨씬 어렵습니다.
• 도전 과제:
  • A/H 는 분노나 기쁨과 같은 명확한 기본 감정이 아니라, 긍정과 부정 사이에서 발생하는 미묘한 내적 갈등 (inner conflict) 상태입니다.
  • 기존 시스템은 입력을 고정된 감정 카테고리로 강제 분류하려는 경향이 있어, 시간적 변화와 모순적 신호를 포착하지 못합니다.
  • 시각적, 청각적, 언어적 단서가 복잡하게 얽혀 있으며, 사람마다 표현 방식이 크게 달라 자동 감지가 어렵습니다.
• 데이터셋: 10 번째 ABAW (Affective Behavior Analysis in-the-wild) 대회에서 제공된 'BAH (Behavioural Ambivalence/Hesitancy)' 데이터셋을 사용하며, 이는 통제된 환경이 아닌 자연스러운 일상 상황에서 녹음된 다양한 참가자 데이터를 포함합니다.

2. 방법론 (Methodology)

저자들은 단일 모델 대신 고도로 정규화된 다중 모달 (Multimodal) 파이프라인과 **이질적 앙상블 (Heterogeneous Ensemble)**을 제안합니다.

가. 4 가지 모달리티 추출 (Feature Extraction)

1. 시각 (Visual): RetinaFace 로 얼굴을 검출 및 정렬한 후, SigLip2를 사용하여 특징을 추출합니다.
   • 노이즈 제거를 위해 Median Absolute Deviation (MAD) 필터를 적용하고, 1 초 단위의 평균, 1 차 미분, 2 차 미분 특징을 결합하여 시계열 역동성을 보존합니다.
2. 오디오 (Audio): HuBERT 모델을 사용하여 1 초 단위로 오디오 특징을 추출합니다. 언어적 내용보다는 어조, 리듬 등 비언어적 단서를 포착하는 데 중점을 둡니다.
3. 텍스트 (Textual): F2LLM을 사용하여 대본 (transcript) 의 전역적 문맥을 포착합니다. 오픈 소스 데이터로 훈련되어 자연스러운 구어체와 비유를 잘 이해합니다.
4. 통계적 특징 (Statistical Modality - 핵심 기여):
   • 위 3 가지 모달리티의 로컬 데이터 조각에서 수학적으로 유도된 4 번째 모달리티입니다.
   • 시각/오디오 통계: 유효 프레임 비율, RMS 에너지, 스펙트럼 중심, 피치 변동성 등.
   • 텍스트/행동 전략:
     • 주저함 (Hesitancy): 문장 단위로 filler words, hedge, 수정 표현 등을 사전과 비교하여 국소적 주저함을 감지.
     • 양가성 (Ambivalence): 전체 텍스트를 문맥적으로 분석하여 긍정/부정/중립/양면적 태도를 식별하는 프롬프트 기반 임베딩 전략 사용.

나. 이질적 분류 위원회 (Heterogeneous Classification Committee)

• 4 가지 모달리티의 모든 가능한 조합 (총 15 가지) 에 대해 3 가지 다른 머신러닝 아키텍처 (MLP, Random Forest, GBDT) 를 학습시킵니다.
• 각 조합별로 검증 세트의 Binary Cross-Entropy (BCE) 손실이 가장 낮은 모델 하나만 선택하여 최종 15 개의 최적화된 베이스 모델을 구성합니다. (BCE 는 확률의 보정 (calibration) 능력을 평가하기 위해 사용됨)

다. PSO 기반 하드-투팅 앙상블 (Particle Swarm Optimization Ensemble)

• 15 개의 모델 예측을 통합하기 위해 입자 군집 최적화 (PSO) 알고리즘을 적용합니다.
• 과적합 방지 전략: PSO 의 적합도 함수 (Fitness Function) 에 훈련 - 검증 간격 (Train-Validation Gap) 에 대한 페널티 ($\lambda$) 를 도입합니다.
  • 수식: $Fitness = \text{Harmonic Mean}(F1_{train}, F1_{val}) - \lambda \cdot |F1_{train} - F1_{val}|^2$
  • 이 메커니즘은 훈련 데이터에 과적합된 모델을 억제하고, 일반화 성능이 높은 모델 조합을 찾도록 유도합니다.
• 최종 분류는 확률 평균 (Soft voting) 이 아닌, 최적화된 임계값에 기반한 **이진 투표 (Hard voting)**의 가중 합으로 결정됩니다.

3. 주요 결과 (Results)

• 단일 모달리티 성능: 텍스트 (Text) 모달리티가 가장 강력한 독립 예측 변수로 작용하여 검증 F1 점수 0.7275를 기록했습니다. 반면, 시각 (Video) 단독은 0.4704로 성능이 낮아, A/H 감지에는 언어적 맥락이 필수적임을 보여줍니다.
• 모델 선택: 단순한 구성에서는 MLP 가 우세했으나, 고차원의 복잡한 다중 모달 조합에서는 **Random Forest (RF)**가 과적합을 잘 방지하며 15 개 조합 중 7 개에서 최선의 성능을 보였습니다.
• 최종 성능:
  • 검증 세트 (Validation): Macro F1 0.7578
  • 테스트 세트 (Test): Macro F1 0.7465 (최고 기록)
  • $\lambda = 0.2$ (20% 페널티) 설정에서 테스트 세트에서 가장 높은 성능을 달성했습니다.
• PSO 의 역할: 페널티가 증가함에 따라 PSO 는 15 개 모델 중 9 개를 배제하고 가장 신뢰할 수 있는 6 개의 다중 모달 조합에 투표 가중치를 집중시켰습니다. 특히 텍스트와 텍스트 + 비디오 + 통계 조합이 높은 가중치를 유지했습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 통계적 모달리티 설계: 단순한 특징 추출을 넘어, 시간적 변화와 행동적 언어 패턴 (주저함, 양가성) 을 명시적으로 포착하기 위해 고안된 4 번째 통계 모달리티를 제안했습니다.
2. 정규화된 이질적 앙상블 프레임워크: 단일 모델의 한계를 극복하기 위해 다양한 아키텍처 (MLP, RF, GBDT) 를 조합하고, PSO 를 통해 훈련 - 검증 간격을 최소화하는 방식으로 모델을 선택 및 가중치 부여했습니다.
3. 과적합 방지 메커니즘: PSO 적합도 함수에 훈련 - 검증 갭 페널티를 도입하여, 자연스러운 환경 (in-the-wild) 데이터에서 모델이 노이즈를 외우지 않고 일반화 능력을 갖추도록 했습니다.

5. 의의 및 결론 (Significance)

이 연구는 양가성과 주저함을 단순한 감정이 아닌 **복잡한 다중 모달 시간적 갈등 (multimodal temporal conflict)**으로 재정의했습니다.

• 언어적 맥락의 중요성 재확인: 텍스트 기반 특징이 A/H 감지의 핵심임을 입증했습니다.
• 강건한 프레임워크: SigLip2, HuBERT, F2LLM 과 같은 최신 기초 모델과 통계적 특징을 결합하고, PSO 기반의 지능형 위원회를 통해 자연스러운 환경에서의 행동 분석에 대한 새로운 표준을 제시했습니다.
• 실용성: 통제된 실험실이 아닌 실제 생활 환경에서도 적용 가능한 강건한 행동 인식 시스템을 제공하여, 건강 행동 변화나 심리 상담 등 다양한 분야에서의 활용 가능성을 높였습니다.