기술 요약: ANA – IFS 치료에 기반한 AI 구동 멀티모달 감정 인지 애플리케이션

1. 문제 정의 및 동기

인공지능을 활용하는 현재의 정신 건강 지원 시스템은 주로 단일 모드(unimodal)의 텍스트 기반 상호작용에 국한되어 있습니다. 이러한 시스템은 음조, 얼굴 표정, 손 동작을 통해 전달되는 복잡한 인간의 감정을 식별하는 능력이 부족한 경우가 많습니다. 또한, 기존의 멀티모달 모델들은 모달 간 의존성을 고려하지 않은 단순한 특징 결합(feature concatenation)과 같은 취약한 통합 전략을 사용하는 경우가 많으며, 확립된 심리학적 이론과의 정렬이 부족합니다.

구체적으로, 멀티모달 데이터(텍스트, 음성, 시각, 제스처)를 내면 가족 체계(Internal Family Systems, IFS) 치료와 통합하는 계산 모델에는 공백이 존재합니다. IFS는 인간의 마음이 고유한 정서적 프로필을 가진 여러 개의 뚜렷한 "내면의 부분들"(예: 내면의 비판자, 보호자, 압도된 부분)로 구성되어 있다고 가정합니다. 본 논문은 이러한 심리학적 구조를 모델링하기 위해서는 이질적인 정서적 신호를 특정 심리학적 구조로 매핑하는 구조적 접근 방식이 필요하며, 단일 모드 시스템은 이를 달성할 수 없다고 주장합니다.

2. 제안된 솔루션: ANA 모델

저자들은 ANA(A Multimodal Application for Modeling Emotional States and Adaptive Interaction)를 제안합니다. 이는 IFS 치료 개념을 모사하도록 설계된 시스템입니다. ANA는 사용자의 입력을 네 가지 별개의 모달리티인 텍스트, 음성, 얼굴 표정, 손 제스처를 통해 분석하기 위해 멀티모달 학습 패러다임을 활용합니다.

2.1 시스템 아키텍처 및 워크플로우

시스템은 "리프레임 세션(Reframe Session)" 워크플로우를 통해 작동합니다:

1. 액세스 제어: 상호작용 전, 시스템은 사용자의 상태를 검증합니다. 만약 사용자가 3개 이상의 "치유되지 않은" 내면 캐릭터를 보유하고 있다면, 사용자를 압도하는 것을 방지하기 위해 멀티모달 입력에 대한 액세스가 제한됩니다.
2. 입력 모달리티:
   • 비디오: 텍est, 음성 감정, 손 제스처, 얼굴 표정을 동시에 추출합니다.
   • 텍스트 전용: 작성된 입력을 처리합니다.
   • 음성 전용: 음성 신호와 톤을 처리합니다.
   • 참고: 아랍어 입력은 분석 전 자동으로 영어로 번역됩니다.
3. 처리: 각 모달리티는 특정 인코더에 의해 처리되어 특징을 추출합니다.
4. 융합(Fusion): 융합 모듈은 이러한 신호들을 통합하여 사용자의 내부 캐릭터 프로필을 업데이트하고 정서적 상태 평가를 제공합니다.
5. 출력: 시스템은 지배적인 "내면 캐릭터"와 정서적 상태를 식별하고, 행동 추적을 위해 데이터를 저장합니다.

3. 방법론

3.1 데이터 전처리

• 텍스트: 정규화, 토큰화, 불용어 제거, 어휘 인코딩, 패딩/절단(padding/truncation) 과정을 거쳐 고정 길이 시퀀스를 생성합니다.
• 음성: 리샘플링(16 kHz), 노이즈 제거, 무음 제거, 프레이밍, 특징 추출(MFCCs, Chroma, Mel-spectrogram, ZCR, RMS, Spectral Centroid)을 포함합니다. 특징들은 표준화되며 PCA를 통해 차원이 축소됩니다.
• 손 제스처: MediaPipe를 사용하여 21개의 손 랜드마크를 탐지합니다. 좌표는 손목을 기준으로 정규화(이동 및 스케일)되며, 42차원 벡터로 평탄화(flattened)되어 분류를 준비합니다.
• 얼굴 표정: 이미지는 그레이스케일로 변환되고 48x48 픽셀로 크기가 조정되며, 훈련 중 회전, 전단(shear), 줌 등을 통해 증강(augmentation)됩니다.

3.2 모달리티별 인코더

시스템은 각 입력 유형에 특화된 인코더를 채택합니다:

• 텍스트 인코더: 하이브리드 CNN + BiLSTM 모델을 사용합니다. CNN 레이어는 로컬 N-gram 특징을 추출하고, 이어지는 Max Pooling 및 BiLSTM 레이어는 장기 의존성을 포착합니다. 출력값은 "내면 캐릭터"(예: 내면의 비판자, 보호자)를 분류합니다.
• 음성 인코더: 수작업으로 제작된 음향 특징(MFCCs, 피치, 에너지)을 활용하며, PCA를 통해 차원을 축소한 후 감정 상태를 인식하기 위해 K-최근접 이웃(KNN) 알고리즘을 사용하여 분류합니다.
• 손 제스처 인코더: 정규화된 랜드마크 벡터를 처리하여 정적 및 동적 제스처를 인식하는 다층 퍼셉트론(MLP) 분류기입니다.
• 얼굴 표정 인코더: 얼굴 이미지로부터 감정을 분류하는 합성곱 신경망(CNN)(Caffe SSD/ResNet-10 기반 탐지)을 사용합니다.

3.3 융합 전략

본 논문은 세 가지 융합 접근 방식을 평가합니다:

1. 초기 융합(Early Fusion): 분류 전 특징을 결합합니다.
2. 후기 융합(Late Fusion): 각 모달리티가 독립적인 예측을 수행하고, 이를 가중 투표(weighted voting)를 통해 결합합니다.
3. 하이브리드 융합(Hybrid Fusion): 특징 수준 융합과 결정 수준 융합을 결합한 형태입니다.
   결과에 따르면, 후기 융합이 가장 효과적인 전략인 것으로 나타났습니다. 이는 각 모달리티가 집계 전 독립적인 결정을 내리도록 함으로써, 누락되거나 노이즈가 섞인 입력에 대해 시스템의 견고함을 높여주기 때문입니다.

4. 실험 결과

4.1 데이터셋

연구는 훈련 및 평가를 위해 다양한 데이터셋을 활용했습니다:

• 텍스트: Counseling, DailyDialog, GoEmotions, RedditMentalHealth 등에서 수집(360,000개 샘플).
• 음성: RAVDESS, TESS, CREMA-D, SAVEE, EMO-DB를 포함한 벤치마크 데이터셋(4,800개 샘플).
• 얼굴: FER-2013, AffectNet, CK+(35,887개 샘플).
• 손 제스처: MediaPipe를 사용하여 생성된 커스텀 데이터셋(ANAHandGestures.csv, 6,153개 샘플).

4.2 성능 지표

단일 모드 모델들은 다음과 같은 정확도를 달升했습니다:

• 음성 감정 인식 (KNN): 98% (가장 높은 성능; 강력한 음향적 분리 가능성에 기인).
• 텍스트 내면 캐릭터 분류 (CNN+BiLSTM): 97%.
• 손 제스처 인식 (MLP): 93%.
• 얼굴 감정 인식 (CNN): 88% (조명 및 표정 중첩에 대한 민감도로 인해 상대적으로 낮음).

4.3 분석

• 음성과 텍스트가 정서적 상태 및 내면 캐릭터를 예측하는 데 가장 강력한 예측 변수로 식별되었습니다.
• 얼ace 및 손 제스처는 보완적인 신호 역할을 하여, 텍스트나 음성의 모호함을 해소하는 데 도움을 주었습니다 (예: 미소 뒤에 슬픔을 숨기고 있는 "보호자"를 탐지).
• **혼동 행렬(Confusion Matrices)**은 모든 모달리티에서 대각선 우세성을 보였으며, 오류는 주로 유사한 감정 클래스 간(예: 중립 vs 슬픔)에 발생했습니다.
• ROC 분석은 모든 모달리티에서 높은 AUC 값을 확인하였으며, 이는 강력한 클래스 분리 능력을 나타냅니다.

5. 주요 기여

본 논문은 다음과 같은 구체적인 기여를 명시합니다:

1. 구조화된 멀티모달 모델: 정서 컴퓨팅 및 IFS 치료 프레임워크 내에서 네 가지 모달리티(텍스트, 음성, 얼굴, 제스처)를 통합하는 시스템 개발.
2. 특화된 인코더:
   • 내면 캐릭터 분류를 위한 CNN-BiLSTM 텍스트 인코더.
   • PCA-KNN 기반 음성 감정 인식 시스템.
   • CNN 기반 얼굴 감정 인식 시스템.
   • 경량화된 MediaPipe 기반 손 제스처 인식 모듈.
3. 멀티모달 융합: 정서적 상태와 내면의 심리적 캐릭터를 모두 인식하기 위해 이러한 모달리티들을 결합하는 융합 시스템 구현.
4. 배포: 실시간 멀티모달 분석(아랍어-영어 번역 및 사용자 심리 상태에 따른 액세스 제어 포함)을 처리하는 모바일 인터페이스를 갖춘 기능적인 웹 추론 서비스(Flask 기반).

6. 의의 및 주장

저자들은 ANA 모델이 더 풍부하고 체화된(embodied) 상호작용 모델을 생성함으로써 일반적인 챗봇 기반 정신 건강 시스템을 넘어선다고 주장합니다. 멀티모달 학습을 활용함으로써, 시스템은 단일 모드 시스템보다 사용자에 대해 더 강력한 이해를 달성합니다.

• 멀티모달리티의 검증: 본 연구는 모달리티의 결합이 개별 모달리티의 약점(예: 텍스트의 모호성 또는 얼굴 가려짐)을 보완하여, 단일 입력 모드에 비해 시스템의 이해 능력을 효과적으로 두 배로 높인다는 것을 입증합니다.
• 치료적 정렬: 시스템은 기술적인 AI 출력(감정 인식)을 심리학적 구조(IFS 내면의 부분들)에 성공적으로 매핑하여, 딥러닝과 임상 치료 모델 사이의 간극을 메웁니다.
• 실용적 유용성: 배포 아키텍처는 실시간 처리를 지원하며, 적응형 융합 전략을 통해 노이즈, 조명 변화, 누락된 모달리티와 같은 실제 환경의 문제를 처리합니다.

본 논문은 결론적으로, 개별 모달리티가 한계(예: 조명이 좋지 않을 때의 얼굴 인식 정확도 저하)를 가질 수 있지만, 통합된 멀티모달 접근 방식이 사용자의 내부 심리 상태에 대한 포괄적이고 맥락을 인지하는 평가를 제공함으로써, 개인화된 정신 건강 지원을 위한 제안된 모델의 효과성을 입증한다고 밝히고 있습니다.