💻 computer science

Multimodal Ambivalence and Hesitancy Recognition via Cross-Attention and Gated Fusion

본 논문은 텍스트, 오디오, 시각적 특징을 양방향 교차 주의 집중(bidirectional cross-attention)과 게이트형 멀티모달 유닛(Gated Multimodal Unit)을 통해 융합함으로써, ECCV 2026의 ABAW11 챌린지에서 단일 모달 베이스라인 및 제로샷 모델을 크게 상회하는 0.7394의 Macro F1 점수를 달성하여 비디오 내 양가감정(ambivalence)과 망설임(hesitancy)을 인식하기 위한 멀티모달 프레임워크를 제시한다.

원저자: Oussama Berhili, Yassine Ouzar, Larbi Boubchir

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Oussama Berhili, Yassine Ouzar, Larbi Boubchir

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

친구의 모습을 관찰하는 것만으로 그가 무엇을 느끼고 있는지 추측하려고 노력한다고 상상해 보세요. 때로는 쉽습니다. 큰 미소는 행복을 의미하고, 찌푸린 얼굴은 슬픔을 의미하죠. 하지만 마음이 갈팡질팡하는 까다로운 순간들은 어떨까요? 예를 들어, 누군가 울 것 같은 표정을 지으면서도 목소리는 떨리는 소리로 "괜찮아요"라고 말할 때처럼 말이죠. 이 혼란스러운 감정의 혼합을 양가감정(ambivalence) 또는 **망설임(hesitancy)**이라고 부릅니다. 그것은 무언가를 하고 싶은 마음과 그것을 하는 것이 두려운 마음 사이의 내부적인 줄다리기와 같습니다. 컴퓨터와 인간의 행동을 연구하는 과학자들(감성 컴퓨팅이라 불리는 분야)은 기계가 이러한 미묘하고 뒤섞인 신호들을 포착하도록 가르치기 위해 노력하고 있습니다. 그들은 단 하나의 단서, 즉 목소리만 듣거나 얼굴만 보는 것이 충분하지 않다는 것을 알고 있습니다. 사람을 진정으로 이해하기 위해서, 컴퓨터는 단어, 어조, 그리고 표정을 모두 한꺼번에 종합하여 무엇이 그 사람의 진심인지 밝혀내는 초스마트 탐정처럼 행동해야 합니다.

이 논문에서 오사마(Oussama), 야신(Yassine), 라르비(Larbi)라는 이름의 연구팀은 바로 이 퍼즐을 풀기 위해 초스마트 탐정 컴퓨터를 구축하기로 했습니다. 그들은 비디오 녹화물에서 양가감정과 망설임을 포착하는 것을 목표로 하는 ABAW11이라는 대회에 참가했습니다. 그들은 먼저 세 가지 서로 다른 "감각"을 개별적으로 테스트했습니다. 텍스트 전사본을 읽는 뇌, 오디오를 듣는 뇌, 그리고 얼굴 영상을 보는 뇌입니다. 그들은 텍스트 판독기가 단독 탐정으로서 가장 뛰어났으며, 약 **66.6%**의 정답률(Macro F1이라 불리는 점수로 측정됨)을 기록했다는 것을 발견했습니다. 오디오 청취기는 **62.8%**로 그 뒤를 바짝 쫓았고, 비디오 관찰기는 **57.3%**로 조금 더 약했습니다. 흥적으로, 그들은 유명한 "제로샷(zero-shot)" AI(이 특정 데이터에 대해 학습되지 않은 AI)를 테스트해 보았는데, 이 AI는 겨우 **28.3%**만을 맞혔으며, 이는 이 까다로운 작업을 위해 AI를 반드시 특화하여 학습시켜야 한다는 것을 증명했습니다.

하지만 진짜 마법은 탐정들이 혼자 일하는 것을 멈추고 그들을 한 팀으로 만들었을 때 일어났습니다. 연구진은 텍스트, 오디오, 비디오 뇌가 서로 대화할 수 있는 특별한 시스템을 구축했습니다. 그들은 각 탐정에게 무전기를 주어 "이봐, 여기 떨리는 목소리가 들리는데, 네 얼굴은 긴장한 표정을 보고 있니?"라고 묻거나 "나는 망설이는 단어를 발견했어, 네 오디오에서는 멈춤이 들리니?"라고 서로 묻게 하는 것과 같은 교차 주의 집중(cross-attention) 기법을 사용했습니다. 이를 통해 그들은 누군가 "예"라고 말하면서도 확신 없는 소리를 내는 것과 같은 모순을 포착할 수 있었습니다. 또한 그들은 스마트한 매니저 역할을 하는 **게이트형 다중 양식 유닛(Gated Multimodal Unit)**을 추가했습니다. 만약 한 탐정이 흐릿한 얼굴을 보고 있거나 좋지 않은 오디오를 듣고 있다면, 매니저는 "잠시 그 노이즈 섞인 신호는 무시하고, 대신 명확한 텍스트에 집중하자"라고 말할 수 있습니다.

최적의 설정을 찾기 위해 Optuna라는 스마트 검색 도구와 함께 이 팀을 훈련시킨 결과, 성과는 인상적이었습니다. 세 명의 팀이 협력하여 얻은 점수는 **73.9%**였으며, 이는 최고의 단일 탐정보다 11.0% 향상된 수치입니다. 이는 서로의 감각를 교차 확인하게 함으로써, 컴퓨터가 단일 감각만 사용할 때보다 양가감정을 구성하는 미묘하고 상충하는 단서들을 훨씬 더 잘 포착할 수 있음을 시사합니다. 연구진은 텍스트, 소리, 비디오 사이의 이러한 명시적인 팀워크가 어려운 인간의 감정을 여는 열쇠라고 확신하며, 다른 이들도 이를 시도해 볼 수 있도록 코드를 공개했습니다.

기술 요약: 교차 주의 집중(Cross-Attention) 및 게이트 융합(Gated Fusion)을 통한 다중 모달 양가성 및 망설임 인식

문제 정의
본 연구는 비디오 녹화물에서 양가성(Ambivalence) 및 망설임(Hesitancy, 이하 A/H)을 자동으로 탐지하는 과제를 다루며, 이는 ECCV 2026의 ABAW11 챌린지의 핵심 과제입니다. A/H는 개인이 상충하는 감정이나 동기를 경험하며, 이로 인해 행동 변화가 지연되는 미묘한 정서적 상태를 나타냅니다. 이 과제의 난점은 A/H가 텍스트의 어휘적 완곡어법(lexical hedging), 오디오의 운율적 변화, 그리고 얼굴 비디오의 미세 표정 등 여러 모달리티에 걸쳐 복잡하고 때로는 상충하는 단서들을 통해 나타난다는 점에 있습니다. 저자들은 A/H의 존재 여부를 나타내는 이진 레이블이 포함된 1,427개의 비디오 녹화물로 구성된 BAH 데이터셋을 활용하여, 단순한 단일 모달 분석이나 나이브한 융합을 넘어선 솔루션을 개발합니다.

방법론
제안된 접근 방식은 특징 추출, 단일 모달 베이스라인 구축, 그리고 새로운 다중 모달 융합 아키텍처를 포함하는 구조화된 파이프라인을 따릅니다.

특징 추출: 미세한 시간적 역동성을 보존하기 위해, 저자들은 추출 과정에서 전역 풀링(global pooling)을 피합니다. 대신, 세 가지 최첨단 사전 학습된 인코더를 사용하여 전체 시퀀스 토큰 표현을 추출합니다.
- 텍스트(Text): F2LLM-v2-0.6B(Qwen3-0.6B 기반)가 전사본을 처리하며, 전체 last_hidden_state 시퀀스( $N_t \times 1024$ )를 유지합니다.
- 오디오(Audio): WavLM-Large가 16kHz 모노 오디오를 처리하여, 운율적 뉘앙스를 포착하기 위한 전체 시간 시퀀스( $N_a \times 1024$ )를 추출합니다.
- 비주얼(Visual): VideoMAE V2 (Base)가 정렬된 얼굴 프레임(256x256)을 처리합니다. 비디오는 16프레임 청크로 분할되며, 시공간적 문맥을 보존하기 위해 패치 레벨 토큰 시퀀스가 결합됩니다( $N_v \times 768$ ).
단일 모달 베이스라인: 융합에 앞서, 저자들은 각 모달리티에 대해 독립적으로 클래식 분류기(MLP, Random Forest, GBDT)를 훈련시켜 견고한 베이스라인을 구축합니다. 이 모델들은 Macro F1을 지표로 하여 Optuna(분류기당 100회 시행)를 통해 최적화됩니다.
다중 모달 융합 아키텍처: 핵심 기여는 양방향 교차 주의 집중(bidirectional cross-attention)과 게이트형 다중 모달 유닛(Gated Multimodal Unit, GMU)을 결반한 융합 모델입니다.
- 투영 및 위치 인코딩(Projection & Positional Encoding): 모든 모달리티의 가변 길이 시퀀스는 선형 투영을 통해 공유 임베딩 차원( $d_{model}$ )으로 변환되며, 사인 함수 기반 위치 인코딩으로 보강됩니다.
- 양방향 교차 주의 집중(Bidirectional Cross-Attention): MultimodalCrossAttention 모듈은 6개의 방향성 어텐션 스택(예: 텍스트가 오디오를 참조, 오디오가 비디오를 참조 등)을 구현합니다. 이를 통해 각 모달리티는 서로의 표현을 쿼리하고 어텐션을 수행함으로써, 상호 보완적인 단서를 활용해 모호성을 해소합니다.
- 풀링(Pooling): 문맥화된 토큰 시퀀스는 구성 가능한 풀링 전략(평균, 최대 또는 학습된 어텐션)을 사용하여 단일 벡터로 축소됩니다.
- 게이트 융합(GMU): 풀링된 벡터들은 결합되어 GMU에 의해 처리됩니다. 이 유닛은 컨텍스트 벡터를 계산하여 각 모달리티에 대한 시그모이드 게이트를 생성하고, 각 스트림의 기여도를 동적으로 조절합니다. 이 메커니즘을 통해 특정 사례에서 노이즈가 많거나 정보가 없는 모달리티(예: 가려진 얼굴)의 영향을 억제할 수 있습니다.
- 분류(Classification): 최종 융합된 표현은 MLP를 통과하여 이진 예측값을 출력합니다.

주요 기여

포괄적인 단일 모달 벤치마크: 본 논문은 F2LLM, WavLM, VideoMAE를 사용한 특정 구성을 통해 강력한 단일 모달 베이스라인을 구축하며, 도메인 특화 훈련이 제로샷 베이스라인보다 크게 우수함을 입증합니다.
체계적인 분류기 평가: Optuna를 통해 최적화된 MLP, Random Forest, GBDT 분류기에 대한 비교 분석을 수행합니다.
새로운 융합 아키텍처: 모달리티 내 및 모달리티 간 상호작용을 모델링하기 위해, 50회의 Optuna 탐색을 통해 튜닝된 양방향 교차 주의 집중과 GMU의 통합을 제시합니다.
재현 가능한 파이프라인: 가변 길이 토큰 시퀀스를 파이프라인 전반에 걸쳐 보존하는 모듈형 오픈 소스 프레임워크를 제공하여, 향후 교차 주의 집중이나 다중 모달 LLM으로의 확장을 용이하게 합니다.

결과

단일 모달 성능: 텍스트 특징이 단독으로 가장 변별력이 높은 것으로 나타났으며, Random Forest 분류기는 테스트 세트에서 0.6659의 Macro F1을 달성했습니다. 이는 제로샷 Video-LLaVA 베이스라인(Macro F1: 0.2827)을 크게 상회하는 결과입니다. 오디오와 비주얼 모달리티가 각각 0.6275와 0.5727의 Macro F1으로 그 뒤를 이었습니다.
다중 모달 성능: 제안된 Cross-Attention + GMU 모델은 검증 세트에서 0.7394의 Macro F1을 달성했습니다. 이는 최상의 단일 모달 베이스라인 대비 11.0%의 상대적 개선을 의미하며, 제로샷 베이스라인 대비 상당한 이득을 보여줍니다.
하이퍼파라미터 최적화: 최적의 구성은 공유 임베딩 차원 256, 단일 어텐션 헤드, 모달리티 쌍당 2개의 교차 주의 집중 레이어, 그리고 평균 풀링을 사용하였습니다.

의의 및 주장
저자들은 명시적인 교차 모달 상호작용이 A/H 탐지에 필수적이라는 가설을 확인했다고 주장합니다. 단일 모달 모델에 비해 다중 모달 아키텍처의 성능 향상은 A/H가 단일 모달리티만으로는 포착할 수 없는 상호 보완적인 단서들을 포함하고 있음을 시사합니다. 또한, 에러 분석에 따르면 단일 모달 모델(특히 텍스트)은 마커에 민감하여 중립적인 특징에도 과도하게 반응할 수 있으나, 다중 모달 아키텍처는 오디오 및 비주얼 스트림으로부터 직교하는 단서들을 활용하여 결정 경계를 정교화하는 데 도움을 줍니다.

본 논문은 단순한 후기 융합(late fusion)이나 단일 모달 의존보다 모달리티 내 및 모달리티 간 상호작용을 모델링하는 것이 더 우수한 결과를 낸다는 것을 입증하며, 감성 컴퓨팅 분야의 원칙적인 진전으로서 본 접근 방식을 위치시킵니다. 저자들은 향후 개선 방향으로 더 풍부한 시간적 모델링, 개인화, 그리고 다중 모달 LLM의 매개변수 효율적 미세 조정(parameter-efficient fine-tuning)을 제시하며 마무리합니다.

유사한 논문