⚡ electrical engineering

Simple Features and Honest Calibration for Ambivalence and Hesitancy Recognition in Video

본 논문은 ASR 제거 시간 특징과 정서 특화 멀티모달 융합을 활용하여 비디오 인터뷰에서의 양가감정과 망설임을 인식하는 시스템을 제시하며, 단순한 AP 가중 앙상블이 ABAW 2026 BAH 챌린지에서 복잡한 아키텍처 및 과적합된 검증 전략보다 우수한 성능을 보임을 입증한다.

원저자: Vikas Kumar, Aditya Mishra, Haroon R. Lone

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vikas Kumar, Aditya Mishra, Haroon R. Lone

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 해결하려는 탐정이라고 상상해 보세요: 이 사람은 두 가지 선택 사이에서 갈등하고 있는 것일까, 아니면 그저 망설이고 있는 것일까? 단서들은 인터뷰 질문에 답하는 사람의 짧은 영상 속에 숨겨져 있습니다. 이 논문은 새로운 도구들을 사용하여 어떻게 사건을 해결했는지, 그리고 더 중요한 것은 무엇이 효과가 없었는지에 대한 탐정의 보고서입니다.

거대한 미스터리: "흔들림(Wobble)" 찾기

목표는 양가감정과 망설임(Ambivalence and Hesitancy, A/H)—즉, 한 사람이 두 방향 사이에서 끌려다니며 느끼는 "확신할 수 없는" 내부적인 상태를 포착하는 것이었습니다. 팀은 BAH라고 불리는 데이터셋(300명의 서로 다른 사람으로부터 얻은 1,427개의 영상 포함)을 통해 탐정 기술을 테스트했습니다. 그들은 영상 속 인물이 불확실함을 보이는 징후를 나타내고 있는지 추측해야 했습니다.

"마법 같은" 단서: 대본 속의 유령

가장 놀라운 점은 무엇일까요? 팀은 아무도 주목하지 않았던 "유령" 신호를 발견했습니다.

음성 인식 로봇(ASR)이 영상을 듣고 있다고 상상해 보세요. 로봇의 임무는 단어들을 받아 적는 것입니다. 텍스트를 깔끔하게 만들기 위해, 로봇은 "음", "어" 또는 긴 휴지기(pause)를 삭제합니다. 하지만 여기서 트릭이 있습니다. 로봇은 그 소리들이 차지했던 '시간'까지는 삭제할 수 없습니다.

팀은 비록 "음"이라는 단어는 사라졌지만, 그 소리들이 존재했던 빈 공간은 타임스탬프(timestamps) 안에 여전히 남아 있다는 사실을 깨달았습니다. 그들은 **"ASR-erased time(ASR로 지워진 시간)"**이라는 새로운 도구를 만들었습니다. 이것은 남겨진 단어들 사이의 간격을 측정합니다.

멋진 이유: 이 간격 측정 도구는 그들이 발견한 가장 강력한 비언어적 단서로 밝혀졌습니다. 이 도구는 AP 0.718을 기록했습니다(단서가 얼마나 좋은지를 나타내는 척도).
독립성: 이 단서는 매우 독특해서 다른 어떤 단서와도 거의 일치하지 않았습니다(상관관계 0.11–0.36). 그것은 마치 이전에 어떤 탐정도 본 적 없는 지문을 발견한 것과 같았습니다.

"텍스트"가 주인공, "얼굴"은 조연

팀은 세 가지 주요 유형의 단서를 테스트했습니다: 텍스트(말하는 내용), 오디오(소리의 느낌), 그리고 비디오(얼굴 표정).

텍스트가 왕이다: 사람들이 사용한 단어들이 단연 최고의 단서였습니다. 감정에 특화된 특수 텍스트 모델을 사용했을 때, AP 0.811을 기록했습니다. 심지어 "하지만"이나 "아마도"를 얼마나 많이 말했는지 세는 것과 같은 단순한 "망설임 표식" 목록만으로도 거의 비슷한 성능(AP 0.800)을 냈습니다.
오디오는 차점자: 오디오 모델이 단순히 말하기가 아닌 감정을 감지하도록 훈련되었다면 도움이 되었습니다(AP 0.764). 하지만 일반적인 음성 모델을 사용했다면 거의 쓸모가 없었습니다.
비디오는 고군분투하는 조연: 이것은 아픈 진실이었습니다. 화려한 얼굴 스캐닝 모델을 쓰든, 눈동자 움직임을 추적하든, 눈썹의 떨림을 관찰하든 상관없이, 비디오 단서는 계속 약했습니다. 비디오는 AP 0.63에서 0.67 사이를 맴돌았습니다. 논문은 컴퓨터가 망설임의 미묘한 얼굴 징후를 학습하기에는 778개의 훈련 영상만으로는 부족했다고 시사합니다. 얼굴은 충분한 정보를 제공하지 못했습니다.

"충돌"의 함정: 무엇이 작동하지 않았나

많은 이전의 탐정들은 이 문제를 해결하는 열쇠가 채널 간의 **충돌(conflict)**을 찾는 데 있다고 생각했습니다. 그들은 *"텍스트는 '예'라고 하는데 얼굴은 '아니오'라고 한다면, 그것이 바로 망설임이다!"*라고 생각했습니다.

팀은 이러한 불일치를 찾는 "충돌 기계"를 만들어 이 아이디어를 테스트했습니다.

결과: 효과가 없었습니다. 충돌을 찾든, 무시하든, 데이터를 다르게 나누든 결과는 거의 변하지 않았습니다(변화 폭 0.05 미만). 이 논문은 "충돌 설계(conflict design)"가 비밀 병기가 아님을 명시적으로 배제합니다. 신호는 채널 간의 충돌 속에 있는 것이 아니라, 텍스트와 그 사이의 간격 속에 있었습니다.

"과적합(Overfitting)"의 함정: 시험에서 속임수를 쓰지 마라

이것이 그들이 승리한 가장 중요한 교훈입니다.

팀은 연습용으로 사용할 작은 그룹(124개의 영상)과 실제 테스트를 위한 더 큰 그룹(525개의 영상)을 가지고 있었습니다.

실수: 만약 연습 세트에서 가장 높은 점수를 얻기 위해 "노브(knobs, 가중치와 임계값)"를 조정하려고 한다면, 그것은 부정행위가 됩니다. 팀이 이 방식을 시도했을 때 연습 세트에서는 빛나는 0.741을 기록했지만, 실제 테스트에서는 0.690으로 폭락했습니다. 이것이 바로 과적합(overfitting), 즉 실제 교훈을 배우는 대신 연습 문제를 통째로 외워버리는 현상입니다.
해결책: 그들은 노브 조정을 멈췄습니다. 대신, 단순하고 고정된 규칙인 0.5(50/50 예측선)를 사용하고, 각 단서의 역사적 정확도에 따라 가중치를 두는 AP-weighting 방식을 사용했습니다.
승리: 이 단순하고 정직한 규칙을 고수함으로써, 실제 테스트 점수는 0.731로 뛰어올랐습니다. 이는 이전 우승자(0.694)를 제친 성적입니다.

최종 성적표

팀은 여섯 가지 서로 다른 "탐정(모델)"을 하나의 팀으로 결합했습니다.

결과: 그들의 최종 시스템은 공개 테스트에서 0.731 Macro-F1을 기록했습니다.
얼마나 확신하는가? 그들은 통계적 검증("bootstrap")을 실시했고, 자신들의 점수가 이전 우승자의 0.694보다 높을 확률이 **97%**라는 것을 발견했습니다. 강력한 리드이지만, 완벽한 승리가 보장된 것은 아닙니다.

핵심 요약

이 논문은 망설임을 포착하려면 얼굴이 아니라, 단어와 그 단어 사이의 침묵에 귀를 기울이라고 결론짓습니다.

하지 마세요: 눈과 입 사이의 "충돌"을 컴퓨터가 강제로 찾게 만들려고 하지 마세요. 여기서는 효과가 없습니다.
하세요: 텍스트와 음성 인식 과정에서 남겨진 "유령" 시간 간격을 믿으세요.
하세요: 테스트에 정직해지세요. 연습 테스트에서 좋아 보이기 위해 설정을 미세하게 조정하지 마세요. 그렇지 않으면 실제 테스트에서 실패할 것입니다.

팀의 시스템은 단순한 한 줄의 명령어로 실행되는 스크립트이며, 때로는 가장 복잡한 기계가 아니라 이야기 사이의 빈틈을 단순하고 정직하게 바라보는 것이 미스터리를 해결하는 최선의 방법임을 증명합니다.

기술 요약: 비디오 내 양가감정 및 망설임 인식을 위한 단순 특징 및 정직한 보정(Honest Calibration)

문제 정의
본 연구는 ABAW 2026 BAH 챌린지의 양가감정 및 망설임(Ambivalence and Hesitancy, A/H) 인식 과제를 다룹니다. 목표는 짧은 인터뷰 비디오가 주어졌을 때, 화자가 내부적 갈등이나 불확실성의 징후를 보이는지 예측하는 것입니다. 이 과제는 비디오 수준의 이진 분류 문제로 프레임화되었으며, 주로 macro-F1(존재하는 클래스와 존재하지 않는 클래스의 F1 점수의 비가중 평균)으로 평가되고, 부차적으로는 평균 정밀도(Average Precision, AP)로 평가됩니다. 데이터셋(BAH)은 300명의 참가자로부터 추출된 1,427개의 비디오로 구성되며, 참가자 중복 없이 훈련(778), 검증(124), 공개 테스트(525) 세트로 나뉩니다.

방법론
제안된 시스템은 복잡한 교차 모달 갈등 모델링이라는 기존의 패러다임에서 벗어나, 정서 특화 표현, 해석 가능한 언어적 단서, 그리고 엄격한 보정에 집중합니다.

모달리티 인코더: 시스템은 처음부터 학습하는 대신, 동결된(frozen) 사전 학습된 인코더를 사용합니다.
- 텍스트: GoEmotions에 미세 조정된 RoBERta(768차원)와 11가지 수동 제작된 망설임 마커(예: 완곡 어구의 비율, 채움 휴지, 자기 수정, 감정 역전 등)를 활용합니다.
- 오디오: 정서 특화 wav2vec2 모델(1024차원)을 사용합니다. 일반적인 음성 인코더(HuBERT)는 성능이 저조한 것으로 나타났습니다.
- 비디오: 16개의 정렬된 프레임에 대한 얼굴 표정 Vision Transformer(FER-ViT)를 사용하여 임베딩과 7가지 표정 프로필을 제공합니다. 일반적인 비디오 인코더(VideoMAE)나 특정 시선/눈썹 역학은 성능 향상에 실패했습니다.
- ASR-삭제 시간(ASR-Erased Time): 자동 음성 인식(ASR) 청크의 타임스탬프에서 유도된 새로운 16차원 특징 세트입니다. ASR 모델(Whisper 등)은 깨끗한 텍스트를 생성하기 위해 필러(fillers)와 휴지를 삭제하므로, 남은 청크 사이의 시간적 간격은 삭제된 이벤트의 지속 시간을 보존합니다. 특징에는 간격 횟수, 음성 시간 대비 정규화된 간격 크기, 청크 파편화, 대조적 단어 앞의 휴지 패턴 등이 포함됩니다.
정서적 마커 융합(Affective Marker Fusion, AMF):
- 스트림들은 공유된 너비로 투영된 후 학습된 신뢰성 게이트(reliability gate)를 통과합니다. 이 메커니즘은 각 스트림에 가중치를 할당하여, 단순히 노이즈를 더하는 대신 비디오와 같이 약한 채널의 영향력을 효과적으로 줄입니다.
- 보조 헤드는 11가지 해석 가능한 마커만을 사용하여 A/H를 예측하며, 이는 공유 표현이 약한 모달리티 상황에서도 예측력을 유지하도록 하는 정규화 도구 역할을 합니다.
- 모델은 클래스 균형이 맞춰진 이진 교차 엔트로피(class-balanced binary cross-entropy)와 레이블 스무딩( $\epsilon=0.1$ )을 사용하여 학습됩니다.
앙상블 및 보정:
- 최종 예측은 고정된 결정 임계값 $\tau = 0.5$ 에서 6개 모델 멤버(AMF 네트워크 및 개별 스트림 프로브 포함)의 AP 가중 평균입니다.
- 저자들은 검증 세트에서 임계값이나 앙상블 가중치를 튜닝하는 "탐색"이 과적합을 초래한다는 점을 명시하며 이를 거부합니다(검증 세트에서는 0.741을 기록했으나 테스트 세트에서는 0.690으로 하락).
- 대신, 가중치는 소규모 데이터셋에서도 안정적인 무경계 지표인 각 멤버의 평균 정밀도(AP)로부터만 도출됩니다.
- 최종 모델은 모든 가용 레이블 데이터(훈련 + 검증 + 테스트 = 1,427개 비디오)를 사용하여 학습되며, 데이터 누수를 방지하기 위해 시드가 고정된 층화 추출 방식의 113비디오 홀드아웃(holdout)을 조기 종료 및 가중치 피팅에 사용합니다.

주요 결과

성능: 시스템은 공개 테스트 세트에서 0.731 macro-F1을 달성하여, 이전 버전의 우승자(0.694)와 제로샷 멀티모달 LLM(0.283) 및 코-어텐션(co-attention) 베이스라인(0.590)을 포함한 모든 베이스라인을 능가했습니다.
신호 분포:
- 텍스트가 지배적임: 텍스트 스트림(RoBERTa-GoEmotions)이 가장 높은 AP(0.811)를 기록했으며, 11가지 망설임 마커(AP 0.800)가 그 뒤를 바짝 쫓았습니다.
- 오디오는 차순위: 정서 특화 오디오 인코더(AP 0.764)는 일반 오디오 인코더(HuBERT, AP 0.606)보다 성능이 현저히 높았습니다.
- 비디오는 약함: FER 및 시선 역학을 포함한 모든 시각적 표현은 우연 수준 근처(AP 0.63–0.67)에 머물렀으며, 앙상블에 의미 있는 기여를 하지 못했습니다.
- ASR-삭제 시간: 이 비언어적 채널은 0.718의 AP를 달성하여 모든 시각적 특징을 능가했으며, 다른 모델 멤버들과 낮은 상관관계(0.11–0.36)를 보여 높은 독립성을 입증했습니다.
절제 연구(Ablation) 결과:
- 갈등 설계: 교차 모달 갈등 연산자(절대 차이, 직교 분할, 또는 없음)를 변경해도 AP 변화가 미미하고(<0.05) 검증 세트와 테스트 세트 간의 순위가 일관되지 않았습니다. 이는 갈등 설계가 핵심적인 레버가 아님을 증명합니다.
- 보정: 가장 큰 이득은 정직한 보정에서 왔습니다. 검증 세트에서의 가중치 및 임계값 탐색을 제거함으로써 테스트 점수를 0.041(0.690에서 0.731로) 향상시켰습니다.

의의 및 주장
본 논문은 BAH 데이터셋의 경우, 양가감정과 망설임의 "신호"가 복잡한 교차 모달 안면 또는 음성 갈등 특징보다는 언어와 특정 운율적 간극에 거의 전적으로 집중되어 있다고 주장합니다. 저자들은 세 가지 주요 결론을 제시합니다:

갈등 설계는 핵심 레버가 아니다: 인코더가 고정된 상태에서 미리 설계된 갈등 특징은 성능을 안정적으로 개선하지 못합니다.
특징은 좁게 기여한다: 정서 특화 오디오와 해석 가능한 언어적 마커만이 실질적인 이득을 제공하며, 시각적 채널은 여전히 효과가 없습니다.
보정이 가장 중요하다: 가장 큰 성능 향상은 보정 단계에서의 과적합을 피하는 데서 발생합니다. AP 가중 앙상블과 고정 임계값을 사용하는 것이 작은 검증 분할에서 가중치와 임계값을 튜닝하는 것보다 우수합니다.

본 연구는 "정직한" 평가(즉, 테스트 전에 보정 규칙이 고정되는 것)가 건축적 복잡성보다 더 영향력 있음을 강조합니다. 저자들은 이전 우승자와의 격차가 통계적으로 유의미할 가능성이 높지만(95% 부트스트랩 구간 [0.693, 0.770]), 절대적인 확신은 아니라고 언급합니다. 현재 가장 유망한 향후 연구 방향은 현재 강력하고 독립적인 신호를 제공하고 있는 'ASR-삭제 시간'을 더욱 깊이 활용하는 것이며, 이는 이 독립성을 정확도로 완전히 전환하기 위해 더 큰 데이터셋을 기다리고 있습니다.