🤖 AI

Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition

이 논문은 시간에 따른 교차 모달 불협화음을 모델링하고 대규모 언어 모델로부터 구조화된 증거를 융합함으로써 비디오 수준의 모호성과 망설임을 인식하는 지식 가이드형 멀티모달 프레임워크인 PRISM-AH를 소개하며, 공공 테스트 세트에서 0.6133의 macro F1을 달성하였다.

원저자: Podakanti Satyajith Chary, Barath Parthiban, Pranesh Velmurugan, Adeeba Khan, Nagarajan Ganapathy

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Podakanti Satyajith Chary, Barath Parthiban, Pranesh Velmurugan, Adeeba Khan, Nagarajan Ganapathy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

짧은 영상 속 인물의 대화를 관찰하는 것만으로 그 사람이 어떤 기분인지 추측하려고 노력한다고 상상해 보십시오. 이것은 단순히 미소나 찌푸린 표정을 포착하는 것만이 아닙니다. 누군가가 "전 정말 괜찮아요!"라고 말하지만, 목소리가 떨리고, 눈동자는 옆으로 피하며, 동시에 초조하게 몸을 뒤척이는 그런 까다롭고 복합적인 순간을 잡아내는 것에 관한 것입니다. 과학자들은 이러한 상태를 '양가감정(ambivalence)' 또는 '망설임(hesitancy)'이라고 부릅니다. 이는 '예'와 '아니오' 사이의 혼란스러운 중간 지대이며, 사람들이 금연이나 다이어트와 같은 건강 습관을 바꾸려는 노력을 포기하게 만드는 매우 큰 이유이기도 합니다. 컴퓨터에게 이 문제는 어려운데, 이러한 엇갈린 신호들이 사람의 얼굴, 목소리, 그리고 언어 속에 흩어져 있는 아주 작고 찰나적인 불꽃과 같기 때문입니다. 만약 이 모든 데이터를 하나의 커다란 더미로 그냥 뭉뚱그려 버린다면, 컴퓨터는 혼란에 빠져 실시간으로 일어나는 미묘한 드라마를 놓치게 됩니다.

여기에 컴퓨터가 이러한 복합적인 감정을 포착하도록 가르치는 새로운 방법인 PRISM-AH가 등장했습니다. 연구진은 단순히 비디오, 오디오, 텍스트 데이터를 하나로 이어 붙이고 요행을 바라는 대신, 계산기보다는 탐정처럼 행동하는 시스템을 구축했습니다. 먼저, 가벼운 '정찰병(scout)'이 영상을 스캔하여 사람의 얼굴, 목소리, 그리고 단어가 서로 어긋나는 정확한 찰나의 순간들을 찾아냅니다. 그런 다음, 정찰병은 이러한 갈등의 순간들을 강조하며 짧고 구조화된 보고서를 작성합니다. 그다음, 강력한 '탐정(detective)'(거대 언어 모델)이 그 보고서를 읽습니다. 하지만 여기서 반전이 있습니다. 탐정은 단순히 추측하는 것이 아니라, 인간 심리학자들이 제공한 '전문가적 단서'라는 특정 규칙을 따릅라 따라갑니다. 이 시스템은 정찰병의 가공되지 않은 데이터와 탐정의 전문적인 추론을 결합함으로써 망설임을 훨씬 더 잘 포착하게 됩니다.

결과는 인상적입니다. 152개의 숨겨진 영상을 대상으로 한 표준 테스트에서, 이 새로운 방식은 0.6324(매크로 F1이라는 지표로 측정됨)의 점수를 기록했습니다. 이를 비교해 보자면, 이 특별한 탐정 논리 없이 표준 AI만을 사용했던 이전의 최고 기록은 0.2827에 불첨했습니다. 이는 새로운 접근 방식이 기존의 베이스라인보다 2.24배 더 정확하다는 것을 의미합니다.

하지만 논문은 무엇이 효과가 없는지에 대해서도 주의 깊게 언급하고 있습니다. 연구진은 단순히 더 복 complexity한 특징을 추가하거나, AI를 특정 인물(예: 연령이나 성별)에 맞게 조정하는 것이 도움이 되지 않는다는 점을 명시적으로 배제했습니다. 사실, 참가자의 속성에 따라 시스템을 조건화하는 것은 보지 못한 새로운 사람들을 마주했을 때 오히려 성능을 저하시킨다는 것을 발견했습니다. 또한 그들은 정보가 누락되었을 때 발생하는 놀라운 특이점을 발견했습니다. 시스템은 비디오, 오디오, 텍스트를 모두 사용하지만, '텍스트'(사람이 실제로 말하는 내용)가 퍼즐의 가장 결정적인 조각이라는 점입니다. 만약 언어를 제거한다면 성능은 크게 떨어집니다. 하지만 반전은, 오디오를 제거해도 성능이 감소하지 않는다는 것이며, 이는 이 특정 설정에서 오디오가 의사 결정 과정에 필수적이지 않음을 시사합니다.

이 연구는 비결이 단순히 더 많은 데이터를 갖는 것이 아니라, 올바른 종류의 추론을 갖는 데 있다는 점을 시사합니다. 시스템의 '탐정' 부분은 전문가의 단서가 담긴 특정 규칙이 주어졌을 때만 작동했습니다. 그 지식이 없었다면 시스템의 성능은 기본 모델 수준으로 다시 떨어졌을 것입니다. 저자들은 자신들의 현재 시스템이 큰 진전이지만, 향ما 미래의 개선을 위한 가장 유망한 경로는 언어 이해를 더욱 강력하게 만드는 것이라고 결론지었습니다. 왜냐하면 단어가 주요한 결정 동력이기 때문입니다. 그들은 인간의 감정을 읽는 문제를 영원히 해결했다고 주장한 것이 아니라, 구조화된 지식 가이드 방식이 모든 것을 믹서기에 넣고 돌리는 것보다 훨씬 우월하다는 것을 증명했을 뿐입니다.

기술 요약: PRISM-AH

문제 정의

본 논문은 비디오 기반 건강 행동 변화 중재(health behavior change interventions)에서 **양가감정 및 망설임(Ambivalence and Hesitancy, A/H)**을 인식하는 과제를 다룹니다. A/H는 행동 변화에 대한 긍정적 방향과 부정적 방향 사이의 갈등하는 정서적 상태를 나타내며, 이는 종종 행동 변화의 지연이나 포기로 이어집니다.

핵심적인 어려움은 증거의 성격에 있습니다:

희소성 및 국소성(Sparsity and Localization): 판별적 단서들은 비디오 전체에 균일하게 분포하기보다 시간상으로 희소하고 국소적으로 존재합니다.
교차 채널 불일치(Cross-Channel Disagreement): 가장 신뢰할 수 있는 증거는 단일 채널 내의 강한 신호보다는 모달리티 간의 충돌(예: 언어적 긍정과 함께 나타나는 시선 회피)에서 발생하는 경우가 많습니다.
개인별 가변성(Individual Variability): 개인마다 망설임을 보이는 방식이 다르며, 주석이 달린 코퍼스(BAH 벤치마크)의 크기가 적습니다.
표준 퓨전의 한계: 밀집된 프레임별 특징(per-frame features)에 표준 멀티모달 퓨전을 직접 적용하면, 특징 풀링(pooling) 과정에서 시간적 국소성이 희석되고 교차 채널 불일치를 포착하지 못해 낮은 정확도를 보입니다.

방법론: PRISM-AH

제안된 프레임워크인 PRISM-AH(Predictive Reasoning over Interacting Streams for Multimodal Ambivalence / Hesitancy recognition)는 표준적인 특징 퓨전에서 벗어납니다. 대신, 이 과제를 **구조화되고 타임스탬프가 찍힌 멀티모달 증거에 대한 지식 유도 추론(knowledge-guided reasoning)**으로 재구성합니다. 아키텍처는 두 가지 주요 단계로 구성됩니다.

1. 구조적 증거 추출 (판별 네트워크)

경량 멀티모달 네트워크가 비디오 윈도우(0.5초)를 처리하여, 단일 풀링 벡터가 아닌 압축되고 해석 가능한 요약을 생성합니다.

인코더(Encoders): 각 모달리티를 위해 동결된 파운데이션 인코더를 사용합니다:
- 시각(Vision): 얼굴 프레임을 위한 CLIP 계열 ViT.
- 오디오(Audio): 음성을 위한 WavLM.
- 텍스트(Text): 전사 데이터(transcripts)를 위한 MPNet.
- 운율/비유창성(Prosody/Disfluency): 명시적 기술자(pitch, energy, pauses, hedges 등)가 윈도우당 계산됩니다.
상호작용 허브(Interaction Hub): 채널들은 공유 차원으로 투영되며, Feature-wise Linear Modulation(FiLM)을 통해 참가자 메타데이터에 의해 변조됩니다. 상호작용 블록 스택은 교차 주의 집중(cross-attention)과 시간적 자기 주의 집중(temporal self-attention)을 사용하여 채널들을 결합합니다.
신호 생성(Signal Generation): 네트워크는 증거를 풍부하게 하기 위해 특정 신호를 방출합니다:
- 충돌 점수(Conflict Score): 쌍별 코사인 불일치( $d_{va}, d_{v\tau}, d_{a\tau}$ )를 통해 채널 간 불일치를 명시적으로 측정합니다.
- 망설임 서프라이즈(Hesitation Surprise): JEPA에서 영감을 받은 예측 컴포넌트로, 다음 허브 상태를 예측합니다. 예측 오차는 행동적 연속성의 단절을 나타냅니다.
- 프로토타입 매칭(Prototype Matching): 학습 가능한 프로토타입 뱅크가 윈도우에 해석 가능한 패턴 레이블을 할당합니다.
출력: 네트워크는 비디오 수준의 판별 확률과 함께 타임스탬프, 지배적 모달리티, 충돌 점수, 전사 세그먼트를 포함하는 구조적 증거 요약을 생성합니다.

2. 지식 유도 추론 및 후기 퓨전(Late Fusion)

대규모 언어 모델(LLM)이 구조화된 증거를 바탕으로 제로샷 방식으로 작동하는 추론기 역할을 수행합니다.

프롬프팅(Prompting): LLM은 BAH 벤치마크의 **전문가 큐 택소노미(expert cue taxonomy)**를 명시적으로 인코딩한 프롬프트와 함께 증거 요약을 전달받습니다. 이는 미묘한 단서를 해석하는 데 필요한 도메인 지식을 제공합니다.
판결(Verdict): LLM은 결정적인 순간을 인용하는 근거(rationale)와 함께 확신 점수를 포함한 판결을 반환합니다.
퓨전(Fusion): 추론 확률( $q$ )은 판별 확률( $p$ )과 볼록 후기 퓨전(convex late fusion)을 통해 결합됩니다: $p_{final} = (1 - \omega)p + \omega q$ . 가중치 $\omega$ 와 임계값은 매크로 F1을 극대화하도록 검증 파티션에서 캘리브레이션됩니다.

주요 기여

과제의 재구성: 본 연구는 밀집된 특징 퓨전에서 구조화되고 타임스탬프가 찍힌 증거에 대한 추론으로 전환하여, 프라이빗 테스트 파티션에서 매크로 F1 0.6324를 달면(제로샷 베이스라인인 0.2827 대비 2.24배 향상) 달성했습니다.
지식 유도 추론 레이어: 전문가 큐 택소노미를 명시적으로 인코딩하여 증거를 해석하는 LLM 추론기를 도입했습니다. 통제된 실험을 통해 인코딩된 택소노미가 성능 향상의 필수 요소임을 확인했습니다(이를 제거하면 향상이 사라집니다).
엄격한 경험적 분석: 세 개의 시드(seed)에 대한 통제된 연구를 통해 모달리티 기여도와 견고성을 정량화했습니다. 이를 통해 **언어(language)**가 예측 성능의 주요 동력임을 식별하였으며, 참가자 속성에 따른 조건화가 참가자 불일치 파티션에는 전이되지 않음을 입증했습니다.

실험 결과

성능: 프라이빗 테스트 파티션에서 PRISM-AH는 0.6324의 매크로 F1을 달성했습니다. 퍼블릭 테스트 파티션에서는 판별 네트워크 단독으로 0.5790을 기록했으며, 지식 유도 추론을 추가했을 때 0.6133으로 향상되었습니다.
추론 레이어의 필요성:
- 모델 용량: 7B 파라미터 모델은 개선 효과가 없었으나(퓨전 가중치 = 0), 14B 모델은 점수를 0.6070으로 높였습니다. 이는 충분한 추론 용량이 필요함을 나타냅니다.
- 프롬프트 절제 연구(Ablation): 프롬프트에서 전문가 큐 택소노미를 제거하면 이득이 사라졌으나(0.5825로 복귀), 구조적 증거를 제거했을 때는 이득이 유지되었습니다(0.6147). 이는 도메인 지식이 추론기에게 구체적인 증거 형식보다 더 중요하다는 것을 시사합니다.
모달리티 분석:
- 단일 모달리티 모델(Vision, Audio, Text)은 유사한 성능(매크로 F1 ~0.55–0.56)을 보였습니다.
- 언어의 지배력: 언어 채널을 제거했을 때 가장 큰 성능 저하(0.5735 $\to$ 0.4982)가 발생하여, 텍스트가 결정적인 채널임을 확인했습니다.
- 참가자 조건화: 메타데이터 조건화를 제거하면 퍼블릭 테스트 점수가 오히려 향상되었습니다(0.5570 $\to$ 0.6140). 이는 참가자 속성이 훈련 분포에는 부합하지만, 보지 못한 개인에게는 일반화되지 않음을 나타냅니다.
견고성: 시스템은 성별 및 연령 하위 그룹 전반에 걸쳐 좁은 성능 격차를 보였습니다.

의의 및 주장

본 논문은 성능 향상의 주요 원천이 지식 유도 추론 레이어, 특히 전문가 큐 택소노미의 명시적 인코딩이라고 주장합니다. 연구는 증거가 희소하고 국소적이며 교차 모달 갈등에 의해 정의되는 과제의 경우, 비디오를 구조화된 증거로 추출하고 도메인에 근거한 추론을 적용하는 것이 밀집된 특징을 퓨전하는 것보다 더 효과적임을 시사합니다.

저자들은 보조적인 구조적 신호(충로 점수, 서프라이즈 신호)가 판별 전용 설정에서 미미하게 기여했다는 점을 들어, **압축된 판별 백본(compact discriminative backbone)**이 선호된다고 결론짓습니다. 가장 유망한 향상 방향은 언어가 A/H 인식의 결정적 채널이라는 결과와 일치하게, **더 강력한 언어 그라운딩(language grounding)**을 확보하는 것으로 식별되었습니다. 이 접근 방식은 참가자 특정 조건화에 과도하게 의존하는 것을 피하고, 보지 못한 개인에게 일반화되는 구성을 지향합니다.