기술 요약: 다양한 파트너 가시성 조건 하에서의 다중 양식 정보성(Multimodal Informativity) 조사

문제 정의

인간의 의사소통은 본질적으로 다중 양식적(multimodal)이며 체화된(embodied) 특성을 지니며, 제스처는 언어에 결여되거나 불충분하게 명시된 정보를 전달하곤 한다. 그러나 현대의 대화 모델들은 일반적으로 텍�스트 전사(transcript)에만 의존하며, 제스처가 가진 풍부한 커뮤니케이션 단서들을 활용하지 못하고 있다. 제스처가 참조 해결(reference resolution)에 도움이 된다는 점은 기존 연구를 통해 입증되었으나, 제스처가 독립적으로 얼마나 많은 참조 정보를 운반하는지, 그리고 언어와 어떻게 상호 보완하는지, 또한 이러한 역동성이 서로 다른 파트너 가시성 조건(예: 오디오 전용 vs. 비디오 매개) 하에서 어떻게 변화하는지는 여전히 불분명하다. 기존의 벤치마크들은 제스처가 고유한 가치를 제공하는 시점과 단순히 언어를 강화하는 시점을 분리해낼 수 있는 세밀함이 부족하다. 본 연구는 통제된 참조 커뮤니케이션 과업을 통해 도상적 제스처(iconic gestures)의 정보성과 언어와의 융합을 정량화함으로써 이러한 격차를 해소하고자 한다.

방법론

데이터셋 및 과업

본 연구는 45개의 쌍(dyad)으로 구성된 90명의 네덜란드어 화자를 대상으로 한 CABB 데이터셋(Akamine et al., 2025a,b)의 비디오 매개 확장 버전을 활용한다. 과업은 "디렉터(Director)"가 16개의 새로운 시각적 객체(Fribbles) 중 하나를 설명하면, "매처(Matcher)"가 대상 물체를 식별해야 하는 참조 커뮤니케이션 게임이다.

• 조건: 쌍들은 세 가지 가시성 조건(Audio-Only(AO), Asymmetric Video(ASYM), Symmetric Video(SYM)) 하에서 상호작용하였다.
• 데이터: 데이터셋은 고품질 오디오, 시간 정렬된 구어 전사(네덜란드어/영어), 다각도 비디오, 모션 트래킹 데이터를 포함한다.
• 과업 공식화: 문제는 16개의 후보(및 "OTHER" 클래스)에 대한 참조체 분류 문제로 프레임화된다. 모델은 음성 전사, 골격 제스처 시퀀스, 또는 두 가지 모두를 사용하여 대상을 예측한다.

모델링 접근 방식

저자들은 단일 양식 및 다중 양식 아키텍처를 비교하는 파이프라인을 개발하였다:

1. 제스처 표현: 두 가지 골격 레이아웃을 비교하였다:
   • MediaPipe-3D: 51개의 키포인트(3D 좌표).
   • MMPose-2D: 얼굴을 포함한 69개의 키포인트(2D 좌표).
   • 인코더: 두 레이아웃 모두 해부학적 및 시간적 의존성을 포착하기 위해 **시공간 그래프 합성곱 네트워크(ST-GCN)**를 사용하여 처리되었다.
2. 음성 표현: 전사는 동결된(frozen) CLIP ViT-L/14 텍스트 프로젝션을 사용하여 인코딩되었다.
3. 참조체 표현: 16개의 Fribble 이미지는 클래스 프로토타입 역할을 수행하도록 동결된 CLIP 이미지 프로젝션을 사용하여 인코딩되었다.
4. 융합 메커니즘: 게이트 잔차 융합(gated residual fusion) 모듈은 제스처와 음성 표현을 통합한다. 이 융합은 음성에 앵커링(anchored)되어 있어, 모델이 음성 신호에 따라 제스처 정보를 선택적으로 게이팅할 수 있게 한다.
5. 훈련 전용 정렬: 새로운 구성 요소로 **포즈-이미지 정렬(Pose-to-Image, P→V)**이 포함된다. 훈련 과정에서 대조 학습(contrastive loss, InfoNCE)을 통해 학습된 제스처 표현을 타겟 객체의 동결된 CLIP 이미지 표현과 정렬한다. 이 정렬은 추론 시에는 폐기된다.
6. 베이스라인: 일반 목적의 시각-언어 모델(Qwen3-VL) 및 단일 양식 베이스라인과 비교한다.

평가 프로토콜

• 지표: Top-k 정확도($k \in \{1, 2, 3, 4, 5\}$), Macro-F1, 그리고 랭킹 품질을 측정하는 유틸리티 지표 $U_{1:5}$.
• 검증: 데이터 누수를 방지하기 위해 시행(trial) 단위로 그룹화된 5-겹 교차 검증(five-fold cross-validation)을 실시하였다. 대면(face-to-face) 데이터는 보조 훈련용으로만 사용되었다.
• 통계 분석: 모델 성능과 인간의 제스처 생성에 미치는 영향을 분석하기 위해 베이지안 이진 로지스틱 회귀(Bayesian binary logistic regression)가 사용되었다.

주요 결과

1. 진정한 참조 채널로서의 제스처

제스처 전용 모델은 유의미하게 높은 수준의 우연 확률(chance) 이상의 성능을 달려:

• Top-1 정확도: 약 19.5–20.4% (우연 확률: 5.9%).
• Top-5 정확도: 약 55.5–56.4%로, 절반 이상의 사례에서 정답 참조체를 후보 목록 내에 위치시켰다.
• 이는 도상적 제스처가 음성과 독립적으로 복구 가능한 참조 정보를 포함하고 있음을 확인시켜 준다.

2. 제스처의 선택적 상보성

음성 전용 모델이 강력한 성능(Top-1 46.5%)을 보였으나, 제스처를 추가했을 때 일관되지만 완만한 개선(~1.6–1.7 퍼센트 포인트)이 나타났다.

• 불확실성 기반 이득: 융합의 이점은 선택적이었다. 음성 예측의 신뢰도가 가장 낮은 사분위수(음성 정확도가 약 20%인 구간)에서 제스처를 추가했을 때 정확도가 7.5 퍼센트 포인트 상승했다. 높은 신뢰도를 가진 음성 구간에서는 이득이 미미했다.
• 이는 제스처가 주로 언어 신호가 모호하거나 불충분할 때 참조 해결을 돕는다는 것을 시사한다.

3. 포즈-이미지 정렬의 영향

훈련 전용 P→V 정렬은 다중 양식 성능을 더욱 향상시켰다:

• 가장 우수한 융합 모델의 경우 Top-1 정확도가 1.7 퍼센트 포인트 증가(48.1%에서 49.8%로)하였다.
• 결정적으로, 이 정렬은 제스처 단독 성능을 개선하지는 않았으며, 이는 이 정렬의 주된 역할이 제스처 자체의 변별력을 높이는 것이 아니라 제스처를 음성 표현 속으로 통합하는 것을 용이하게 하는 데 있음을 시사한다.

4. 파트너 가시성 및 동조(Entrainment)의 효과

• 가시성: 대화 상대자가 서로를 볼 수 있을 때(Symmetric/Asymmetric 비디오)가 오디오 전용일 때보다 제스처 생성 및 정보성이 유의미하게 높았다. 그러나 음성 및 융합 모델의 성능은 가시성 조건에 관계없이 안정적이었다.
• 동조(Entrainment): 6회의 상호작용 과정 동안 음성 정확도는 유의미하게 향상되었는데(40.3%에서 60.4%로), 이는 어휘적 동조(참조 표현의 관습화)를 반영한다. 반면, 제스처 전용 정확도는 평탄하게 유지되었으며, 독립적인 제스처 동조 효과는 관찰되지 않았다.

의의 및 기여

본 논문은 기술적 모델링과 인간 상호작용 분석 모두에 기여한다:

1. 기술적 모델링: 제스처가 다중 양식 대화에서 복구 가능하고 상보적인 정보 채널임을 입증한다. 본 연구는 융합 이득이 음성의 불확실성이 높은 영역에 집중됨을 보여줌으로써, 단순한 총합적 성능 지표보다 더 미묘한 다중 양식 통합의 관점을 제시한다. 또한 **훈련 전용 의미론적 정렬(P→V)**의 도입은 추론 시의 입력을 변경하지 않고도 융합을 개선할 수 있는 방법을 제안한다.
2. 인간 상호작용 분석: 모델 성능을 인간 데이터와 연결함으로써 실용적 효과를 정량화한다. 파트너 가시성이 제스처 생성과 정보성에 영향을 미치는 반면, 반복적인 상호작용은 제스처가 아닌 언어적 동조를 유도한다는 점을 확인한다.
3. 방법론적 엄밀성: 일반적인 비전-언어 모델(Qwen3-VL이 보여준 바와 같이 특정 구조적 제약 없이는 제스처 프레임을 효과적으로 활용하지 못할 수 있음)의 복잡성과 분리하여, 제스처의 정보성을 직접 평가하기 위해 통제된 골격 표현을 사용하였다.

저자들은 제스처가 유익하기는 하지만, 그 효용은 언어적 모호성을 해결할 때 가장 두드러지며, 제스처의 생성은 상호작용의 시각적 맥락에 의해 크게 영향을 받는다고 결론짓는다.