🤖 AI

MuVAP: Multimodal Multiparty Voice Activity Projection for Turn-taking Prediction in the Wild

MuVAP는 화자 관련 역할 상대적 투영(Role-Relative Projection)을 도입하여 화자 모델링을 단순화하고 편집되지 않은 훈련 데이터를 제공하는 오디오-비주얼 대화 코퍼스(Audio-Visual Conversation Corpus)를 활용함으로써, 오직 단일 모노 오디오와 단일 카메라 뷰만을 사용하여 다자간 상호작용에서의 화자 인지적 차례 주고받기 예측을 가능하게 하는 인과적 멀티모달 프레임워크이다.

원저자: Haotian Qi, Gabriel Skantze

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haotian Qi, Gabriel Skantze

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 세 명의 친구와 저녁 식탁에 앉아 있다고 상상해 보세요. 당신은 단순히 단어를 듣는 것이 아닙니다. 얼굴을 살피고, 침묵의 순간을 기다리며, 누가 말을 하기 위해 몸을 앞으로 기울이는지를 관찰합니다. 그것은 모두가 말 없이도 정확히 언제 말하고 언제 들어야 하는지를 알고 있는 복잡한 춤과 같습니다.

이제, 로봇에게 그 저녁 식사 자리에 합류하는 법을 가르친다고 상상해 보세요. 그것이 바로 이 논문이 다루는 과제입니다.

문제점: 로봇은 "저녁 식탁" 대화에 서툴다

사람과 대화하도록 설계된 대부분의 로봇은 마치 귀가 하나뿐이고 눈이 없는 사람과 같습니다. 그들은 누가 말하고 있는지 알아내기 위해 마이크 어레이(원형으로 배치된 여러 개의 마이크)에 의존하거나, 모든 사람을 보기 위해 여러 개의 카메라를 필요로 합니다.

하지만 현실 세계에서 로봇은 보통 단 하나의 카메라와 하나의 마이크만을 가집니다. 세 사람이 서로 말을 가로채며 대화할 때, 표준적인 로봇은 혼란에 빠집니다. 누구인지 구별할 수 없으므로, 다음에 누가 말할지 예측할 수 없습니다. 이는 마치 플레이어들은 보이지 않고 소음만 들리는 상황에서, 공을 던지는 게임 중 누가 공을 잡을지 추측해야 하는 것과 같습니다.

해결책: MuVAP ("사회적 레이더")

저자들은 MuVAP(Multimodal Multiparty Voice Activity Projection)를 소개합니다. MuVAP를 듣기와 보기를 결합하여 대화의 흐름을 예측하는 "사회적 레이더"라고 생각하십시오.

작동 방식은 다음과 같습니다. 간단한 비유를 사용하겠습니다.

1. "누구"와 "언제"

"언제" (음성 활동): 인간이 대화의 리듬을 듣는 것처럼, MuVAP는 오디오를 듣고 누군가 말을 멈추거나 시작하려는 '시기'를 추측합니다.
"누구" (얼굴 추적): 이것이 마법 같은 부분입니다. MuVAP는 단일 카메라를 사용하여 얼굴을 추적합니다. 단순히 "얼굴"을 보는 것이 아니라, 특정 인물(예: 빨간 셔츠, 초록 셔츠, 노란 셔츠)을 고정하여 추적합니다. 그런 다음 마이크에서 나오는 소리를 그 특정 얼굴들과 연결합니다.
- 비유: 오케스트라의 지휘자를 상상해 보세요. 지휘자(MuVAP)는 음악(오디오)을 듣지만 동시에 연주자들(얼굴)을 관찰합니다. 만약 바이올리니스트(얼굴 A)가 연주를 멈추면, 지휘자는 소리가 다음에는 플루티스트(얼굴 B)로부터 나올 것임을 알 수 있습니다. 비록 그들이 모두 같은 방 안에 있더라도 말이죠.

2. "역할 상대적" 기법 (혼돈의 단순화)
3명, 4명 또는 5명의 그룹에서 다음에 누가 말할지 예측하는 것은 수학적으로 매우 복잡합니다. 그것은 마치 의자 뺏기 게임의 가능한 모든 경우의 수를 모델링하는 것과 같습니다.

기존 방식: 모든 사람을 다른 모든 사람과 일일이 대조하며 모델링합니다. 이는 너무 빨리 복잡해집니다.
MuVAP의 방식 (역할 상대적 투영): 모든 사람을 개별적으로 추적하는 대신, MuVAP는 세상을 두 가지 역할로 단순화합니다: "발언권을 가진 사람"(현재 말하고 있는 사람)과 "발언권을 가져올 가능성이 높은 사람"(말을 하려는 사람)입니다.
- 비유: 붐비는 방 안에서, 다음에 누가 말할지 알기 위해 모든 사람의 이름을 추적할 필요는 없습니다. 단지 누가 현재 말하고 있는지, 그리고 누가 말을 가로챌 듯한 모습인지만 알면 됩니다. MuVAP는 나머지 군중은 무시하고 오직 이 "현재 vs 다음"의 역학 관계에만 집중합니다. 이를 통해 시스템은 다시 학습할 필요 없이 어떤 인원수의 그룹에서도 작동할 수 있습니다.

3. 새로운 "훈련장" (AVCC 데이터셋)
이 로봇을 가르치기 위해, 저자들은 기존 데이터가 결함이 있다는 것을 깨달았습니다.

기존 데이터의 문제점: 많은 영상 데이터셋은 편집된 영화와 같습니다. "점프 컷"(갑작스러운 편집)이 있어 자연스러운 휴지와 침묵을 제거해 버립니다. 만약 로봇을 편집된 영상으로 학습시킨다면, 로봇은 대화가 진공 상태에서 일어난다고 배울 것이며, 이는 실제와 다릅니다.
해결책 (AVCC): 저자들은 인터넷(Twitch 스트림이나 YouTube 브이로그 등)에서 사람들이 자연스럽게 대화하는, 편집되지 않은 31시간의 가공되지 않은 영상을 수집했습니다.
- 비유: 운전자를 완벽하게 편집된 트랙의 비디오 게임으로 가르치는 대신, 포트홀, 갑작스러운 정지, 예측 불가능한 운전자들이 있는 실제의 무질서한 교통 영상으로 가르친 것입니다. 이 방식은 로봇을 실제 세상에 대비하게 만듭니다.

무엇을 발견했는가?

그들은 MuVAP를 두 가지 주요 작업에 대해 테스트했습니다:

전환-유지 예측 (Shift-Hold Prediction): 로봇이 현재 화자가 멈출 것인지(Shift) 아니면 계속 말할 것인지(Hold)를 구별할 수 있는가?
다음 화자 예측 (Next Speaker Prediction): 로봇이 다음에 말할 구체적인 인물이 누구인지 맞출 수 있는가?

결과:

MuVAP는 표준적인 "멍청한" 베이스라인(가장 흔한 답을 선택하거나 무작위로 추측하는 방식)을 이겼습니다.
단 하나의 마이크와 하나의 카메라만으로도 잘 작동했습니다.
2명 및 3명의 그룹을 효과적으로 처리했습니다.
핵심 통찰: 시각 정보(얼굴을 보는 것)가 결정적이었습니다. 시각 정보가 없다면 목소리가 겹칠 때 로봇은 혼란에 빠집니다. 시각적 트래킹은 오디오 신호를 올바르게 분류할 수 있도록 닻(anchor) 역할을 수행했습니다.

요약

이 논문은 로봇이 표준적인 하드웨어(하나의 카메라, 하나의 마이크)만을 사용하여 혼란스러운 실제 환경에서 대화에 참여할 수 있게 하는 시스템을 제시합니다. 그룹 역학의 복잡한 수학을 "현재 vs 다음"에 대한 집중으로 단순화하고, 가공되지 않은 인간의 상호작용으로 학습함으로써, MuVAP는 이전 모델들보다 더 자연스럽게 순서 교대(turn-taking)를 예측할 수 있습니다.

저자들은 이제 이 기술을 컴퓨터 시뮬레이션에서 실제 물리적 로봇으로 옮겨, 인간과의 실시간 대화에서 어떻게 작동하는지 확인하는 것을 계획하고 있습니다.

기술 요약: MuVAP

문제 정의

현재의 다자간 턴테이킹(turn-taking) 모델은 실제 인간-로봇 상호작용(HRI) 시나리오에서 심각한 한계에 직면해 있다. 기존 방식은 화자를 분리하기 위해 복잡한 마이크 어레이, 멀티 카메라 설정 또는 멀ải 채널 오디오 입력을 사용하는 경우가 많으나, 이는 제약이 없는 환경에서는 비현실적이다. 또한, 기존의 음성 활동 투영(Voice Activity Projection, VAP) 모델은 이자(dyadic, 2인) 상호작용에는 효과적이지만, 다자간 설정으로 확장될 때 조합적 복잡성이 발생한다. 즉, 화자 수( $N$ )에 따라 레이블 공간이 기하급수적으로 증가하여 동적인 그룹 규모에 적합하지 않다. 아울러, 능동 화자 탐지(Active Speaker Detection, ASD)에 사용되는 기존 데이터셋들은 편집된 컷(점프 컷)을 포함하고 있어, 예측적 턴테이킹 모델 학습에 필요한 인과적 시간 흐름을 방해한다.

방법론

저자들은 단일 모노 오디오 스트림과 단일 카메라 뷰만을 사용하여 턴테이킹 역학을 예측하도록 설계된 인과적 프레임워크인 MuVAP(Multimodal Multiparty Voice Activity Projection)를 제안한다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있다:

역할 상대적 투영(Role-Relative Projection): 다자간 모델링의 확장성 문제를 해결하기 위해, 저자들은 임의의 $N$ -화자 상호작용을 고정된 "현재 vs. 다음" 발언권 보유자(floor-holder) 상태로 매핑하는 새로운 추상화 기법을 도입한다. 모든 가능한 화자 순열을 모델링하는 대신, 시스템은 역사적 활동량이 가장 높은 화자를 "현재 보유자(Current Holder)"로, 미래 활동량이 가장 높은 화자를 "다음 보유자(Next Holder)"로 식별한다. 이를 통해 가변적인 $N$ -화자 상태를 고정된 쌍(pairwise) 표현으로 압축하며, 레이블 공간을 8비트 벡터 기준 136개의 고유 상태로 줄여 지수적 증가를 관리 가능한 크기로 축소한다.
인과적 멀티모달 아키텍처:
- VAP 백본: 대조적 예측 코딩(Contrastive Predictive Coding, CPC) 인코더와 인과적 트랜스포머(Transformer)를 사용하여 원시 오디오로부터 운율적 및 언어적 단서를 추출한다.
- 인과적 ASD 백본: 여러 데이터셋에서 사전 학습된 수정된 TalkNet 아키텍처를 사용하여 화자 분리를 위한 견고한 시각적 임베딩을 생성한다. 이는 미래 프레임에 의존하지 않고 특정 얼굴 트랙에 음향 신호를 접지(grounding)시키기 위해 인과적 컨볼루션과 교차 주의(cross-attention)를 사용한다.
- 퓨전 모듈: 프레임 트랜스포머와 템포럴 트랜스포머를 통해 전역 오디오 임베딩( $Z_{VAP}$ )을 개별 화자 시각 임베딩( $Z_{ASD}$ )과 융합한다. 모델은 두 가지 출력을 생성한다: 전역 변화/유지 상태를 예측하는 **GlobalVAP (GVAP)**와 특정 화자의 활동을 예측하는 **SpeakerVAP (SVAP)**이다.
학습 전략: 모델은 다음과 같은 모듈형 학습 방식을 활용한다:
- Fisher Corpus (1960시간): 음향적 턴테이킹 신호(VAP) 학습용.
- MSDWild, WASD, AVA-AS (140시간 이상): ASD 모듈 사전 학습용.
- AVCC (31시간): 편집되지 않은 연속적인 다자간 시퀀스에서 시간적 역학 최적화용.

주요 기여

MuVAP 프레임워크: 단일 오디오 채널과 단일 카메라 뷰만으로 화자 인지적 턴테이킹 예측을 가능하게 하는 인과적 멀티모달 모델로, 마이크 어레이나 멀티 뷰 기하학의 필요성을 제거한다.
역할 상대적 투영: 그룹 역학을 "현재 vs. 다음" 상태로 추상화하여 다자간 복잡성을 처리하는 새로운 방법론을 제시하며, 이를 통해 재학습 없이도 임의의 그룹 규모에 일반화할 수 있게 한다.
오디오-비주얼 대화 코퍼스 (AVCC): 편집되지 않은 단일 카메라 다자간 대화의 31시간 분량의 새로운 데이터셋을 도입한다. 기존 데이터셋(예: MSDWild)과 달리, AVCC는 인과적 턴테이킹 모델링에 필수적인 상호 침묵, 중첩, 선행 턴 단서 등을 포함하여 자연스러운 대화 흐름을 보존한다.
계층적 예측: GVAP가 전역 턴 전환을 예측하는 "사회적 지휘자(social conductor)" 역할을 하고, 이것이 다시 특정 다음 화자를 식별하는 SVAP를 조건화하는 듀얼 태스크 접근법을 사용한다.

결과

평가는 AVCC 데이터셋을 바탕으로 두 가지 작업, 즉 이동-유지 예측(Shift-Hold Prediction, 턴이 이동할지 유지될지에 대한 이진 분류)과 다음 화자 예측(Next Speaker Prediction, NSP, 다음 화자 식으로는)에 대해 수행되었다.

이동-유지 예측: MuVAP는 단일 모달 VAP 모델 및 비융합 MLP 베이스라인을 포함한 강력한 베이스라인들을 능가했다. 2인 설정에서 MuVAP는 Silent 상태에서 0.696, Active 상태에서 0.641의 Macro-F1을 달성하였으며, 이는 단일 모달 VAP의 각각 0.672 및 0.622와 비교된다. 이 결과는 시각적 접지가 중첩된 음향 신호를 분리하는 데 크게 기여함을 보여준다.
다음 화자 예측: MuVP는 2인 설정(Silent)에서 0.637, 3인 설정(Silent)에서 0.477의 정확도를 기록하며 MLP 베이스라인보다 우수한 성능을 보였다. GVAP 출력과 이전 화자 식별 정보를 조건으로 사용할 때 성능이 더욱 향 향상되었다.
역할 상대적 검증: Fisher 코퍼스에 대한 실험 결과, 역할 상대적 투영(모노 오디오 사용)은 Macro-F1 0.778을 기록하여 스테레오 오디오를 사용한 화자 기반 투영(0.799)과 큰 차이가 없음을 보여주었으며, 이는 단일 채널 입력에 대한 해당 방식의 타당성을 입증한다.

의의 및 주장

본 논문은 MuVAP가 표준 범용 하드웨어(단일 마이크 및 카메라)만을 사용하여 실제 사회적 환경에 대응형 대화 에이전트를 배치하는 데 있어 중요한 진전임을 주장한다. 시각적 접지(ASD 트랙)가 공간 오디오 분리를 효과적으로 대체할 수 있음을 입증함으로써, 이 프레임워크는 HRI의 핵심 병목 구간을 해결한다. 저자들은 현재와 다음 발언자에게 집중하는 방식이 인간의 사회적 주의(social attention)를 모사하며, 이를 통해 결합 모델링의 조합적 폭발 문제를 우회한다고 강조한다.

AVCC 데이터셋의 도입은 인과적 턴테이킹 모델을 학습시키기 위한 최초의 대규모 미편집 리소스를 제공한다는 점에서 중요한 기여로 강조된다. 이는 시간적 연속성을 깨뜨리는 편집된 데이터셋의 한계를 극복한다. 저자들은 확장 가능한 상태 축소(역할 상대적 투영)와 시청각 접지를 결리하는 것이 강건한 다자간 상호작용 예측을 위한 유망한 경로라고 결론짓지만, 더 큰 그룹과 다양한 언어에 대한 확장성을 검증하기 위한 후속 연구가 필요함을 언급하였다.