Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders

기술 요약: 사회적 로봇의 차례 넘기기(Turn-Taking)를 위한 다중 모달 음성 활동 투영(Multimodal Voice Activity Projection)

문제 정의
효과적인 인간-로봇 상호작용(HRI), 특히 로봇이 인간 간의 대화를 촉진하는 사회적 중재 역할을 수행할 때는 정확한 차례 넘기기 예측이 필수적이다. 기존 시스템은 주로 침묵 지속 시간(예: 약 700ms 후의 End-of-Turn 감지)에 기반한 반응적이고 휴리스틱한 규칙에 의존한다. 이러한 방식은 화자가 전환 관련 지점(Transition-Relevant Places, TRPs)을 예상하고 최소한의 지연(Floor Transfer Offset)으로 응답을 조율하는 인간 대화의 예측적 특성을 포착하지 못한다. 또한, 기존의 구어 대화 시스템(Spoken Dialogue Systems, SDS)은 다중 모달 인지 능력이 부족하여 배경 음성에 반응하거나 활성 화자를 오인하는 등의 오류가 빈번히 발생한다. 음성 활동(Voice Activity, VA)을 예측하기 위한 견고한 프레임워크로서 음성 활동 투영(Voice Activity Projection, VAP)이 등장했으나, 대부분의 구현체는 오디오 전용이거나 대화 역동성과 결합된 작업 특화형 정렬(task-specific alignment)이 결여된 일반적인 다중 모달 인코더에 의존하고 있다.

방법론
저자들은 기존의 오디오 전용 VAP 공식을 동기화된 시각-청각 입력으로 확장한 다중 모달 음성 활동 투영(Multimodal Voice Activity Projection, MM-VAP) 프레임워크를 제안한다. 핵심 목표는 두 화자의 관계적 역동성을 모델링함으로써 미래의 $\Delta t$ 시간 범위 동안의 음성 활동(VA)을 투영하는 것이다.

• 아키텍처: 모델은 전처리, 백본 인코딩, 화자 간 어텐션, 예측 헤드, 후처리 등 5단계의 트랜스포머 기반 아키텍처를 활용한다.
  • 백본(Backbones): 일반적인 인코더 대신, 시스템은 음성 관련 작업에 최적화된 사전 학습된 시각-청각 백본인 TalkNet(활성 화자 감지용)과 WhisperFlamingo(시각-청각 음성 인식용)를 사용한다. 이 백본들은 음성 활동과 본질적으로 정렬되어 있으며 시각-청각적 시간적 협응을 보존하는 잠재 표현을 제공한다.
  • 적응(LoRA): 대규모 사전 학습 모델을 전체 미세 조정(full fine-tuning) 없이 차례 넘기기 작업에 효율적으로 적응시키기 위해, 저자들은 **저차원 적응(Low-Rank Adaptation, LoRA)**을 채택한다. 이 전략은 원래의 가중치($W^0$)를 고정하고 가중치 업데이트($\Delta W$)를 근사하는 학습 가능한 저차원 행렬($A$와 $B$)을 도입하여, 계산 효율성을 유지하면서도 모델이 전문화될 수 있도록 한다.
  • 화자 간 어텐션(Inter-Speaker Attention): 각 화자의 시각-청각 스트림을 독립적으로 인코딩한 후, 교차 어텐션 메커니즘은 화자 간의 상호작용을 모델링하여 한 화자의 현재 다중 모달 상태를 바탕으로 다른 화자의 미래 상태 예측을 조건화한다.
• 출력 및 추론: 모델은 4개의 시간적 빈(bin)으로 나뉜 2초의 미래 윈도우를 투영하며, 결과적으로 화자당 공동 256-상태 공간($2^{2 \times 4}$)을 생성한다. 차례 넘기기 이벤트(Shift, Hold, Backchannel 등)는 특정 마이크로 상태(microstate)의 확률을 집계하여 제로샷(zero-shot) 방식으로 추론되므로, 학습 과정에서 수동적인 차례 넘기기 주석(annotation)이 필요하지 않다.
• 손실 함수: 불균형한 대화 상태를 해결하고 의미적 일관성을 보장하기 위해, 표준 교차 엔트로피 손실에 의미적 일관성 손실($L_{sem}$)을 추가하였다. 이 항은 모델이 동일한 의미적 대화 상태(예: "화자 1 활성")를 공유하는 모든 마이크로 상태에 확률 질량을 할당하도록 유도하여, 학습 안정성과 이벤트 추론과의 정렬을 개선한다.

주요 기여

1. MM-VAP 아키텍처: 음성 활동 관련 사전 학습된 백본을 통합하여, 향상된 음성 활동 투영을 위해 고유의 표현 및 융합 능력을 보존하는 시각-청각 프레임워크를 구축하였다.
2. 매개변수 효율적 적응: LoRA를 적용하여 대규모 음성 활동 중심의 다중 모달 인코더를 차례 넘기기 작업에 특화시킴으로써, 전체 미세 조정의 계산 비용을 회피하였다.
3. 중재 지향적 평가: MM-VAP를 로봇 공학 문맥, 특히 Haru 사회적 중재 설정에서 예측적 차례 넘기기를 위해 적용한 첫 사례이다.
4. 의미적 정규화: 상위 수준의 대화 패턴에 따라 256-상태 출력 공간을 정규화하기 위해 의미적 일관성 손실을 도입하였다.

결과
실험은 NoXi 및 NoXi+J 코퍼스(다국어 쌍방향 상호작용)와 Haru EDR 코퍼스(중재자 지향적 상호작용)를 대상으로 수행되었다.

• 성능: 제안된 MM-VAP 모델(LoRA를 적용한 TalkNet 및 WhisperFlamingo)은 여러 언어(영어, 독일어, 프랑스어, 일본어, 중국어)에 걸쳐 비사전 학습 베이스라인(CPC + 3DResNet) 및 기존의 최첨단 방법들을 일관되게 능가하였다.
• 특정 지표: 제안 모델은 Shift 예측(S-pred) 및 Shift/Hold(S/H) 이벤트에서 유의미한 개선을 보였다. 예를 들어, NoXi+J 데이터셋에서 WhisperFlamingo는 영어와 독일어에 대해 0.97의 S-pred F1-score를 기록했으며, TalkNet은 독일어에 대해 0.94를 달 기록하였다.
• 다국어 강건성: 이 접근 방식은 언어 간 일반화 능력이 뛰어남을 입증하였으며, 공동 다국어 학습을 통해 언어별 구현과 대등한 경쟁력을 갖춘 결과를 보여주었다.
• 로봇 검증: Haru EDR 데이터셋에서 모델은 높은 정확도(예: WhisperFlamingo의 경우 Hold 및 Shift 이벤트에서 0.92)를 달성하여, 중재 시나리오에서 대화 흐름을 관리하기 위한 이 접근 방식의 적합성을 검증하였다.

의의 및 주장
본 논문은 음성 활동 관련 특화된 사전 학습 인코더와 LoRA 적응의 결 조합이 일반적인 인코더나 수작업 특징(hand-crafted features)을 사용하는 것보다 더 효과적인 다중 모달 VAP 프레임워크를 제공한다고 주장한다. 저자들은 이 방식이 차례 넘기에 필요한 예측적 역동성을 성공적으로 전이하며, 특히 로봇이 단순히 침묵에 반응하는 것이 아니라 바닥 권한(floor)의 변화를 예측해야 하는 중재 지향적 HRI에서 큰 이점을 제공한다고 단언한다. 본 연구는 오프라인 평가에 국한되어 있으며 대규모 인코더를 사용한 실시간 배포의 계산적 과제를 인정하고 있으나, 결과는 이 방향이 사회적 로봇의 인간 간 의사소통 환경에서 유동적이고 예측적인 행동을 개선하는 데 강력한 잠재력을 가지고 있음을 시사한다. 본 연구는 MM-VAP를 사회적 로보틱스에서 유동적이고 예측적이며 다중 모달적인 차례 넘기기 관리를 위한 유망한 단계로 자리매김한다.