기술 요약: WaveSync

문제 정의

물리적인 휴머노이드 로봇을 위한 표현력 있는 공수어(co-speech) 제스처를 생성하는 것은 가상 아바타와는 구별되는 독특한 과제를 안겨줍니다. 가상 아바타는 결과에 대한 우려 없이 빠르고 중첩된 동작을 실행할 수 있는 반면, 물리적 로봇은 엄격한 운동학적 및 동역학적 제약(예: 모터 속도 제한 및 구조적 무결성) 하에서 작동합니다. 기존 방식들은 다음과 같은 결합된 문제를 해결하지 못하는 경우가 많습니다:

• **규칙 기반 시스템(Rule-based systems)**은 유연성이 부족하며 실시간 운율(prosody)에 적응할 수 없습니다.
• **데이터 기반 모델(Data-driven models)**은 학습 데이터 내에 강조된 제스처가 부족한 경우가 많으며, 하드웨어 한계를 위반하는 궤적을 생성할 수 있습니다.
• **LLM 기반 플래너(LLM-based planners)**는 의미론적 근거를 제공하지만, 관절 구성을 환각(hallucination)하거나 지연 시간을 유발할 수 있습니다.
• 현재의 로봇용 동기화 방법은 주로 단순한 지속 시간 매칭(오디오나 키프레임을 늘리는 방식)에 의존하며, 이는 하위 발화 구조(sub-utterance structure)를 무시합니다. 이는 음성 스트레스 정점(stress peaks)과 제스처 스트로크 최대치(stroke maxima) 사이의 불일치를 초래하여 상호작용의 인지된 자연스러움을 약화시킵니다.

방법론: WaveSync 프레임워크

WaveSync는 제스처 스트로크를 언어적 강조와 동기화하는 동시에 로봇의 운동학적 제약을 엄격히 준수하도록 설계된 하이브리드 프레임워크입니다. 이 파이프라인은 세 가지 순차적 단계로 구성됩니다:

1. LLM 기반 의미론적 스크립팅 및 SIW 합성

시스템은 가공되지 않은 대화 텍스트를 **의미 중요도 파형(Semantic Importance Wave, SIW)**이라 불리는 연속적인 에너지 신호로 변환합니다.

• 의미론적 분해(Semantic Decomposition): 거대 언어 모델(LLM)이 대화 응답을 처리하여 이를 운율적 세그먼트로 분해합니다. 각 단어에 대해 LLM은 의미 중요도 가중치($\alpha \in [0, 1]$)를 할당하며, 1에 가까운 값은 강조된 핵심어를, 0에 가까운 값은 필러(fillers)를 나타냅니다.
• 시간적 정렬(Temporal Alignment): 이러한 단어 단위 가중치는 Whisper 기반의 강제 정렬(forced-alignment) 파이프라인의 타임스탬프와 결합되어 각 제스처 정점의 목표 시간($t_c$)을 결정합니다.
• 파형 구축(Wave Construction): 이산적인 단어-가중치 쌍은 가우시안 커널(Gaussian kernels)을 중첩함으로써 연속적인 신호 $s(t)$로 변환됩니다. 이 파형은 시간에 따른 의사소통 에너지를 인코딩하는 최적화 대상 역할을 합니다.

2. 포물선 프리미티브 및 DMP를 통한 운동학적 동작 모델링

모션 라이브러리에서 검색된 제스처는 운동학적 타당성과 표현력을 보장하도록 조정됩니다.

• 포물선 모델링(Parabolic Modeling): 제스처 스트로크는 준비(preparation), 스트로크(stroke), 회수(retraction) 단계를 나타내기 위해 역포물선($P_j(t)$)으로 모델링됩니다. 이 수학적 형태는 SIW 정점과 직접적으로 정렬될 수 있게 합니다.
• 동적 움직임 프리미티브(Dynamic Movement Primitives, DMPs): 선택된 제스처는 DMPs로 인코딩됩니다. 이를 통해 다음이 가능합니다:
  • 공간적 스케일링(Spatial Scaling): 목표 위치는 의미적 중요도와 감정 상태(예: 흥분은 더 넓고 빠른 동작을 유도함)에 따라 스케일링됩니다.
  • 스타일 변형(Stylistic Variation): 반복적이고 템플릿 같은 동작을 방지하기 위해 강제 함수(forcing function)에 확률적 노이즈가 주입됩니다.
  • 시간적 적응(Temporal Adaptation): 시간 스케일링 파라미터($\tau$)가 주요 변수로 사용되어, 기저의 운동학적 특징을 변경하지 않고 제스처 지속 시간($D(\tau)$)을 늘리거나 압축합니다.

3. 웨이브프런트 최적화(Wavefront Optimization)

이 단계는 장기 지속 제스처가 밀집된 의미적 정점에 할당될 때 발생하는 시간적 충돌을 해결하여, 하드웨어 제한을 위반하지 않으면서 동기화를 보장합니다. 이는 3단계 계층적 정책을 채택합니다:

• 정점 정렬(Peak Alignment): 시스템은 제스처 펄스와 SIW 사이의 중첩 적분(overlap integral)을 최대화하여 스트로크 정점을 음성 강조와 일치시킵니다.
• 실행 조정(Execution Adjustment): 중첩이 발생할 경우 후속 제스처의 지속 시간이 압축됩니다. 하드웨어 손상을 방지하기 위해 엄격한 하한선($D \geq \frac{2}{3}D_0$)이 적용됩니다.
• 전방 전파(Forward Propagation): 압축만으로 충돌을 해결할 수 없는 경우(즉, "교차 규칙"이 위반된 경우), 시스템은 모든 후속 제스처를 시간상 앞으로 이동시킵니다. 누적된 시간 오프셋은 TTS 파이프라인에 자연스러운 세그먼트 간 휴지(inter-segment pauses)로 주입됩니다. 이는 음성 운율을 유지하면서 로봇에게 운동학적으로 유효한 스트로크를 수행할 충분한 시간을 제공합니다. 모션 보간(interpolation)은 잘려진 제스처 경계에서의 부드러한 전환을 보장합니다.

주요 기여

1. 하이브리드 아키텍처: LLM의 드라이븐 의미적 의도를 DMPs를 통해 로봇 동작으로 변환하는 새로운 파이프라인을 제공하며, LLM으로부터 원시 관절 각도를 직접 생성할 때의 위험을 효과적으로 회피합니다.
2. 웨이브프런트 최적화: 음성 스트레스와 제스처 스트로크 사이의 정밀한 단어 단위 피크-투-피크(peak-to-peak) 정렬을 달성하는 동시에 실시간 운동학적 및 동역학적 제약을 엄격히 만족하는 동기화 모듈을 구현합니다.
3. 하드웨어 안전 스케줄링: 모션을 왜곡하거나 하드웨어 손상을 입히는 대신, 지속 시간 압축과 자연스러운 휴지를 통해 모션 충돌을 해결하는 메커니즘을 도입했습니다.

실험 결과

시스템은 5가지 대화 시나리오(인사, 일상, 설명, 경고, 생각 중)에 걸쳐 휴머노이드 상체 모델을 사용하여 고충실도 PyBullet 시뮬레이션에서 평가되었습니다.

• 객관적 평가:
  • 동기화 정확도: WaveSync는 평균 인간 기반 동기화(Human-based Sync, HbS) 점수 0.307을 달 기록하였으며, 정렬 오차를 일반적으로 1초의 지각 허용 임계값 미만으로 유지했습니다. 시나리오 S3(설명)가 가장 좋은 결과(HbS = 0.534)를 보였으며, S2(일상)는 모호한 제스처 정점으로 인해 낮은 충실도를 보였습니다.
  • 궤적 유동성(Trajectory Fluidity): WaveSync는 일관되게 낮은 관절 저크(jerk) 크기를 유지했습니다. 반면, DMPs가 없는 베이스라인은 140 m/s³를 초과하는 빈번한 스파이크를 보였으며, 이는 궤적 형성이 없는 키프레임 보간이 급격하고 안전하지 않은 동작을 생성함을 확인시켜 줍니다.
• 주관적 평가:
  • 20명의 참가자를 대상으로 모션 부드러움, 시간적 동기화, 의미적 적절성, 전반적 자연스러움을 평가하는 사용자 조사를 실시했습니다.
  • WaveSync는 세 가지 절제된 베이스라인(SIW 미사용, DMP 미사용, Wavefront 미사용)보다 일관되게 우수한 성능을 보였습니다.
  • 가장 큰 성능 차이는 시간적 동기화와 전반적 자연스러움에서 관찰되었습니다. 연구는 의미적 가중치, DMP 형성, 또는 웨이브프런트 스케줄링 중 어느 하나라도 제거하면 사용자 경험이 크게 저하된다는 것을 확인했습니다.

의의 및 주장

본 논문은 WaveSync가 표현력 있는 제스처 생성과 물리적 휴머노이드 로봇의 한계 사이의 간극을 성공적으로 해결했다고 주장합니다. 의미적 중요성을 운동학적 제약과 통합함으로써, 시스템은 표현력이 있고 의미론적 근거가 명확하며 운동학적으로 준수하는 제스처를 생성합니다.

저자들은 현재 시스템이 고정된 액션 라이브러리에 의존하고 있어 제약 없는 대화에 대한 커버리지가 제한적이라는 점을 언급했습니다. 따라서 향 far-reaching한 미래 작업으로 자동 제스처 합성을 통한 이 한계를 해결하는 것을 제시하며, WaveSync를 실제 로봇 하드웨어에서 테스트하는 것이 다음 핵심 단계임을 강조합니다. 본 연구는 자연스럽고 동기화된 비언어적 의사소통을 갖춘 사회적 로봇 애플리케이션을 배포하기 위한 기초적인 단계로 제시됩니다.