기술 요약: CoMPAS3D

문제 정의

사회적으로 상호작용하는 휴머노이드 로봇의 개발에는 물리적 움직임을 통해 인간과 교감하고, 파트너의 의도, 능력 및 신호에 실시간으로 적응할 수 있는 시스템이 필요하다. 상호작용적 동작 생성(interactive motion generation) 연구가 발전해 왔음에도 불구하고, 현재의 평가 프레임워크는 이러한 상호작용의 의미론적(semantic) 품질을 평가하기에는 불충분하다. 기존의 지표들은 주로 운동학적 측정치(예: Fréchet Inception Distance, 비트 정렬)에 의존하여 물리적 사실성과 분포 유사성을 평가하지만, 생성된 동작이 공유된 움직임 어휘 내에서 명료한지(legible) 또는 상호작용 파트너의 숙련도에 **적절한지(appropriate)**를 판단하지는 못한다.

이러한 격차는 다음과 같은 이유로 발생한다:

1. 현재의 평가 프레임워크에는 의미론적 정렬 및 파트너 적응을 위한 지표가 부족하다.
2. 기존의 즉흥 상호작용 데이터셋은 세밀한 동작 주석(annotation)과 숙련도 수준의 다양성이 결여되어 있다.
3. 대부분의 가용 데이터셋은 스크립트 기반의 짧은 지속 시간 상호작용이나 전문가 전용 퍼포먼스에 집중되어 있어, 기술 수준에 적합한 생성을 테스트하는 데 필요한 다양성이 부족하다.

방법론

저자들은 CoMPAS3D(Complex Multi-Level Person-Interaction Annotated Salsa Dataset)와 그에 따른 3단계 평가 프레임워크를 소개한다.

CoMPAS3D 데이터셋

• 내용: 초급, 중급, 전문가의 세 가지 숙련도를 가진 18명의 무용수(9쌍)가 참여한 3시간 분량의 즉흥 살사 파트너 댄스.
• 데이터 캡처: Vicon 모션 캡처 시스템(20대의 카메라, 120 fps)을 사용하여 기록되었으며, 무용수당 53개의 마커를 사용하여 55개 관절의 SMPL-X 궤적을 생성함.
• 주석(Annotations): 30개의 동작 카테리아, 실행 오류(예: 박자 이탈, 잘못된 신호), 스타일적 요소를 포함하는 2,800개 이상의 전문가 주석 세그먼트(8비트 사이클). 주석은 15년 경력의 전문가가 수행하였고 두 번째 전문가에 의해 검증됨 (Cohen's Kappa = 0.752).
• 설계 철학: Switchboard 음성 코퍼스와 유사하게, CoMPAS3D는 여러 장르를 얕게 다루기보다 단일 움직임 어휘(살사) 내에서의 깊이를 우선시하여, 자연스러운 즉흥적 2인 상호작용 연구를 가능하게 한다.

벤치마크 과업

파트너 댄스와 대화(dialogue) 사이의 유사성을 바탕으로, 논문은 세 가지 과업을 정의한다:

1. 동작 분류(Move Classification): 수행된 특정 살사 동작을 식별함 (전사(transcription)와 유사).
2. 숙련도 추정(Proficiency Estimation): 춤을 추는 쌍의 기술 수준을 결정함 (유창성 평가와 유사).
3. 팔로워 생성(Follower Generation): 리더의 신호, 음악 및 목표 숙련도가 주어졌을 때 팔로워의 움직임을 예측함 (대화 응답 생성과 유사).

평가 프레임워크

프레임워크는 다음을 사용하여 생성된 팔로워 동작을 평가한다:

• 운동학적 지표(Kinematic Metrics): FID(운동학적/그래픽적), 다양성, 교차 거리 FID, 비트 에코 디그리(BED), 비트 정렬 점수(BAS)를 포함한 표준 지표.
• 객관적 의미론적 지표(Objective Semantic Metrics):
  • 동작 명료성(Move Legibility): 생성된 시퀀스의 동작을 분류하도록 미세 조정된 시각-언어 모델(VLM)의 F1-score로 측정.
  • 숙련도 적절성(Proficiency Appropriateness): 생성된 시퀀스의 숙련도 수준을 추정하도록 미세 조정된 VLM의 F1-score로 측정.
• 주관적 지표(Subjective Metrics): 타이밍, 음악성, 테크닉, 난이도, 파트너 협응력, 독창성이라는 6가지 실제 경연 차원에 걸친 인간 평가.

주요 기여

1. CoMPAS3D 데이터셋: 전문가의 동작 전사와 세 가지 숙련도 수준을 포함하는 최초의 공개된 즉흥 파트너 댄스 데이터셋.
2. 벤치마크 과업 및 모델: 동작 분류 및 숙련도 추정을 위해 세 가지 사전 학습 및 미세 조정된 시각-언어 모델(Qwen2.5-VL, LLaVA-NeXT-Video, InternVL3)을 벤치마킹함.
3. 새로운 평가 지표: 반응형 댄스 생성에 대한 객체적 지표로서 동작 명료성과 숙련도 적절성을 평가하며, 이는 운동학적 지표가 놓치는 실패를 드러냄.
4. 주관적 평가: 커뮤니티 기반 댄스 경연 기준을 활용한 인간 연구를 통해, 기존 댄스 생성 연구와 비교하여 세 가지 새로운 지표를 도입함.

실험 결과

프레임워크는 두 가지 최첨단 생성 방법인 Duolando(댄스 특화)와 InterGen(일반적인 인간-인간 상호작용)에 적용되었다.

• 벤치마크 모델 성능: 미세 조정된 VLM은 제로샷 베이스라인보다 유의미하게 높은 성능을 보였다. 이인(dyadic) 설정에서, Qwen2.5-VL은 동작 분류에서 69.87%의 정확도와 49.30%의 F1을 달성했고, 숙련도 추정에서는 84.63%의 정확도를 달성했다.
• 운동학적 평가: Duolando와 InterGen 모두 서로 유사한 운동학적 점수를 보였으며, FID와 다양성 지표는 적절한 물리적 사실성을 시사했다.
• 객관적 의미론적 평가: 두 생성 방법 모두 새로운 객관적 지표에서 실제값(ground truth)과 비교하여 상당한 실패를 보였다:
  • 동작 명료성: 실제값은 53.55의 Move F1을 달성한 반면, InterGen과 Duolando는 각각 7.69와 6.70을 기록했다.
  • 숙련도 적절성: 실제값은 51.64의 Proficiency F1을 달성한 반면, InterGen과 Duolando는 각각 37.12와 22.47을 기록했다.
• 주관적 평가: 인간 평가자들은 6가지 경연 차원 모두에서 실제값(ground truth)이 두 생성 방법보다 유의미하게 높다고 평가했다(p < 0.001). InterGen과 Duolando는 유사한 운동학적 성능과 일치하게 비슷한 점수를 받았다.

의의 및 주장

본 논문은 CoMPAS3D와 그 평가 프레임워크가 사회적으로 상호작용하는 체화된 AI(embodied AI)의 중요한 격차를 해결한다고 주장한다. 저자들은 물리적 사실성을 넘어, 현재의 생성 방법들이 운동학적 점수는 비슷할지라도 공유된 움직임 어휘 내에서 명료하지 않고(not legible) 파트너의 기술 수준에 적절하지 않은(inappropriate) 팔로워 동작을 생성한다는 것을 입증한다.

저자들은 CoMPAS3D를 초기 자연스러운 음성 데이터셋과 유사한 기초 자원으로 위치시키며, 이를 통해 반응적이고 맥락을 인식하는 물리적 상호작용 연구를 가능하게 한다. 저자들은 자신들의 객관적 지표(명료성 및 숙련도)가 음성 합성의 명료성을 평가하기 위해 ASR(자동 음성 인식)이 사용되는 것과 마찬가지로, 의미론적 품질을 측정하는 유의미한 척도로서 기능한다고 주장한다. 이 연구는 물리적 사실성은 이미 포화된 척도인 반면, 사회적으로 적절하고 의미론적으로 명확한 동작을 생성하는 능력은 여전히 중요한 미결 과제로 남아 있음을 강조한다.