MRBench: A Comprehensive Benchmark for Human Motion-Text Retrieval

기술 요약: MRBench

문제 정의

현재의 인간 동작-텍스트 검색 벤치마크, 주로 HumanML3D와 KIT-ML은 교차 모달 정렬(cross-modal alignment)을 신뢰성 있게 평가하는 데 방해가 되는 결정적인 한계점을 가지고 있습니다. 이 데이터셋들은 균질한 실내 모션 캡처(MoCap) 시나리오에 치중되어 있어, 좁고 불균형한 동작 분포(예: "걷기"가 샘플의 상당 부분을 차지함)를 나타냅니다. 또한, 이러한 벤치마크의 텍스트 설명은 종종 지나치게 단순화되어 있고 반복적이며, 의미론적 변별력이 부족합니다. 단일 텍스트 프롬프트가 수백 개의 서로 다른 동작 인스턴스에 매핑되는 경우가 빈번하여, 표준 검색 지표(예: Recall@K)가 유효한 동작을 검색하는 것과 의미적으로 중복되지만 똑같이 유효한 동작을 검색하는 것을 구분하지 못하는 "텍스트 충돌(text collisions)" 현상이 발생합니다. 결과적으로, 기존 벤치마크는 교차 도메인 일반화 능력이나 다양한 수준의 텍스트 세밀도(간결한 요약부터 미세한 묘사까지)에 대한 모델의 민감도를 효과적으로 평가할 수 없습니다.

방법론

1. MRBench 구축

저자들은 ViMoGen-228K 코퍼스를 기반으로 엄격한 다단계 데이터 큐레이션 파이프라인을 통해 구축된 포괄적인 벤치마크인 MRBench를 소개합니다. 이 파이프라인은 네 단계로 구성됩니다:

• 텍스트 가이드 후보 필터링: 규칙 기반 필터링을 통해 일반적이고 반복적인 표현을 제거합니다. 대규모 언어 모델(LLM)은 남은 캡션들에 대해 의미론적 변별력과 압축성을 점수화하며, 동작 정렬을 방해하는 비운동학적 세부 사항(예: 과도한 장면 또는 객체 설명)을 필터링합니다.
• 분류 체계 가이드 균형 샘플링: 후보군을 계층적 분류 체계(7개의 상위, 33개의 중위, 118개의 세밀한 카테고리)로 조직합니다. 층화 샘플링(Stratified sampling)은 카테고리 전반에 걸쳐 균형 잡힌 커버리지를 보장하며, 의미론적 중복 제거(semantic deduplication)는 균일성을 조절합니다.
• 의미론적 정렬 및 모호성 해소: 고급 시각-언어 모델(예: Gemini-3-pro-preview)을 사용하는 구조적 의미 정렬 평가(SSAE)를 통해, 텍스트에 기술된 주요 동작이 해당 비디오 프레임에서 관찰 가능한지 검증합니다. 이 단계는 모호함이 없는 동작-텍스트 쌍을 보장합니다. 과소 대표된 카테고리는 LLM 생성 스크립트에 기반한 합성 동작(HY-Motion)을 사용하여 보충됩니다.
• 다중 입도(Multi-granular) 텍스트 확장: 시각적으로 근거한 재작성(visually grounded rewriting)을 사용하여, 각 동작에는 세 가지 수준의 텍스트 입도인 Concise(압축된 의미), Standard(균형 잡힌 설명), Fine-grained(상세한 신체 부위 및 시간적 역동성)가 주석으로 달립니다. 이들은 관찰된 동작과의 일관성을 보장하기 위해 수동으로 검증됩니다.

데이터셋 통계: MRBench는 **118개의 세밀한 카테 카테고리를 아우르는 3,390개의 동작 시퀀스를 포함합니다. 데이터 소스는 이질적입니다: MoCap 43.8%, 인더와일(in-the-wild) 비디오 26.5%, 합성 비디오 22.7%, 생성된 동작 7.0%. 이는 총 10,170개의 캡션을 생성합니다.

2. 입도 인식 검색 모델 (Granularity-Aware Retrieval Model)

쿼리 입도에 대한 검색 모델의 민감도를 해결하기 위해, 저자들은 경량화된 입도 인식 모델을 제안합니다:

• 앵커 기반(Anchored Base): 먼저 표준 캡션 쌍으로 학습된 듀얼 인코더(글로벌 프로젝션 헤드를 가진 동작 및 텍스트 인코더)를 사용하여 글로벌 정렬 앵커 역할을 하도록 학습시킨 후 이를 고정(freeze)합니다.
• 입도 특화 모듈: 비표준 입도(Concise 및 Fine-grained)를 위해 경량 모듈이 도입됩니다:
  • 동작 추출기(Motion Extractors): 학습 가능한 쿼리 벡터가 동작 토큰에 대해 어텐션 풀링(attention pooling)을 수행하여 입도 특화 표현을 추출합니다.
  • 텍스트 어댑터(Text Adapters): 입도 특화 프로젝션 어댑터가 텍스트 임베딩을 공유 검색 공간으로 매핑합니다.
• 의사 지도 학습(Pseudo-Supervision): 특정 모듈의 학습을 위한 의사 레이블(pseudo-labels)로 사용하기 위해, LLM(Qwen2.5-7B-Instruct)으로 재작성된 간결하고 세밀한 캡션들로 학습 세트를 확장합니다.
• 추론 전략: 추론 시에는 텍스트 입도가 활성화된 브랜치를 결정합니다. 비표준 쿼리의 경우, 입도 인식 점수 융합(granularity-aware score fusion) 메커니즘이 글로벌 유사도 점수와 적응된 유사도 점수를 통합합니다. 이 융합은 추론 시점에 쌍이 맞는 표준 캡션이 필요하지 않도록, 서로 다른 설명 수준 간의 점수 비교 가능성을 유지합니다.

주요 기여

1. MRBench 벤치마크: 포괄적인 인간 동작-텍스트 검색을 위해 특별히 설계된 최초의 대규모 다중 소스 벤치마크입니다. 이는 이질적인 동작 분포를 특징으로 하며, 교차 입도 평가(Concise, Standard, Fine-grained)를 기본적으로 지원합니다.
2. 데이터 큐레이션 파이프라인: 규칙 기반 필터링, 분류 체계 가이드 균형 샘플링, 교차 모달 의미 평가, 그리고 인간의 검증을 거친 다중 입도 재작성을 결리한 다단계 파이프라인을 통해 고품질의 모호함 없는 정렬을 보장합니다.
3. 입도 인식 모델: 표준 캡션에 정렬된 듀얼 인코더를 고정한 상태에서, LLM으로 재작성된 캡션을 사용하여 입도 특화 추출기와 어댑터를 감독하는 검색 아키텍처입니다. 이 설계는 표준 캡션 성능을 유지하면서 비표준 쿼리에 대한 성능을 향상시킵니다.

실험 결과

MRBench에 대한 광범한 평가는 기존 방법들의 상당한 격차를 드러냅니다:

• 일반화 격차(Generalization Gap): 균질한 데이터셋(예: HumanML3D)에서 학습된 모델은 MRBench에서 평가될 때 상당한 성능 저하를 보이며, 이는 도메인 내 성공이 다양한 동작 소스에 대한 강건성을 보장하지 않음을 나타냅ates.
• 입도 민감도: 현재의 베이스라인들(TEMOS, TMR, MoPatch, SGAR)은 쿼리 입도에 뚜렷한 민감도를 보이며, 표준 쿼리에 비해 간결하거나 세밀한 쿼리에서 성능이 크게 저하됩니다.
• 모델 성능: MoPatch 앵커를 기반으로 구축된 제안된 입도 인식 모델은 표준 캡션 성능을 해치지 않으면서도 세밀한 쿼리와 혼합 입도 쿼리(텍스트-동작 및 동작-텍스트)에 대한 검색 성능을 성공적으로 개선합니다.
• 교차 데이터셋 전이: MRBench-Train 코퍼스(40,168개 쌍)로 학습된 모델이 가장 강력한 전체 성능을 달야냈으며, 이는 더 넓은 동작 커버리지와 검색 지향적 주석이 순수한 데이터 규모보다 견고한 정렬에 더 유익함을 시사합니다.

의의

본 논문은 MRBench가 동작-언어 정렬 평가를 발전시키기 위한 필수적이고 포괄적인 테스트베드를 제공한다고 주장합니다. 현재의 벤치마크가 가진 한계점, 구체적으로 이질적인 동작 소스와 다중 입도 텍스트를 처리할 수 없는 능력을 노출함으로써, 저자들은 이 분야의 신뢰할 수 있는 진보를 위해서는 다양하고 균형 잡히며 변별력 있는 평가 프로토콜로의 전환이 필요하다고 강조합니다. 제안된 입도 인식 모델은 비표준 설명에 대한 강건성을 확보하면서도 확립된 정렬 능력을 희생하지 않을 수 있음을 입증하며, 좁은 데이터셋과 고정된 캡션 스타일을 넘어 일반화될 수 있는 동작-언어 시스템 개발을 위한 실질적인 토대를 제공합니다.