MoCHA: Denoising Caption Supervision for Motion-Text Retrieval

1. 문제 정의 (Problem Definition)

기존의 모션 - 텍스트 검색 (Motion-Text Retrieval) 시스템은 대조 학습 (Contrastive Learning) 을 통해 모션과 캡션의 공유 임베딩 공간을 학습합니다. 그러나 이 접근법에는 근본적인 한계가 존재합니다.

• 확정적 라벨의 부재: 하나의 모션에 대한 캡션은 고정된 정답 (Deterministic Label) 이 아니라, 유효한 설명들의 분포에서 샘플링된 결과입니다.
• 노이즈 구조: 동일한 모션에 대해 다른 annotator 들은 서로 다른 텍스트를 생성합니다. 이 텍스트는 모션에서 복원 가능한 의미 (행동 유형, 신체 부위, 방향성 등, $s$) 와 annotator 고유의 스타일, 추론된 맥락, 감정적 표현 등 모션 좌표와 무관한 요소 ($a$, nuisance factors) 가 혼합되어 있습니다.
• 학습의 비효율성: 기존 대조 학습은 각 캡션을 단일 정답으로 간주하여 훈련합니다. 이로 인해 동일한 모션에 대한 임베딩 분산 (Variance) 이 커지고, 정렬 (Alignment) 신호가 약화됩니다.
• 크로스 - 데이터셋 전이 실패: HumanML3D(구체적이고 서술적) 와 KIT-ML(간결하고 템플릿 기반) 과 같이 서로 다른 주석 스타일을 가진 데이터셋 간 전이 학습이 어려운 이유는 모션 자체의 차이 때문이 아니라, 데이터셋별 주석 노이즈 분포 ($p(a)$) 에 과적합되었기 때문입니다.

2. 방법론 (Methodology)

저자들은 **MoCHA (Motion Canonicalization for Human Action retrieval)**를 제안합니다. 이는 모션 - 텍스트 검색을 위한 지도 학습 노이즈 제거 (Supervision Denoising) 프레임워크입니다.

2.1 텍스트 정규화 (Text Canonicalization)

캡션을 모션 복원 가능 콘텐츠 ($s$) 로 투영하여 annotator 고유의 노이즈 ($a$) 를 제거하는 연산자 $C(t)$를 정의합니다.

• 개념: "사람이 누군가를 만나기 위해 긴장하며 앞으로 걷는다"와 같은 문장에서 "누군가를 만나기 위해", "긴장하며"와 같은 추론된 맥락이나 스타일적 요소를 제거하고, "앞으로 걷기"와 같은 핵심 모션 의미만 남깁니다.
• 구현:
  1. LLM 기반: GPT-5.2 를 사용하여 캡션에서 모션 관련 의미만 추출하도록 프롬프트를 설계합니다.
  2. 증류 (Distillation): 추론 시 LLM 의존성을 없애기 위해, LLM 이 생성한 (원본, 정규화본) 쌍으로 FlanT5-base 모델을 학습시켜 경량화합니다.

2.2 블렌드 학습 (Blend Training)

정규화된 캡션과 원본 캡션을 모두 활용하는 이중 통과 (Dual-pass) 대조 학습 전략입니다.

• 목적: 정규화된 캡션은 낮은 분산의 강력한 정렬 신호를 제공하고, 원본 캡션은 자연어 다양성을 유지하여 과적합을 방지합니다.
• 손실 함수:
  $$\mathcal{L}_{\text{mix}} = \lambda \mathcal{L}_{\text{InfoNCE}}(\{(m_i, C(t_i))\}) + (1-\lambda) \mathcal{L}_{\text{InfoNCE}}(\{(m_i, t_i)\})$$
  여기서 첫 번째 항은 모션 의미 ($s$) 중심의 정렬을, 두 번째 항은 자연어 쿼리 적응성을 담당합니다.

3. 주요 기여 (Key Contributions)

1. 텍스트 정규화 연산자 정의: 캡션을 모션 복원 가능 콘텐츠로 투영하여 annotator 고유의 노이즈를 제거하는 일반적 원리를 제시했습니다. 규칙 기반 방법만으로도 전이 성능이 향상됨을 증명했습니다.
2. MoCHA 프레임워크 및 SOTA 달성: LLM 기반 및 LLM-free(FlanT5) 변형을 도입하여 HumanML3D 와 KIT-ML 에서 새로운 State-of-the-Art(SOTA) 를 달성했습니다.
3. 노이즈 제거 vs 증강의 비교: 기존 연구에서 사용되던 문장 병렬화 (Paraphrase Augmentation) 는 분산을 넓혀 성능을 저하시킬 수 있음을 보였고, MoCHA 는 분산을 줄여 모든 순위 (R@1, R@5 등) 에서 일관된 개선을 이루었습니다.
4. 임베딩 공간 분석: 정규화를 통해 동일 모션에 대한 텍스트 임베딩 분산이 11~19% 감소하고, 양자 간 정렬이 강화되며 음수 (Negative) 와의 분리도가 개선됨을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

모션 패치 (MoPa) 아키텍처를 기반으로 실험되었으며, 주요 결과는 다음과 같습니다.

• In-Distribution 성능 (HumanML3D & KIT-ML):
  • HumanML3D: LLM 변형은 T2M R@1 에서 13.91% (기존 MoPa 대비 +3.1pp), T5 변형은 13.30% (+2.5pp) 달성.
  • KIT-ML: LLM 변형은 24.30% (기존 MoPa 대비 +10.3pp), T5 변형은 22.14% (+8.1pp) 달성. KIT-ML 에서 더 큰 향상이 나타났는데, 이는 템플릿 기반 주석의 노이즈 비율이 더 높았기 때문입니다.
• 크로스 - 데이터셋 전이 (Cross-Dataset Transfer):
  • H3D $\to$ KIT: R@1 에서 26.59% (MoPa 대비 +94% 상대적 향상).
  • KIT $\to$ H3D: R@1 에서 2.81% (MoPa 대비 +52% 상대적 향상).
  • 데이터셋별 주석 스타일 ($p(a)$) 을 제거함으로써 전이 학습이 극적으로 개선됨을 보여줍니다.
• 임베딩 공간 기하학:
  • 동일 모션에 대한 텍스트 임베딩 간 평균 코사인 유사도 (Intra Sim) 가 증가하고, 모션 임베딩과의 정렬 (Align) 이 강화되었습니다.
  • 동일 모션 캡션들이 더 밀집된 클러스터를 형성하고, 다른 모션 캡션들과는 더 잘 분리되었습니다.

5. 의의 및 결론 (Significance)

• 노이즈 제거의 중요성: 모션 - 텍스트 검색에서 주석 (Caption) 은 단순히 "정답"이 아니라 노이즈가 포함된 샘플임을 인식하고, 이를 정규화 (Canonicalization) 하는 것이 학습 효율성과 전이 능력을 결정하는 핵심 요소임을 증명했습니다.
• 일반적 원리 (General Principle): 복잡한 LLM 이 아니더라도 단순한 불용어 제거 (Stopword stripping) 만으로도 전이 성능이 향상되지만, 학습된 정규화기 (FlanT5 등) 가 시간적 구조와 미세한 모션 정보를 보존하면서 노이즈만 제거하여 가장 큰 성능 향상을 가져옵니다.
• 실용성: 추론 시 LLM 이 필요 없는 증류된 모델 (FlanT5) 을 통해 실제 배포 가능성을 확보했으며, 기존 검색 아키텍처를 변경하지 않고도 전처리 단계로 적용 가능한 범용적인 방법론입니다.

결론적으로, MoCHA 는 모션 - 언어 표현의 전이 가능성을 높이기 위해 **언어 공간의 표준화 (Standardization)**가 필수적임을 보여주며, 모션 - 텍스트 검색 분야에서 새로운 기준을 제시했습니다.