기술 요약: 인간형 로봇 제어 능력 확장을 위한 반복적 폐루프 모션 합성

문제 제기

물리 기반 인간형 로봇 제어는 다양한 데이터 분포를 가진 모션 데이터셋을 통한 훈련에 크게 의존합니다. 그러나 기존 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 고정된 난이도 분포: 표준 데이터셋 (예: AMASS) 은 종종 저동적 일상 활동으로 치우친 고정된 분포를 보입니다. 이는 훈련된 제어 정책의 성능 상한을 제한하여, 아크로바틱이나 무술과 같은 고동적 전문 기술 수행 시 실패하게 만듭니다.
2. 확장성과 비용: 모션 캡처 (MoCap) 시스템을 통해 고품질 전문 모션 데이터를 획득하는 것은 비용이 너무 많이 들어 대규모 확장성이 어렵습니다. 비디오 마이닝이나 크로스-구현체 집계 (cross-embodiment aggregation) 를 통한 확장 시도들은 종종 신뢰할 수 있는 의미 정렬이나 난이도 계층화가 부족합니다.

결과적으로 정적이고 저동적인 코퍼스에서 훈련된 제어기는 보지 못한 고동적 전문 모션으로의 일반화에 어려움을 겪습니다.

방법론: CLAIMS 프레임워크

저자들은 모션 데이터 합성과 제어기 최적화를 공동 진화시키는 CLAIMS(Closed-Loop Automated Iterative Motion Synthesis, 폐루프 자동 반복 모션 합성) 프레임워크를 제안합니다. 이 시스템은 제어기의 능력 한계를 점진적으로 확장하도록 설계된 경쟁적 반복 루프로 작동합니다.

1. 의미 정의 및 정규화

구조화된 고동적 데이터의 부재를 해결하기 위해, 저자들은 무술, 춤, 격투, 스포츠, 체조라는 다섯 가지 전문 도메인에 걸친 행동 데이터에 대한 의미 분류 체계를 정의합니다. 난이도는 다음 네 가지 축을 따라 형식화됩니다:

• 기본 행동 (Base Action): 원자적 기술.
• 콤보 행동 (Combo Action): 구성 논리.
• 디테일 (Detail): 기술적 단서 (예: 사지 배치).
• 속도 및 리듬 (Speed and Rhythm): 시간적 구조.

2. 자동화된 데이터 생성

이 프레임워크는 저비용으로 모션 데이터를 합성하기 위해 사전 훈련된 텍스트 조건부 모션 확산 모델 (MDM) 을 활용합니다.

• 프롬프트 엔지니어링: 자유 형식 설명 대신, 시스템은 의미 분류 체계에서 파생된 템플릿화된 행동 프롬프트를 사용합니다. 보조 대형 언어 모델 (LLM) 이 이러한 템플릿을 구체적인 난이도 속성으로 인스턴스화합니다.
• 필터링: 생성된 모션은 유효성 검사 (예: 부유 또는 가라앉음을 방지하기 위한 루트 관절 높이 경계) 와 비전 - 언어 모델 (VLM) 을 사용한 의미 정렬 검사를 거쳐 프롬프트와 모션이 일치하는지 확인합니다.
• 분포 이동: 시스템은 MDM 의 원래 훈련 분포 (HumanML3D/AMASS) 밖의 행동을 유도하기 위해 "난이도 인식 변수 뱅크"에서 의도적으로 샘플링하여 새로운 전문 조합을 생성합니다.

3. 제어기 훈련 및 평가

단일 프라임 트래커 ( PHC 기반) 가 합성된 데이터에서 강화 학습 (RL) 을 통해 훈련됩니다. 평가 단계는 루프에 있어 중요합니다:

• 객관적 지표: 시스템은 평균 관절 위치 오차 (mpjpe-g/l), 속도 불일치 (vel-dist), 가속도 불일치 (accel-dist) 를 포함한 물리적 추적 지표를 계산합니다.
• 주관적 지표: VLM(GPT-4o 및 Qwen-VL-MAX) 이 렌더링된 모션 시퀀스를 분석하여 기술적 복잡성, 균형, 연속성에 관한 주관적 난이도 점수와 설명자를 제공합니다.

4. 경쟁적 반복 루프

핵심 혁신은 경쟁적 커리큘럼입니다:

• 각 훈련 주기 후, 시스템은 제어기의 성능을 평가합니다.
• 객관적 지표가 사전 정의된 임계값을 초과하면 현재 데이터 분포는 "마스터됨"으로 간주됩니다.
• LLM 정책 (Chain-of-Thought 사용) 은 객관적 및 주관적 피드백을 결합하여 다음 반복을 위한 더 어려운 프롬프트를 생성합니다.
• 이는 데이터 난이도가 제어기의 성장하는 역량에 반응하여 고조되는 자기 강화 루프를 만들어, 정책을 원래 한계를 넘어선 곳으로 밀어붙입니다.

주요 기여

1. 확장 가능한 난이도 계층화 데이터셋: 저자들은 다섯 가지 전문 도메인에 걸쳐 명확한 난이도 계층을 가진 확장 가능한 데이터셋을 생성하는 방법을 제시하며, 모션 - 텍스트 정렬을 유지하면서 고동적 복잡성을 도입합니다.
2. 경쟁적 반복 프레임워크: 데이터 생성과 제어기 최적화를 교대로 수행하는 게임과 같은 설정입니다. 이는 정책이 데이터와 공동 진화함으로써 고정된 코퍼스의 난이도 상한을 넘어서게 합니다.
3. 제어기 무관 효율성: 이 프레임워크는 제어기 훈련에 컴퓨팅 자원을만 요구하며, 데이터 생성 및 평가 구성 요소는 훈련이 필요 없고 비용이 낮아 다양한 추적 아키텍처에 적용 가능합니다.

실험 결과

이 프레임워크는 약 AMASS 데이터셋 크기의 1/10로 훈련되었으나 반복적 난이도 고조가 적용된 PHC 단일 프라임 트래커를 사용하여 평가되었습니다.

• 성능 향상: Motion-X/Kungfu, EMDB, AIST++, Video-Convert 네 가지 벤치마크에 걸친 2,201 개의 클립으로 구성된 테스트 세트에서, 최종 반복 모델 (L6) 은 평균 성공률 **76.9%**를 달성했으며, 이는 AMASS 기준치인 **58.3%**에 비해 평균 실패율 45% 감소를 의미합니다.
• 일반화: 이 프레임워크는 보지 못한 고동적 데이터에 대한 강력한 일반화를 보여주었습니다. 비반복적 기준선 (Loop 0) 을 사용하더라도 시스템은 일반 코퍼스에서의 표준 훈련보다 우수한 성능을 보였습니다. 후속 루프 (Loop 1 이상) 는 일관된 개선을 보여주었습니다.
• 크로스-패러다임 유효성: 이 접근법은 MaskedMimic 제어기에 성공적으로 적용되어, 피드백 기반 프롬프트 조건부 정제가 다른 모방 학습 프레임워크 간에 전이될 수 있음을 입증했습니다.
• 결손 연구 (Ablation Studies):
  • VLM 신뢰성: VLM 난이도 점수는 물리적 지표 (속도) 와 단조 상관관계를 보여 자동 점수 매김을 검증했습니다.
  • 관측의 필요성: 물리 지표 또는 VLM 피드백 중 하나를 제거하면 성능이 저하되었으며, 물리 지표가 도전 과제 설계에 가장 진단적이었습니다.
  • 변수 라이브러리: 구조화된 변수 라이브러리를 제거하면 성능이 저하되어 프롬프트 생성을 안정화하기 위한 구조화된 사전 지식이 필요함을 확인했습니다.
  • 반복 대 규모: 동일한 총 데이터 양을 무작위 샘플링한 크기 일치 비반복적 기준선은 반복적 접근법보다 성능이 낮아, 성취가 단순한 데이터 양이 아닌 커리큘럼 효과에서 비롯됨을 확인했습니다.

의의 및 주장

이 논문은 CLAIMS 가 값비싼 MoCap 데이터에 의존하지 않고 물리 기반 인간형 로봇 제어를 고동적이고 다양한 시나리오로 발전시키는 새로운 길을 제시한다고 주장합니다. 데이터 - 제어기 공동 진화 패러다임을 확립함으로써 이 프레임워크는 다음과 같은 이점을 제공합니다:

• 고정 난이도 코퍼스의 한계를 극복합니다.
• 전문적이고 고난이도인 모션 벤치마크에서 안정적인 성능 향상을 가능하게 합니다.
• 기존 추적 아키텍처와 통합 가능한 저비용 자동화 파이프라인을 제공합니다.

저자들은 합성 품질이 극단적 동역학에 대한 생성 모델의 능력에 의해 제한되며, 현재 변수 라이브러리는 수동 큐레이션이 필요함을 인정합니다. 그러나 모듈식 아키텍처는 향후 더 능력 있는 생성기와 자동화된 라이브러리의 원활한 통합을 가능하게 한다고 주장합니다.