TEXEDO : Test Time Scaling for Controller-aware Language-conditioned Humanoid Motion Generation

기술 요약: TEXEDO

문제 정의

텍스트 조건부 동작 생성(Text-conditioned motion generation)은 휴머노이드 로봇을 프로그래밍하는 유망한 인터페이스로 부상했으나, **동작 생성기(motion generator)**와 전신 제어기(whole-body controller) 사이에는 결정적인 단절이 존재한다. 현재의 생성기들은 대개 인간의 동작 데이터를 로봇의 형태에 맞춰 리타겟팅(retargeting)하여 학습된다. 이러한 모델들은 풍부한 의미론적 운동학적 사전 지식(semantic kinematic priors)을 포착할 수는 있지만, 균형 한계, 접촉 타이밍, 액추에이터 포화(actuation saturation), 그리고 제어기 특유의 실패 모드와 같은 하위 제어기의 구체적인 제약 조건에 대한 노출이 부족하다. 결과적으로, 생성된 동작은 의미론적으로는 그럴듯할지라도 역학적으로는 실행 불가능(dynamically infeasible)할 수 있으며, 이는 낙하, 부적절한 접촉, 또는 액추에이터 포화와 같은 배포 실패로 이어진다.

기존 방식들은 생성과 제어를 약하게 결합된(weakly coupled) 상태로 취급하는 경우가 많다. 언어 모델링이 "테스트 타임 스케일링(test-time scaling)"(여러 후보를 샘플링하고 검증기를 통해 최적의 것을 선택)을 채택하여 생성 품질을 개선하는 데 성공한 것과 달리, 이를 휴머노이드 동작에 적용하려면 "근거 있는(grounded)" 품질의 개념이 필요하다. 후보는 텍스트 프롬프트와 일치해야 할 뿐만 아니라, 특정 하드웨어 플랫폼 상의 특정 전신 트래커에 의해 실행 가능해야 한다.

방법론: TEXEDO (Text-See-Do)

TEXEDO는 생성기나 트래커를 수정하지 않고도, 고정된(frozen) 사전 학습된 텍스트-동작 생성기를 제어기 인지형(controller-aware) 동작 시스템으로 변환하기 위해 설계된 테스트 타임 스케일링 프레임워크이다. 이 파이프라인은 세 단계로 작동한다.

1. TEXT: 후보 샘플링 (Candidate Sampling)

자연어 지시문 $\ell$이 주어지면, 언어 조건부 생성기 $G$ (예: FSQ-GPT)는 $N$개의 후보 전신 참조 궤적 $\{m_i\}_{i=1}^N$을 샘플링한다. 생성기는 블랙박스로 취급되며, 프레임워크는 오직 디코딩된 궤적에만 의존한다.

2. SEE: 근거 있는 검증 (Grounded Verification)

각 후보는 두 가지 상호 보완적인 근거 있는 검증기에 의해 평가된다.

• 역학적 실행 가능성 검증기 ($R_{dyn}$): 이 검증기는 동작이 실제 배포 시점의 제어기에 의해 성공적으로 추적될 수 있을지를 예측한다. 이는 실제 트래커(예: SONIC)의 오프라인 롤아웃(offline rollouts)으로부터 증류(distilled)되었다.
  • 오라클 신호(Oracle Signal): 오프라인 롤아웃은 세 가지 신호인 이진 성공($y_s$), 추적 품질($q_d$), 진행률 비율($q_g$)을 생성한다. 이들은 단일 오라클 품질 점수 $Q^*$로 통합된다.
  • 대리 모델(Surrogate Model): 경량 템포럴 트랜스포머(temporal Transformer)가 동작 $m$으로부터 이러한 신호들을 직접 예측하도록 학습되어 $R_{dyn}(m)$을 출력한다. 이는 선택 시점에 전체 롤아웃을 실행하는 데 드는 과도한 비용을 방지한다.
• 의미론적 정렬 검증기 ($R_{text}$): 이 검증기는 텍스트 프롬프트와 동작 사이의 정렬도를 측정한다.
  • 구조: 텍스트와 동작을 위한 양방향 GRU 인코더가 대조 학습(contrastive loss)을 통해 대상 로봇 골격에 맞춰 학습된다.
  • 스코어링: 점수는 텍스트와 동작 인코딩 사이의 지수화된 음의 임베딩 거리로 정의된다: $R_{text}(\ell, m) = \exp(-\|\phi_{text}(\ell) - \phi_{motion}(m)\|^2)$.

3. DO: 비대칭 선택 (Asymmetric Selection)

TEXEDO는 최종 동작 $\hat{m}$을 선택하기 위해 필터링 후 재순위화(filter-then-rerank) 전략을 사용한다.

1. 필터링(Filter): 역학적으로 실행 불가능하다고 예측된 후보($R_{dyn} < \theta$)는 폐기된다. 이는 안전성과 실행 가능성을 보장하기 위해 역학적 실행 가능성을 엄격한 제약 조건으로 취급하는 것이다.
2. 재순위화(Rerank): 남은 실행 가능한 후보 집합 중에서, 가장 높은 의미론적 정렬 점수($R_{text}$)를 가진 후보를 선택한다.
3. 폴백(Fallback): 만약 어떤 후보도 역학적 필터를 통과하지 못하면, 실행 가능성을 극대화하기 위해 가장 높은 $R_{dyn}$을 가진 후보를 선택한다.

주요 기여

1. 문제 공식화: 본 연구는 제어기 인지형, 언어 조건부 휴머노이드 동작 생성을 테스트 타임 스케일링 문제로 공식화하여, 로봇에게 명령되는 단일 참조 동작을 개선하기 위해 추가적인 추론 시간 샘플을 활용한다.
2. 이중 검증기 설계: 두 가지 근거 있는 검증기를 도입한다.
   • 물리적 실행 가능성을 예측하기 위해 트래커 롤아웃에서 증류된 역학적 실행 가능성 검증기.
   • 텍스트-동작 정렬을 측정하기 위해 로봇 골격 동작에 대해 학습된 의미론적 정렬 검증기.
3. 비대칭 선택 전략: 의미론적 정렬을 최적화하기 전에 역학적 실행 가능성을 우선적인 제약 조건으로 처리하는 필터링 후 재순위화 규칙을 제안한다. 이는 두 가지 상충하는 기준 사이의 긴장을 해결하여, 선택된 동작이 안전하면서도 의미론적으로 충실하도록 보장한다.

실험 결과

본 프레임워크는 SONIC 전신 제어기를 사용하는 Unitree G1 휴머노이드에서 평가되었으며, 시뮬레이션 및 실제 배포를 아우르는 실험이 수행되었다.

• 테스트 타임 스케일링 효과:
  • 후보 풀 크기($N$)를 늘릴수록 성능이 일관되게 향상된다.
  • $R_{dyn}$ 전용 선택은 높은 추적 성공률(0.990)을 달성하지만 의미론적 정렬도가 저하된다(VLM-Judge 점수가 4.924로 하락).
  • $R_{text}$ 전용 선택은 높은 의미론적 정렬도(6.110)를 달성하지만 실행 성공률 개선은 미미하다(0.885).
  • TEXEDO는 두 가지를 성공적으로 균형 있게 조절하여, $N=32$일 때 추적 성공률 0.984와 VLM-Judge 점수 6.054를 달성하였으며, 이는 베이스라인($N=1$, 성공률 0.873, 정렬도 5.722)을 크게 상회하는 수치이다.
• 제로샷 일반화 (Zero-Shot Generalization):
  • 생성기 불가지론(Generator Agnostic): 검증기를 재학습시키지 않고 보지 못한 생성기(Kimodo)에 적용했을 때도, TEXEDO는 실행 품질과 의미론적 정렬도를 모두 개선하여 선택 기준이 생성기 아키텍처 간에 전이됨을 입증했다.
  • 분포 외(OOD) 데이터: 보지 못한 BONES-SEED 데이터셋의 프롬프트에 대해, TEXEDO는 추적 성공률을 0.860에서 0.980으로 높이고 추적 오차를 크게 줄임으로써 강력한 일반화 능력을 보여주었다.
• 실제 환경 배포:
  • TEXEDO는 30가지 다양한 프롬프트(이동, 제스처, 조합)에 대해 물리적인 Unitree G1에 배포되었다.
  • TEXEDO는 30개의 프롬프트를 모두 성공적으로 실행하였으며, 베이스라인 방법들이 실패하거나 불안정한 동작을 보이는 것과 달리, 의도된 의미론에 부합하고 안정적인 동작을 일관되게 선택하였다.

의의 및 주장

본 논문은 **근거 있는 검증(grounded verification)**이 배포 가능한 언어 가이드 휴머노이드 동작 생성을 향한 효과적인 경로임을 주장한다. 역학적 실행 가능성을 엄격한 제약 조건으로 다루고 의미론적 정렬을 선택 목표로 삼음으로써, TEXEDO는 생성기나 제어기를 복잡하게 수정하거나 재학습시키지 않고도 강력한 사전 학습된 텍스트-동작 생성기를 사용할 수 있게 한다.

저자들은 이 접근 방식이 추가적인 추론 시간 연산(더 많은 후보 샘플링)을 물리적으로 근거 있고 언어에 정렬된 단일 고품질 참조 궤적으로 전환할 수 있게 해준다는 점을 강조한다. 이 방법은 의미론적 생성과 물리적 제어 사이의 간극을 메울 수 있음을 보여주며, 시뮬레이션과 실제 하드웨어 실행 모두에서 일관된 이득을 제공한다. 본 연구는 제어기 인지형 검증기와 결가된 테스트 타임 스케일링이 오픈 엔드 작업에서 휴머노이드 로봇의 신뢰성을 높이는 유효한 전략임을 시사한다.