기술 요약: 시각-언어 표현 기반 동작 제어 (MoVLR)

문제 정의

고차원의 과구동(over-actuated) 근골격계 시스템을 제어하는 것은 운동 제어 분야의 근본적인 과제입니다. 일반적인 로봇 시스템과 달리, 이러한 에이전트들은 매우 비선형적인 역학을 보이며, 여러 근육 시너지가 동일한 관절 운동을 만들어낼 수 있습니다. 결과적으로, 자연스럽고 효율적인 움직임을 구현하기 위해서는 개별 액추에이터 명령을 지정하는 것이 아니라, 조화로운 전신 제어 패턴을 발견해야 합니다.

이러한 시스템을 위한 학습 기반 접근 방식의 주요 병목 현상은 **보상 설계(reward design)**입니다. 기존 방법들은 주로 수작업으로 설계된 휴리스틱 목적 함수(예: 속도 추적, 에너지 최소화)에 의존하며, 이는 동작의 복잡성이 가진 미묘한 구조를 포착하지 못하는 경우가 많습니다. 이러한 목적 함수들은 생체 역학적 원칙을 간과하여 생체 역학적으로 부자연스럽거나 비효효율적인 동작을 초래하곤 합니다. 대규모 언어 모델(LLM)과 시각-언어 모델(VLM)이 고수준의 동작 평가를 위한 잠재력을 제공하지만, 현재의 접근 방식은 에피소드 통계나 거친 성공 신호에 의존하는 경우가 많습니다. 이들은 암묵적인 상호작용 역학 및 자연어 설명을 고차원 근골격 제어를 위한 구조화되고 실행 가능한 보상 함수로 체계적으로 변환하는 원칙적인 메커니즘이 부족합니다.

방법론: MoVLR 프레임워크

저자들은 고수준의 목표 명세와 저수준의 제어 최적화 사이의 간극을 메우는 완전 자동화된 반복 프레임워크인 **시각-언어 표현 기반 동작 제어(MoVler, Motion from Vision-Language Representation)**를 제안합니다. MoVLR은 LLM과 VLM을 통합하여 보상 함수를 발견하고 정교화하는 "제어 루프 내(control-in-the-loop)" 프로세스를 구축합니다.

이 워크플로우는 세 가지 핵심 구성 요소를 통해 반복 루프로 작동합니다:

1. 근골격 동작 역학 (정책 최적화):

   • 현재의 보상 제안 $r^{(i)}$가 주어지면, 시스템은 제어 정책 $\pi^*$를 생성하기 위해 정책 최적화를 수행합니다.
   • 시스템은 계층적 제어 파이프라인을 사용하는 모델 기반 플래너인 MPC2를 사용하여 궤적을 최적화합니다. 이 학습이 필요 없는(training-free) 접근 방식은 강화 학습에 비해 최적화 시간을 (몇 분 단위로) 크게 단축하여 빠른 반복을 가능하게 합니다.
   • 최적화된 정책은 고차원 근골격 동작 역학을 생성하기 위해 롤아웃(rollout)되며, 이는 움직임 비디오($\zeta^{(i)}$)로 렌더링됩니다.

2. 동작-언어 표현 (VLM 평가):

   • 시각-언어 모델(VLM)이 의미론적 관찰자 역할을 수행합니다. VLM은 렌더링된 움직임 비디오 $\zeta^{(i)}$를 원래의 작업 설명 $R$(예: "직립 자세로 앞으로 걷기")과 대조하여 분석합니다.
   • VLM은 단순한 스칼라 점수 대신 구조화된 텍스트 형태의 진단 피드백($F$)을 생성합니다. 이 피드백은 작업 완료 여부를 평가하고, 주요 생체 역학적 문제(예: 방향 안정성 부족, 팔다리 협응 불량)를 식별하며, 구체적인 개선 사항을 제안합니다.
   • VLM은 새로운 제안이 동작 설명과 더 잘 일치할 경우, 현재의 최적 보상 설계 $r^*$ 및 그에 대응하는 역학 $\zeta^*$를 업데이트합니다.

3. 언어 가이드 보상 설계 (LLM 합성):

   • 대규모 언어 모델(LLM)은 작업 설명, 환경 코드, 그리고 VLM의 진단 피드백 $F$를 입력으로 받습니다.
   • LLM은 현재 최적의 보상 함수에 대해 로컬 탐색을 수행하여 새로운 해석 가능한 보상 항들을 합성합니다. 이는 의미론적 사전 지식(예: "안정성")과 구조적 맥락(예: 관절 각도, 액추에이터 길이)을 실행 가능한 코드로 매핑합니다.
   • 이 과정은 $r^{(i+1)}$을 반복적으로 정교화하며, 암묵적인 역학적 규칙성을 명시적인 보상 항으로 점진적으로 추출합니다.

주요 기여

1. MoVLR 프레임워크: 고차원 근골격 시스템을 위해 암묵적 역학을 효과적으로 포착하고 명시적 보상을 설계하는 완전 자동화된 보상 학습 프레임워크를 도입했습니다.
2. 멀티모달 피드백 통합: VLM을 사용하여 추상적인 동작 설명을 생체 제어의 암묵적 원칙에 접지(grounding)시키는 새로운 접근 방식을 제시함으로써, 지각적 피드백과 도메인 정보가 담긴 동작 표현 사이를 연결했습니다.
3. 일반화 가능성 및 해석 가능성: 본 프레임워크가 다양한 이동 작업, 환경(평지, 거친 지형, 경사로), 시스템 형태(인간 및 타조 모델)에 걸쳐 일반화될 수 있음을 입증했습니다. 결과물인 보상 항들은 균형, 보폭, 팔 흔들기와 같은 암묵적인 근골격 역학을 나타내는 해석 가능한 형태를 띱니다.
4. 계층적 정교화: 이 방법은 보상 정교화 과정이 인간의 운동 학습을 모방하여, 거친 안정성 제약에서 미세한 관절 협응으로 발전하는 전이 가능한 제어 프레임워크를 가능하게 합니다.

실험 결과

저자들은 MuJoCo 시뮬레이터 내에서 MS-Human-700 모델(206개 관절, 700개 근건 액추에이터)과 타조 형태를 대상으로 MoVLR을 평가했습니다. 작업에는 보행(평지, 거친 지형, 경사로, 회전, 부상 상태의 신체 조건)과 조작(병 붓기, 큐브 회전)이 포함되었습니다.

• 성능 비교: MoVLR은 인간이 설계한 보상, Eureka(LLM 기반 코드 생성), HARMON(VLM 기반 휴머노이드 동작 정교화)을 포함한 베이스라인 모델보다 일관되게 우수한 성능을 보였습니다.
  • 보행 작업에서 MoVLR은 모든 지형에서 가장 긴 보행 거리를 달 기록했으며, 특히 적응형 안정성이 요구되는 까다로운 환경에서 탁월한 성능을 보였습니다.
  • 조작 작업에서 위치 및 방향 오차를 가장 낮게 기록하여 더욱 정밀한 물체 상호작용을 달성했습니다.
• 보상의 진화: 보상 가중치 분석 결과 명확한 계층적 정교화가 드러났습니다. 초기 단계에서는 전역적 안정성(높이, 균형)을 우선시했으나, 후기 단계에서는 국소적인 생체 역학적 기술자(발 배치, 골반 정렬, 무릎 제어)로 초점이 이동했습니다.
  • 일반화: 평지에서 학습된 보상은 추가적인 정교화 없이도 거친 지형과 경사로, 심지어 부상 상태의 신체 구성으로 성공적으로 전이되었습니다. 또한, MoVLR에 의해 학습된 보상은 병 붓기 작업에서 강화 학습(DynSyn 사용) 환경으로 성공적으로 전이되어 교차 알고리즘 전이 가능성을 입증했습니다.
  • 어블레이션 연구(Ablation Studies): 피드백 해석과 코드 합성을 동시에 수행하려고 시도한 통합 모델은 성능이 크게 저하되었으며, 이는 VLM 피드백과 LLM 합성 단계를 분리하는 것의 필요성을 입증합니다.

의의 및 주장

본 논문은 MoVLR이 복잡한 행동에 대해 생물학적으로 타당하고, 해석 가능하며, 일반화 가능한 제어를 위한 확장 가능하고 원칙적인 경로를 제공한다고 주장합니다. VLM을 활용함으로써, 이 프레임워크는 고수준의 동작 설명을 상세한 제어 목표로 성공적으로 변환하여 언어적 목표를 물리적 역학에 효과적으로 접지합니다.

저자들은 본 연구가 VLM이 "지각적 가교(perceptual bridge)" 역할을 수행하여, 암묵적인 상호작용 역학을 근골격계의 기저 생리학과 일치하는 구조화된 보상으로 변환할 수 있음을 보여준다고 단언합니다. 이 접근 방식은 광범한 수동 튜닝이나 간접적인 대리 지표에 의존하지 않고도 고차원 시스템을 위한 보상을 설계할 수 있는 해결책을 제시하며, 자연스럽고 조화로우며 안정적인 동작을 생성하는 보상 함수의 발견을 가능하게 합니다.