From LLM-Generated Specifications to Learned Quadruped Locomotion

=== 기술 요약: LLM 생성 사양에서 학습된 사족 보행 제어로의 전환 ===

문제 정의

심층 강화 학습(RL)은 사족 보행 로봇이 민첩한 이동을 학습할 수 있게 했으나, 성능은 여전히 보상 함수(reward functions)의 수동 설계에 크게 의존하고 있다. 이러한 보상을 설계하는 데는 국소적 항(추적, 자세, 에너지) 사이의 균형을 맞추기 위한 상당한 도메인 전문 지식이 필요하며, 이는 원칙론보다는 경험적인 튜닝에 의존하는 경우가 많다. 또한, 수치적 국소 보상은 원하는 전역적 시간적 행동(global temporal behavior)을 명시적으로 설명하지 못하는데, 이는 걷기, 트로트(trot), 바운딩(bounding)이 접촉 타이밍과 지지 패턴에서 서로 다른 멀티 게이트(multi-gait) 이동에서 특히 중요하다. Signal Temporal Logic(STL)과 같은 형식적 사양은 해석 가능성과 정량적 강건성을 제공하지만, 이를 수동으로 작성하는 것 역시 상당한 전문 지식을 요구한다. 반대로, 자연어로부터 직접 보상 코드를 생성하는 최근의 대규모 언어 모델(LLM) 접근 방식은 복잡한 시간적 제약에 필요한 구조적 엄밀함이 부족한 경우가 많다. 본 논문은 전문가 데이터에 수치적 파라미터를 접지(grounding)하면서, LLM을 사용하여 해석 가능하고 시간적으로 구조화된 보상 사양을 생성하는 간극을 해결한다.

방법론

저자들은 LLM을 활용하여 Parametric Signal Temporal Logic(PSTL) 사양의 *구조(structure)*를 생성하는 한편, 전문가 궤적을 사용하여 *파라미터(parameters)*를 인스턴스화하고 출력을 필터링하는 파이프라인을 제안한다.

1. LLM 사양 생성:

   • 모델들(GPT-5.5 및 Qwen 3.6)은 자연어 이동 목표와 제약된 STL 문법을 바탕으로 프롬프트가 제공된다.
   • 결정적으로, LLM은 명령 추적, 안전, 게이트 구조를 위한 오직 기호적 구조(템플릿)만을 제안하도록 요청된다. 수치적 임계값과 시간적 상수는 나중에 추정될 기호적 파라미터로 남겨두어, LLM이 임의의 값을 만들어내는 것을 방지한다.
   • 두 가지 설정이 탐색된다:
     • 게이트 인지(Gait-Aware, Multi-Gait): 프롬프트는 Froude number 전이를 기반으로 세 가지 속도 영역(walking-trot, trot, bound)을 정의한다. LLM은 각 영역에 대해 별도의 사양을 생성한다.
     • 게이트 비인지(Gait-Agnostic): 프롬프트는 특정 게이트를 규정하지 않으며, 로봇이 접촉 패턴을 스스로 발견하도록 허용한다.

2. 데이터 접지 및 전문가 일관성 필터링:

   • 생성된 PSTL 템플릿의 수치적 파라미터는 영역당 50개의 전문가 궤적 데이터셋으로부터 추정된다.
   • 필터링 메커니립이 적용된다: 생성된 사양이 전문가 행동에 의해 체계적으로 위반되는 경우(중앙값 강건도 $Q_{0.50}(R_\phi) < 0$) 해당 사양을 폐기하여, 보상 신호가 입증된 역량과 일치하도록 보장한다.

3. 보상 구성 및 학습:

   • 유지된 사양은 STL 강건성 의미론을 사용하여 매끄러운 유한 이력(finite-history) 보상 함수로 변환된다.
   • 활성화된 사양의 강건성 값은 soft-min 함수를 사용하여 집계되고, 큰 크기에 의한 지배를 방지하기 위해 $\tanh$를 통해 정규화된다.
   • 최종 스칼라 보상은 안전, 추적, 패턴 항의 가중 합이다.
   • 정책은 MuJoCo XLA (MJX) 시뮬레이션 환경 내의 Barkour 사족 보행 로봇을 사용하여 Proximal Policy Optimization (PPO)으로 학습된다.

주요 기여

1. LLM-전문가 하이브리드 파이프라인: LLM이 해석 가능한 이동 사양의 기호적 구조를 생성하고, 전문가 데이터가 수치적 파라미터를 접지하는 새로운 프레임워크를 제시한다.
2. 전문가 일관성 필터: 전문가가 보여준 행동과 모순되는(중앙값 강건도 < 0) LLM 생성 사양을 폐기하여, 체계적으로 위반되는 제약 조건이 보상에 도입되는 것을 방지하는 메커니즘이다.
3. 포뮬레이션의 비교 평가: 게이트 구조를 명시적으로 규정하는 것(gait-aware)과 창발적 행동을 허용하는 것(gait-agnostic)이 학습된 이동에 어떤 영향을 미치는지에 대한 조사이다.
4. 벤치마킹: 수동으로 설계된 휴리스틱, 직접적인 LLM 생성 보상 코드(Text2Reward), 그리고 전문가 전환 오라클(expert-switching oracle)과의 포괄적인 비교를 수행한다.

결과

연구는 CoT(Cost of Transportation), 생존율, 명령 성공률, 게이트 일치도를 포함한 지표를 사용하여 0.3 m/s에서 2.1 m/s 사이의 전방 속도에 대한 성능을 평가한다.

• 게이트 비인지(Gait-Agnostic) 성능:

  • GPT-5.5와 Text2Reward (Gait-Agnostic)는 모든 속도에서 낮은 CoT와 함께 100% 생존 및 명령 성공을 유지하며 가장 강력한 정량적 성능을 달ato했다.
  • 그러나 시각적 검사 결과 결정적인 결함이 발견되었다: 이 정책들은 저속(0.3 m/s)을 포함한 전체 속도 범위에서 "bound-like" 접촉 패턴을 학습했다. 이는 부자연스럽고 높은 빈도의 다리 움직임과 수직 진동을 초래했으며, 높은 정량적 성공 점수가 반드시 동적으로 적절한 제어를 보장하는 것은 아님을 나타낸다.
  • Qwen 3.6 (Gait-Agnostic)은 속도가 1.6 m/s 이상일 때 생존에 실패했다.

• 게이트 인지(Gait-Aware, Multi-Gait) 성능:

  • Qwen 3.6 (Multi-Gait): 전체 속도 범위(0.3–2.1 m/s)에서 100% 생존 및 명령 성공을 달성했으며, 고속에서 목표 "bound" 게이트를 성공적으로 일치시켰다.
  • GPT-5.5 (Multi-Gait): 저/중속 게이트는 잘 포착했으나, 속도가 1.9 m/s 이상일 때 명령 추적에 실패했다.
  • Text2Reward (Multi-Gait): 고속(1.9–2.1 m/s)에서 완전히 실패하여 모든 롤아웃이 종료되었다.
  • 수동 설계(Heuristic): 최고 속도(2.0–2.1 m/s)에서 추적 정확도를 잃었다.

• 강건성 호라이즌($H$)에 대한 절제 연구(Ablation):

  • 더 짧은 시간적 호라이즌($H \in \{1, 5\}$)이 일반적으로 더 안정적이고 성공적인 정책을 생성했다.
  • 더 긴 호라이즌($H=20, 30$)은 성능을 저하시키는 경우가 많았는데, 이는 STL의 "always" ($G$) 연산자가 윈도우 내의 최솟값에 의존하기 때문에 과거의 위반 사항이 보상 신호에 오래 남아 크레딧 할당(credit assignment)을 어렵게 만들기 때문이다.

• 모델 비교:

  • GPT-5.5와 Qwen 3.6의 상대적 성능은 제어 설정에 따라 크게 달라졌다. GPT-5.5는 게이트 비인지 설정에서 뛰어났고, Qwen 3.6은 멀티 게이트 설정, 특히 고속에서 이를 능가했다.

의의 및 주장

본 논문은 LLM 생성과 정책 학습 사이의 중간 표현으로서 시간 논리(temporal logic)를 삽립하는 것이 직접적인 보상 코드 생성보다 고속 이동에서 뚜렷한 이점을 제공한다고 주장한다. STL 기반 방식(특히 멀티 게이트 설정의 Qwen 3.6)은 직접 코드 생성(Text2Reward)이 실패한 지점에서 원하는 고속 "bound" 게이트를 성공적으로 학습했다.

그러나 저자들은 다음과 같은 사실을 바탕으로 신중한 입장을 유지한다:

• 보편적 우위 없음: 단일 보상 포뮬레이션이 두 가지 작업 설정(게이트 인지 vs 비인지)과 모든 평가 기준 모두에서 보편적으로 압도하지는 않는다.
• 정량적 지표의 한 한계: 결과는 높은 명령 추적 성공도가 반드시 의도된 게이트 구조나 자연스러운 움직임의 회복을 보장하지는 않는다는 점을 강조한다(저속에서 bound 게이트를 채택한 게이트 비인지 정책의 사례처럼).
• 시뮬레이션 제약: 저자들은 평가가 MJX 시뮬레이션에 국한되어 있음을 명시적으로 언급했다. 도메인 무작위화(domain randomization)가 사용되었지만, 학습된 이러한 멀리 게이트 행동의 실물 하드웨어로의 sim-to-real 전이 가능성은 아직 확립되지 않았다.

본 연구는 LLM이 형식적 사양의 구조를 제안하는 데 효과적일 수 있지만, 사양의 파라미터와 유효성은 견고하고 해석 가능하며 효과적인 이동 정책을 생성하기 위해 전문가 데이터에 엄격하게 접지되어야 함을 입증한다.