Steerable Vision-Language-Action Policies for Embodied Reasoning and Hierarchical Control (Steerable Policies) 기술 요약

이 논문은 로봇 제어에서 사전 학습된 비전 - 언어 모델 (VLM) 의 추론 능력을 효과적으로 활용하기 위한 새로운 접근법인 **'Steerable Policies (조종 가능한 정책)'**을 제안합니다. 기존 방법론의 한계를 극복하고, 고수준의 VLM 추론이 저수준의 로봇 행동으로 정밀하게 연결될 수 있도록 하는 계층적 제어 시스템을 구축하는 것이 핵심 목표입니다.

1. 문제 정의 (Problem)

기존 로봇 제어 연구에서는 사전 학습된 대규모 VLM 을 고수준의 계획자 (High-level Planner) 로 사용하고, 이를 별도의 저수준 정책 (Low-level Policy, 예: VLA) 과 연결하는 계층적 구조를 주로 사용했습니다. 그러나 이 접근법에는 다음과 같은 근본적인 한계가 존재했습니다.

• 조종성 (Steerability) 부족: 고수준 VLM 이 복잡한 상황 분석과 추론을 통해 "어떤 행동을 해야 하는지"를 정확히 파악하더라도, 저수준 정책이 이를 실행할 수 있는 정밀한 명령을 이해하지 못하면 무용지물이 됩니다.
• 명령어의 제한: 기존 VLA 는 주로 "사과를 그릇에 넣으세요"와 같은 일반적인 작업 수준 (Task-level) 언어만 이해하도록 훈련되었습니다. 이는 구체적인 위치 (픽셀 좌표), 세부 동작 (Atomic motions), 또는 하위 작업 (Subtasks) 등을 지시하는 데 비효율적입니다.
• 일반화 실패: 새로운 객체나 복잡한 환경에서 VLM 이 추론한 전략을 로봇이 실행하려면, VLM 이 로봇의 구체적인 행동 공간 (Action Space) 을 정밀하게 제어할 수 있는 인터페이스가 필요합니다.

2. 방법론 (Methodology)

저자들은 Steerable Policies를 도입하여 저수준 VLA 가 다양한 수준의 추상화 (Abstraction) 를 가진 명령을 이해하고 실행할 수 있도록 훈련했습니다.

A. Steerable Policies (조종 가능한 정책)

기존의 단일 작업 명령어 대신, 로봇 데이터셋에 **다양한 수준의 합성 명령어 (Synthetic Commands)**를 추가하여 VLA 를 훈련시켰습니다. 주요 명령어 스타일은 다음과 같습니다.

1. 작업 수준 (Task-level): "당근을 그릇에 넣으세요" (기존 방식).
2. 하위 작업 수준 (Subtask-level): "당근을 잡으세요", "당근을 들어 올리세요".
3. 원자적 운동 (Atomic motions): "왼쪽으로 이동", "그립퍼 닫기" (객체 의미 없이 순수 운동 지시).
4. 그립퍼 궤적 (Gripper traces): [x1, y1], [x2, y2]...와 같은 픽셀 좌표 시퀀스를 따라 이동하도록 지시.
5. 포인트 (Points): "당근의 위치 <x, y>에서 잡으세요"와 같이 객체의 픽셀 좌표를 직접 지정.
6. 조합 (Combination): 위 요소들을 혼합한 명령 (예: "왼쪽으로 이동하여 <당근 위치>에서 잡으세요").

이러한 명령어들은 로봇 궤적 데이터에서 Molmo, SAM2, DETR 등의 모델을 활용해 자동으로 추출된 객체 바운딩 박스, 궤적, 운동 언어 등을 기반으로 대규모로 생성되었습니다.

B. 계층적 제어 방법 (Hierarchical Control Methods)

Steerable Policies 를 활용하기 위해 두 가지 고수준 제어 전략을 제안했습니다.

1. 학습된 고수준 embodied reasoner (Embodied Reasoning):

   • VLM 을 미세 조정 (Fine-tuning) 하여 현재 관찰과 작업 지시를 바탕으로 Chain-of-Thought (CoT) 추론을 수행하게 합니다.
   • 로봇이 무엇을 해야 하는지 설명하는 논리적 근거 (Rationale) 를 생성한 후, 가장 적합한 수준의 조종 명령 (Steering Command) 을 출력합니다.
   • 이 방식은 로봇의 행동 데이터에 대한 추론 능력을 학습시켜 일반화 성능을 극대화합니다.

2. 제휴 VLM 을 활용한 In-context Learning:

   • 추가 학습 없이 API 기반의 오프 - 더 - 쉘 (Off-the-shelf) VLM 을 사용합니다.
   • VLM 에 과거 관찰과 명령의 히스토리를 컨텍스트로 제공하고, Zero-shot 방식으로 어떤 수준의 명령 (작업, 하위 작업, 좌표 등) 이 현재 상황에 가장 적합한지 스스로 판단하게 합니다.
   • 로봇이 실수하거나 진행이 멈추면, VLM 은 컨텍스트 학습을 통해 명령의 추상화 수준을 동적으로 변경하여 (예: "당근 잡기" 실패 시 "오른쪽으로 이동" 지시) 문제를 해결합니다.

3. 주요 기여 (Key Contributions)

1. Steerable Policies 도입: 단일 작업 언어를 넘어, 하위 작업, 운동, 픽셀 좌표 등 다양한 추상화 수준의 명령을 수용하는 VLA 를 최초로 제안했습니다.
2. 대규모 합성 데이터 파이프라인: 로봇 데이터에서 자동으로 세부적인 운동, 객체 위치, 궤적 정보를 추출하고 이를 다양한 명령어 스타일로 변환하는 자동화 파이프라인을 구축했습니다.
3. 고수준 VLM 능력의 극대화:
   • 학습된 고수준 Reasoner 를 통해 embodied reasoning 데이터를 효과적으로 활용하는 방법을 증명했습니다.
   • 오프 - 더 - 쉘 VLM 의 In-context learning 능력을 로봇 제어에 적용하여, 실시간으로 명령의 추상화 수준을 조절하는 새로운 패러다임을 제시했습니다.
4. 실제 로봇 실험: Bridge WidowX 로봇을 이용한 광범위한 실험을 통해, 제안된 방법이 기존 계층적 방법론 및 단일 VLA 보다 우수한 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: Steerable Policies 를 사용한 계층적 제어는 기존 OpenVLA, ECoT (Embodied Chain-of-Thought), SayCan-like 베이스라인보다 일반화 (Generalization) 및 **장기 작업 (Long-horizon tasks)**에서 현저히 높은 성공률을 기록했습니다.
• 명령어 스타일의 중요성:
  • 의미적 일반화 (Semantic Generalization): 새로운 객체 (예: 치약, 망치) 를 다룰 때, 객체 이름 대신 **픽셀 좌표 (Points)**나 궤적 (Traces) 명령이 가장 효과적이었습니다.
  • 공간적 일반화 (Spatial Generalization): "왼쪽/오른쪽"과 같은 공간 관계를 다룰 때 원자적 운동 (Atomic motions) 명령이 우수했습니다.
  • 결론: 어떤 단일 명령어 스타일이 모든 상황에 최적이 아니며, 상황과 객체에 따라 최적의 명령어 스타일을 선택할 수 있는 유연성이 필수적입니다.
• In-context Learning 효과: 오프 - 더 - 쉘 VLM 이 실수 시 명령어 추상화 수준을 변경하여 (예: 위치 지시 실패 시 방향 지시로 변경) 로봇을 다시 성공 경로로 유도하는 능력을 보여주었습니다.

5. 의의 및 의의 (Significance)

이 연구는 **"로봇 정책의 조종성 (Steerability)"**이 VLM 의 추론 능력을 로봇 행동으로 전환하는 핵심 열쇠임을 증명했습니다.

• VLM 과 로봇의 간극 해소: VLM 이 가진 풍부한 세계 지식과 추론 능력을 로봇의 구체적인 행동 제어에 효과적으로 매핑할 수 있는 새로운 인터페이스를 제시했습니다.
• 유연한 계층적 제어: 고정된 하위 작업만 수행하는 기존 방식과 달리, 고수준 에이전트가 상황의 복잡도와 객체의 특성에 따라 최적의 명령 수준을 동적으로 선택할 수 있게 함으로써, 더 복잡하고 다양한 환경에서의 로봇 자율성을 가능하게 합니다.
• 미래 지향성: 이 접근법은 로봇 데이터의 다양성이 증가함에 따라 더욱 확장 가능하며, 오픈 월드 (Open-world) 환경에서의 일반 로봇 제어에 중요한 이정표가 될 것으로 기대됩니다.

요약하자면, 이 논문은 로봇이 단순히 "무엇을" 해야 하는지뿐만 아니라, "어떻게" 구체적으로 행동해야 하는지를 VLM 이 정밀하게 지시할 수 있도록 함으로써, 로봇의 지능과 일반화 능력을 비약적으로 향상시켰습니다.