💻 computer science

Addressing the Orchestration Gap in Generalist Robots via Physical Agency

이 논문은 복잡한 과업을 하위 목표로 분해하고 폐쇄 루프 물리적 에이전시를 통해 기존의 동결된 시각-언어-행동 정책을 관리함으로써 '오케스트레이션 격차'를 메우는 고수준 오케스트레이터인 "Pigey"를 소개하며, 이를 통해 추가적인 데이터나 미세 조정 없이도 추론 집약적인 로봇 과업에서 상당한 성능 향상을 달성한다.

원저자: Liane Galanti, Dhruv Shah, Tri Dao

게시일 2026-07-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Liane Galanti, Dhruv Shah, Tri Dao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 도움이 되는 룸메이트가 되는 법을 가르치고 있다고 상상해 보세요. 여러분은 단순히 컵을 집기 위해 팔을 움직이는 기계를 원하는 것이 아닙니다. 여러분은 왜 컵을 집는지 그 이유를 파악하고, 컵이 책 아래에 숨겨져 있다는 것을 알아차리며, 접착제 병이 유아에게 위험하다는 것을 깨닫고, 방이 어질러진 후 장난감을 어디에 두었는지 기억할 수 있는 룸메이트를 원합니다. 이것이 바로 과학자들이 집 안에서 할 수 있는 거의 모든 일을 할 수 있는 기계를 만들기 위해 노력하고 있는 분야인 '범용 로봇(generalist robots)'의 세계입니다.

이를 위해 연구자들은 보통 두 가지 주요 재료에 의존합니다. 첫째, **지각과 제어(perception and control)**가 있는데, 이는 로봇의 눈과 근육과 같습니다. 즉, 로봇이 물체를 어떻게 보고 그것을 떨어뜨리지 않고 어떻게 잡는지 가르치는 것입니다. 둘째, **추론(reasoning)**이 있는데, 이는 로봇의 뇌입니다. 즉, "안전한 것들을 접시 위에 올려두어라" 또는 "숨겨져 있는 장난감을 찾아라"와 같은 지시를 이해하도록 가르치는 것입니다. 오랫동안 로보틱스의 핵심 아이디어는 이 두 가지 재료를 하나의 거대하고 똑똑한 뇌로 합치는 것이었습니다. 로봇에게 사람들이 과업을 수행하는 영상을 충분히 보여주면, 로봇이 보고, 생각하고, 행동하는 것을 한꺼번에 배울 수 있을 것이라는 희망이었습니다. 하지만 이 글에서 시사하듯, 이 '올인원(all-in-one)' 방식은 종종 한계에 부딪힙니다. 로봇이 팔을 움직이는 데는 뛰어나지만 인형이 사실 상자 아래에 있다는 것을 알아차리는 데는 서툴거나, 장난감을 떨어뜨렸다는 사실을 깨닫지 못해 다시 시도해야 한다는 것을 알지 못할 수도 있습니다.

여기서 이 논문의 핵심 아이디어가 등장합니다. 로봇에게 모든 것을 하는 하나의 거대한 뇌를 강요하는 대신, 만약 우리에게 로봇의 매니저가 있다면 어떨까요? 저자들인 리안 갈란티(Liane Galanti), 드루브 샤(Dhruv Shah), 트리 다오(Tri Dao)는 **피기(Pigey, Physical Agency)**라고 불리는 시스템을 제안합니다. 피기를 로봇의 '뇌'(사전 학습된 AI)와 '근육'(물리적 행동) 사이에 서 있는 프로젝트 매니저라고 생각하십시오.

피기가 작동하는 방식은 다음과 같습니다. 여러분이 로봇에게 "인형을 집어서 바구니에 넣어라"라고 명령한다고 가정해 봅시다. 표준적인 로봇은 장면을 보고 상자를 본 뒤, 인형이 그 아래 숨겨져 있기 때문에 상자를 잡으려고 무모하게 시도하다 실패할 것입니다. 하지만 피기는 탐정처럼 행동합니다. 피기는 장면을 보고 "잠깐, 인형이 보이지 않아. 인형이 숨겨져 있나 봐"라고 생각한 뒤, 로봇에게 상자를 치우라고 명령합니다. 인형이 드러나면 피기는 "좋아, 이제 인형을 잡아"라고 말합니다. 만약 로봇이 인형을 떨어뜨리면, 피기는 이를 알아차리고 "앗, 실패했네"라고 말하며 로봇에게 다시 시도하라고 지시합니다. 결정적으로, 피기는 잡거나 움직이는 법을 배울 필요가 없습니다. 단지 로봇의 기존 기술을 사용하되, 이를 스마트하고 단계적인 계획으로 지시할 뿐입니다.

연구진은 두 가지 '동결된'(즉, 학습되지 않고 변하지 않는) 로봇 기술—하드한 물체를 집는 데 능숙한 기술 하나와 부드럽고 까다로운 물체를 다루는 데 능숙한 기술 하나—을 가져와 피기가 이를 어떻게 조율하는지 테스트했습니다. 그들은 로봇에게 새로운 것을 가르치지 않았습니다. 단지 로봇에게 어떻게 행동하라고 지시하는 방식을 바꿨을 뿐입니다. 결과는 놀라웠습니다. LIBERO-PRO라는 까다로운 시뮬레이션 테스트에서 표준 로봇은 12.8%의 성공률만을 보였습니다. 하지만 피기가 운전대를 잡자 성공률은 53.3%로 급증하여 4배 이상 향상되었습니다. 아이에게 안전한 물건이 무엇인지 파악하거나 채식주의자 손님을 위해 테이블을 치우는 것과 같은 복잡한 추론이 필요한 실제 작업에서, 표준 로봇은 종종 완전히 실패했지만(성공률 0%에 가까움), 피기는 90% 이상의 높은 성공률을 기록했습니다.

이 논문은 문제가 로봇의 근육이 약하거나 움직이는 법을 배우기 위해 더 많은 데이터가 필요했던 것이 아니라고 주장합니다. 문제는 '오케스트레이션 격차(orchestration gap)'였습니다. 로봇은 기술을 가지고 있었지만, 그 기술을 언제 사용할지, 어떻게 작동하는지 어떻게 확인할지, 그리고 상황이 잘못되었을 때 무엇을 해야 할지 알려줄 매니저가 부족했던 것입니다. 이러한 고차원적 계획과 검증 레이어를 추가함으로써, 저자들은 수천 개의 새로운 영상을 수집하여 다시 학습시키는 비용스럽고 시간이 많이 드는 과정 없이도 기존의 로봇을 훨씬 더 똑똑하게 만들 수 있음을 보여줍니다. 이는 때때로 로봇을 업그레이드하는 가장 좋은 방법은 더 큰 뇌를 만드는 것이 아니라, 더 나은 상사를 붙여주는 것임을 상기시켜 줍니다.

기술 요약: 물리적 에이전시를 통한 범용 로봇의 오케스트레이션 격차 해결

문제 정의

범용 목적의 로봇 공학은 인지, 세계 지식, 의도 추론, 계획, 성공 탐지, 복구 및 저수준 제어의 풀스택 통합을 필요로 합니다. 현재의 최첨단 시각-언어-행동(Vision-Language-Action, VLA) 모델은 대규모 사전 학습을 통해 이러한 모든 능력을 단일한 학습된 정책(policy)으로 압축하려고 시도합니다. 그러나 이러한 접근 방식은 추상적 추론(예: 부정, 조건문, 안전 제약 조건)이나 폐쇄 루프 복구(예: 파지 실패 또는 숨겨진 물체 처리)가 필요한 작업에서 종종 실패합니다.

저자들은 정책이 복잡한 지침에 대해 실패할 때, 그 병목 현상이 저수level의 모터 제어 자체보다는 목표를 분해하고, 결과를 검증하며, 오류로부터 복구하는 프로세스의 부재에 있다고 식별합니다. 기존 솔루션은 로봇 데이터를 확장하는 데 의존하거나(이는 추론을 가르치기에 비용이 많이 들고 간접적임), 실제 환경의 픽셀 조건부 환경에서 견고성이 부족한 기호적 플래너(symbolic planners)를 사용합니다. 본 논문은 상당한 "오케스트레이션 격차(orchestration gap)"가 존재한다고 상정합니다. 즉, 동결된(frozen) 모터 기술은 필요한 저수준 역량을 갖추고 있는 경우가 많지만, 고수준의 오케스트레이션이 부족하여 이를 올바르게 실행하지 못한다는 것입니다.

방법론: Pigey (Physical Agency)

저자들은 추가적인 데이터 수집이나 사후 학습 없이 기존의 동결된 모터 정책을 증강하는 폐쇄 루프 추론 시점 오케스트레이터인 Pigey를 제안합니다. Pigey는 추상적인 지침을 실행 가능한 하위 목표로 분해하고, 적절한 백엔드를 선택하며, 결과를 검증하고, 복구를 개시하는 고수준 에이전트 관리자 역할을 수행합니다.

시스템 아키텍처

Pigey는 두 개의 상호 보완적인 동결된 모터 백엔드 위에서 작동하는 프런티어 시각-언어 모델(VLM)로서 폐쇄 루프를 실행합니다:

TAMP 백엔드 (TiPToP): 강체 객체의 정밀한 pick-and-place를 위해 사용되는 작업 및 모션 계획(Task and Motion Planning) 시스템입니다. 이는 기하학적 정밀도와 명시적인 파지 신호를 제공합니다.
VLA 백엔드 ( $\pi0.5$ ): 변형 가능한 객체, 접촉이 풍부한 상호작용, 그리고 기하학적 계획이 신뢰할 수 없는 복구 동작에 사용되는 사전 학습된 VLA 정책입니다.

오케스트레이션 루프

에이전트 $\phi$ 는 관측, 이력, 지침을 도구 호출(tool calls)로 매핑합니다. 루프는 네 단계로 구성됩니다:

인지(Perceive): 에이전트는 장면을 관찰하며, 카메라 뷰, 로봇 상태, 오픈 보캐블러리 탐지기로부터 얻은 객체 라벨을 수신합니다.
추론(Reason): 에이전트는 고수준 지침을 짧고 구체적인 하위 목표(예: "빨간 컵을 집으세요")로 분해하고, 적절한 백엔드(강체용 TAMP 또는 변형 가능/복구용 VLA)를 선택합니다.
실행(Act): 에이전트는 하위 목표와 함께 선택된 백엔드를 호출합니다. 백엔드는 동작을 실행하고 제어권을 반환합니다.
검증 및 복구(Verify & Recover): 이것이 핵심적인 차별점입니다. 에이전트는 다음을 사용하여 결과를 검증합니다:
- 결정론적 신호: 그리퍼 너비 센서(is_grasped 플래그) 및 백엔드로부터의 명시적인 실패 플래그.
- 시각적 신호: 물체를 제대로 잡았거나 올바르게 놓았는지 확인하기 위한 사후 손목 이미지.
- 복구 로직: 검증이 실패하면(예: 미끄러짐, 숨겨진 물체, 또는 점유된 목적지), 에이전트는 진행을 멈춥니다. 대신, 장면을 재인지하고, 재계획하며, 동작을 재시도하거나, 대체 백엔드로 에스컬레이션합니다(예: 파지가 실패할 경우 TAMP에서 VLA로 전환).

결정적으로, 에이전트는 원시 모터 명령을 직접 내리지 않습니다. 대신 모든 움직임을 동결된 백엔드에 위임하며, 오직 무엇을 할 것인지와 이전 단계가 성공했는지 여부를 결정하기 위해서만 개입합니다.

주요 기여

로봇 일반화의 풀스택 프레임워크 제시: 본 논문은 로봇 일반화를 인지, 추론, 계획, 제어가 함께 작동해야 하는 문제로 재정의합니다. 저자들은 실패가 모터 데이터의 부족보다는 오케스트레이션 구성 요소(분해, 검증, 복구)의 부재 때문이라고 주장합니다.
Pigey 프레임워크: 동결된 VLA 정책과 파라미터화된 기술 위에 작업 수준의 스택(계획, 기술 선택, 검증, 복구)을 제공하는 폐쇄 루프 오케스트레이터입니다. 이는 추가적인 데이터 수집이나 사후 학습 없이 달성됩니다.
오케스트레이션 격차 해소: 저자들은 동일한 동결된 모터 기술이 직접 프롬프팅을 사용할 때보다 Pigey에 의해 구동될 때 훨씬 더 높은 성공률을 달성함을 입증했습니다. 이 격차는 모터 중심의 작업보다 추론 제한적인 작업(세계 지식, 조건문, 다단계 논리)에서 가장 두드러지게 나타납니다.

실험 결과

시스템은 Franka FR3 로봇(DROID 플랫폼)과 LIBERO-PRO 시뮬레이션 벤치마크를 사용하여 30개의 실제 작업에 대해 평가되었습니다.

실제 환경 성능 (DROID)

추론 제한 작업: 세계 지식, 조건부 논리, 다단계 추론, 안전 추론이 필요한 작업에서 원시 $\pi0.5$ VLA는 평균 **0%**에 가까운 성공률을 보였습니다. Pigey는 이를 **90–100%**로 끌어올렸습니다.
단순 제어: 단순한 pick-and-place 작업의 경우, 원시 VLA는 95%를 달성했고, Pigey는 **100%**를 달성했습니다. 이는 오케스트레이션이 실패한 파지를 감지하고 재시도함으로써 표준 작업에서도 신뢰성을 향상시킨다는 것을 보여줍니다.
전체: 30개 작업 전체에서 Pigey는 16.7%의 원시 VLA 및 48.7%의 오픈 루프 TAMP 베이스라인에 비해 **97.3%**의 성공률을 달성했습니다.

시뮬레이션 성능 (LIBERO-PRO)

변동성(객체 교체, 목표 교체, 공간 변화)에 대한 견고성을 테스트하는 LIBERO-PRO 벤치마크에서, 동결된 $\pi0.5$ -LIBERO 정책은 평균 성공률 **12.8%**를 기록했습니다.
Pigey는 작업별 미세 조정이나 정책 가중치의 변경 없이 이를 **53.3%**로 개선했습니다 (4배 증가).
시스템은 CaP-Agent0(18.2%) 및 원시 $\pi0$ (0%)와 같은 다른 베이스라인보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 범용 로봇에서 나타나는 "부족한 모터 능력"의 상당 부분이 사실은 "부족한 오케스트레이션 능력"임을 주장합니다. 모터 기술을 고수준의 에이전트 루프로 감싸는 방식으로 탈부착함으로써 다음과 같은 성과를 보여줍니다:

추론 시점의 오케스트레이션은 강력한 레버이다: 이는 값비싼 로봇 데이터 수집과 정책 재학습이 필요할 수 있는 역량을 회복할 수 있습니다.
"오케스트레이션 격차"는 실재한다: 동결된 기술이 단독으로 달성할 수 있는 것과 에이전트 루프 내에서 달성할 수 있는 것 사이의 차이는 특히 부정, 안전, 복구가 포함된 작업에서 매우 큽니다.
폐쇄 루프 검증은 필수적이다: 계획을 검증된 단계(파지 $\to$ 검증 $\to$ 배치)로 나누는 것은 눈먼 플래너가 처리할 수 없는 동적인 변화와 실패를 처리할 수 있게 합니다.

저자들은 새로운 로봇 데이터를 모터 추론을 가르치기 위해 투자하기 전에, 기존의 동결된 정책을 견고한 추론 시점 에이전트로 감싸는 데 얼마나 많은 역량을 회복할 수 있는지 먼저 측정해야 한다고 결론짓습니다. 비록 Pigey가 프런티어 모델에 대한 API 호출로 인해 지연 시간과 비용을 발생시키지만, 이는 로봇 상호작용 데이터의 확장이 초래하는 과도한 비용을 피할 수 있는 일반화의 경로를 제시합니다.