💻 computer science

VoLo: A Physical Orchestrator for Open-Vocabulary Long-Horizon Manipulation

이 논문은 새로운 RoboVoLo 벤치마크와 실세계 실험을 통해 검증된, 강건한 오픈 보캐블러리 장기 조작을 달성하기 위해 중단 가능한 로봇 도구를 동적으로 조종하는 VLM 기반 에이전트를 특징으로 하는 물리적 오케스트레이션 프레임워크인 VoLo를 소개한다.

원저자: Siyi Chen, Hugo Hadfield, Alex Zook, Mikaela Angelina Uy, Chan Hee Song, Erwin Coumans, Xuning Yang, Faisal Ladhak, Qing Qu, Stan Birchfield, Jonathan Tremblay, Valts Blukis

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Siyi Chen, Hugo Hadfield, Alex Zook, Mikaela Angelina Uy, Chan Hee Song, Erwin Coumans, Xuning Yang, Faisal Ladhak, Qing Qu, Stan Birchfield, Jonathan Tremblay, Valts Blukis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 지저분한 식탁을 치우는 법을 가르치려 한다고 상상해 보세요. 단순히 "컵을 집어라"라는 명령이 아닙니다. 그것은 복잡한 문장입니다. "식탁 위의 모든 물건을 그릇에 넣되, 빨간 블록과 참치 통조림은 제외해라."

이것은 대부분의 로봇에게 악몽과 같습니다. 로봇은 엉뚱한 것을 잡거나, 떨어뜨리거나, 미끄러운 통을 집으려다 막혀버릴 수 있습니다. 그들은 종종 멈춰서 생각하고 실수를 바로잡는 능력이 부족합니다.

VoLo라는 논문은 이를 해결하기 위한 새로운 방법인 **물리적 오케스트레이션(Physical Orchestration)**을 소개합니다. 다음은 쉬운 용어로 풀이한 내용입니다.

1. 문제점: "정지된 세계" vs "움직이는 세계"

대부분의 AI 에이전트(챗봇 같은)는 "정지된 세계"에 삽니다. 그들은 단어를 입력하기 전까지 원하는 만큼 오래 생각할 수 있습니다. 그들이 생각하는 동안 세상은 변하지 않습니다.

하지만 실제 로봇은 움직이는 세계에 삽니다. 만약 로봇이 무거운 접시를 들고 있는 상태에서 10초 동안 생각하느라 멈춘다면, 접시는 미끄러지거나 떨어질 수 있습니다. 로봇은 세상이 여전히 돌아가고 있는 동안에도 결정을 내려야 합니다.

2. 해결책: "지휘자" (VoLoAgent)

저자들은 VoLoAgent라는 시스템을 만들었습니다. 이 에이전트를 단일 로봇의 뇌가 아니라, 하나의 교향악단 지휘자라고 생각하십시오.

지휘자 (VLM): 이것은 복잡한 지침을 이해하는 똑똑한 "두뇌"(시각-언어 모델)입니다. 직접 물건을 들어 올리는 역할은 하지 않습니다. 대신 악보를 들고 음악가들에게 무엇을 연주할지 알려줍니다.
음악가들 (도구들): 지휘자는 호출할 수 있는 다양한 "음악가"(도구)들을 가지고 있습니다:
- 무용수 (VLA): 부드럽고 연속적인 움직임(마치 춤을 추는 것과 같은)에 뛰어난 로봇 정책입니다.
- 눈 (인식 모델): 물체가 정확히 무엇인지 또는 어디에 있는지 포착하는 데 특화된 도구들입니다 (마치 매가 쥐를 찾아내는 것처럼).
- 손 (행동 프리미티브): "이것을 잡아라" 또는 "저것을 내려놓아라"와 같은 단순하고 신뢰할 수 있는 명령입니다.

3. 작동 방식: "중단 가능한" 춤

기존의 시스템에서는 로봇이 일단 움직이기 시작하면, 멈추지 않고 전체 춤을 끝까지 마쳐야 했습니다. 만약 잘못된 물체를 집었다 하더라도, 로봇은 그냥 계속 진행하다가 실패하게 됩니다.

VoLoAgent는 다릅니다. 이 시스템은 "무용수"(로봇의 움직임)를 중단 가능한 도구로 취급합니다.

지휘자는 항상 듣고 있습니다. 로봇이 움직이는 동안에도 지휘자는 비디오 피드를 지켜보고 있습니다.
"정지" 버튼: 만약 지휘자가 로봇이 레몬 대신 엉뚱한 물체(예: 참치 통조림)를 향해 손을 뻗는 것을 본다면, 즉시 "일시정지" 버튼을 누릅니다.
전환: 그러면 지휘자는 이렇게 말합니다. "춤을 멈추세요! '눈'을 사용하여 레몬을 찾은 다음, '손'으로 그것을 잡도록 전환한 뒤, 다시 '무용수'를 불러 동작을 마무리하세요."

이 과정은 계획 → 실행 → 모니터링 → 수정의 연속적인 루프로 일어납니다.

4. 테스트: "RoboVoLo" 벤치마크

이 방식이 효과가 있음을 증명하기 위해, 팀은 RoboVoLo라는 거대한 테스트를 구축했습니다. 126개의 서로 다른 도전 과제가 포함된 비디오 게임 레벨을 상상해 보세요. 여기에는 다음 능력이 필요합니다:

상식: "참치 통조림"은 무겁고 미끄럽다는 것을 아는 것.
기억력: 이미 파란색 블록을 옮겼으므로 다시 옮기지 않는 것.
복잡한 언어: "왼쪽에서 두 번째 아이템"이나 "빨간색을 제외한 나머지 전부"와 같은 명령을 이해하는 것.
세상 지식: "불활성 기체"는 특정 통에, "금속"은 다른 통에 넣어야 한다는 것을 아는 것.

5. 결과: 지휘자의 승리

이 시스템을 다른 로봇들과 비교 테스트했을 때:

단독 로봇 (솔로이스트): 이 로봇들은 스스로 모든 것을 하려고 했습니다. 복잡한 지침에 혼란을 느끼거나 스스로의 실수를 바로잡지 못해 자주 실패했습니다.
VoLoAgent (지휘자): 도구를 전환하고 오류를 수정하기 위해 멈춤으로써, VoLoAgent는 **42%**의 성공률을 기록한 반면, 그다음으로 우수한 시스템은 겨우 **12%**의 성공률을 보였습니다.

핵심 요점:
이 논문은 로봇을 똑똑하게 만드는 비결이 단순히 "무용수"(로봇 팔)를 더 좋게 만드는 것이 아님을 보여줍니다. 핵심은 언제 도구를 바꿀지, 언제 멈출지, 그리고 실수가 재앙이 되기 전에 어떻게 수정할지를 아는 똑똑한 "지휘자"를 갖추는 것입니다.

그들은 심지어 이 시스템을 (컴퓨터 시뮬레이션이 아닌) 실제 로봇에 테스트했으며, 표준 로봇보다 3배 더 나은 성능을 보여줌으로써 이 "지휘자" 접근 방식이 복잡하고 무질서한 실제 세상에서도 작동함을 입증했습니다.

기술 요약: VoLo: 개방형 어휘 및 장기 실행 조작을 위한 물리적 오케스트레이터

1. 문제 정의

실제 세계의 로봇 조작은 점점 더 개방형 어휘(open-vocabulary) 지시와 장기 실행(long-horizon) 작업의 특징을 보이고 있습니다. 템플릿 기반의 pick-and-place 작업과 달리, 이러한 작업은 로봇이 유연한 자연어(예: "빨간 블록을 제외하고 테이블 위의 모든 물건을 그릇에 담아줘")를 해석하고, 복잡한 다중 객체 장면을 추론하며, 단계 전반에 걸쳐 상태 메모리를 유지하고, 실패로부터 적응적으로 회복할 수 있는 능력을 요구합니다.

기존 방식들은 이러한 환경에서 상당한 한계에 직면해 있습니다:

엔드 투 엔드 시각-언어-행동(VLA) 및 월드 액션 모델(WAM): 뛰어난 숙련도를 보여주지만, 견고한 계획 수립, 실시간 모니터링, 그리고 복잡한 다중 객체 장면에서의 실패 회복 능력이 부족한 경우가 많습니다. 이들의 실행은 주로 오픈 루프(open-loop) 방식입니다.
LLM/VLM 기반 Code-as-Policy: 명시적인 추론을 지원하지만, 고정된 도구 세트와 제어 API에 의해 제약을 받는 경우가 많으며, 접촉이 빈번한(contact-rich) 조작에 어려움을 겪고 모니터링 및 회복 메커니즘을 자주 간과합니다.
계층적 시스템: VLM 플래너와 VLA 실행기를 결합한 현재의 시스템들은 대개 제어 흐름을 "하드와이어(hard-wire)"합니다. 이들은 VLA를 중단 가능한 기능이 아닌 고정된 실행기로 취급하며, 이는 시스템이 실행 도중에 인지, 행동, 회복 도구를 적응적으로 조합하는 능력을 제한합니다.

핵심 과제는 **물리적 오케스트레이션(Physical Orchestration)**입니다. 가상 에이전트와 달리 물리적 에이전트는 세계가 움직이는 동안에도 결정을 내려야 합니다. 이는 믿음(belief)과 현실 사이의 괴리를 모니터링하고, 실행 중인 동작을 안전하게 중단하며, 재계획이나 도구 전환을 통해 방향을 재설정할 수 있는 시스템을 필요로 합니다.

2. 방법론: VoLoAgent

저자들은 VoLoAgent를 제안합니다. 이는 이질적인 로봇 역량을 하나의 폐쇄 루프 에이전트로 통합하며, 이를 Vision-Language Model(VLM)이 관리하도록 합니다.

핵심 아키텍처

VoLoAgent는 VLA/WAM을 유일한 실행기가 아니라, 인지 모델 및 고전적 행동 프리미티브와 함께 관리되는 하나의 **중단 가능한 도구(interruptible tool)**로 취급합니다. 시스템은 Monitor–Halt–Redirect 루프를 통해 작동합니다:

계획(Planning): VLM은 사용자 지시를 원자적 하위 목표(atomic subgoals)로 분해하여 외부 메모리에 저장합니다.
실행 및 모니터링(Execution & Monitoring): 에이전트는 도구 호출(일반적으로 연속 제어를 위한 VLA 롤아웃)을 발행하고 동시에 실행을 모니터링합니다.
- 비동기 도구(Asynchronous Tools): 로봇 동작은 에이전트의 추론과 독립적으로 실행됩니다.
- 이중 메모리(Dual Memory): "빠른" 모니터링 컨텍스트(현재 관측값, 활성 하위 목표)는 괴리를 감지하기 위해 고주파수(0.2Hz)로 읽히는 반면, "느린" 숙고 컨텍스트(작업 이력, 도구 카탈로그)는 계획 시점에만 참조됩니다.
회복(Recovery): 실패(예: 잘못된 객체, 충돌, 끼임)가 감지되면, 활성화된 도구를 유휴 상태로 만들고(안전 지향적 유휴 상태), VLM은 회복 전략을 선택하기 위한 숙고 단계에 진입합니다:
- 계속(Continue): 알람이 가짜 양성(false positive)인 경우 실행을 재개합니다.
- 재계획(Replan): 남은 하위 목표 분해를 다시 발행합니다.
- 재작성(Rewrite): 새로운 하위 목표 지시와 함께 VLA를 실행합니다.
- 도구 전환(Switch Tools): 인지 모델(예: SAM3, Molmo2)이나 프리미티브(예: grasp, place)를 호출하여 VLA에 제어권을 넘기기 전에 상태를 교정합니다.

도구 제품군(Tool Families)

VLA/WAM: 연속적인 시각-운동 제어를 제공하지만(예: $\pi_0.5$ , DreamZero), 개방형 어휘 그라운딩에 어려움을 겪을 수 있습니다.
인지 도구(Perception Tools): 개방형 어휘 탐지 및 세그멘테이션을 제공합니다(예: GroundingDINO, SAM3, Molmo2).
행동 프리미티브(Action Primitives): 기하학적 근거를 가진 모션 프리미티브(예: grasp(target), place(destination))로, 인지와 역기구학(IK) 및 GraspGen을 결합합니다.

3. 벤치마크: RoboVoLo

이러한 역량을 평가하기 위해 저자들은 NVIDIA Isaac Lab 기반의 고충실도 시뮬레이터인 RoboLab을 사용하여 구축된 RoboVoLo 벤치마크를 도입했습니다. 이는 126개의 작업을 15개 카테고리와 4개 서브 세트로 구성합니다:

상식(Common Sense): 장면 맥락으로부터 의도를 추론해야 합니다 (예: 기능적 역할에 따라 아이템 분류).
메모리(Memory): 행동 전반에 걸쳐 상태를 추적해야 합니다 (예: 스태킹 순서 역순 배치, 원래 구성 복구).
복잡한 참조(Complex References): 미세한 언어적 단서(공간, 순서, 크기, 부정)를 해결해야 합니다.
세계 지식(World Knowledge): 외부 지식(수학, 예술, 화학, 재활용)을 적용해야 합니다.

이 벤치마크는 작업 수준의 성공 지표와 상세한 실패 모드 진단(로봇 수준의 실패인 "끼임" 또는 "잘못된 객체"와 VLM 수준의 실패인 "계획 오류" 또는 "모니터링 누락")을 모두 포함합니다.

4. 실험 결과

실험은 시뮬레이션(126개 RoboVoLo 작업 + 120개 RoboLab-Vague 작업)과 실제 Franka FR3 로봇(14개 작업)에서 수행되었습니다.

주요 결과

우수한 성능: VoLoAgent (Full)는 모든 서브 세트에서 단일 VLA 모델, code-as-policy 시스템, 그리고 TAMP 스타일의 베이스라인을 크게 상회하는 성능을 보였습니다.
- 상식: 가장 강력한 베이스라인 대비 +38.9% 향상.
- 복잡한 참조: +30.2% 향상.
- 메모리: +14.3% 향상.
- 실제 로봇: 단독 VLA( $\pi_0.5$ )의 성공률 14.3%에 비해 **42.9%**의 성공률을 달성하여 약 3배의 개선을 보였습니다.
실패 회복: VoLoAgent는 실패 에피소드의 54%(38/70)에서 회복에 성공한 반면, 베이스라인 VLA는 단 13%(11/86)만을 회복했습니다.
상호 보완성: 시스템은 서로 다른 도구들의 강점을 활용합니다. 예를 들어, VLA가 잘못된 객체를 집었을 때, 인지 가이드형 grasp 프리미티브가 그리퍼를 재배치함으로써 VLA가 접촉이 빈번한 조작을 완료할 수 있도록 합니다.
절제 연구(Ablation Studies):
- VLA를 제거하면(프리미티브에만 의존) 성능이 크게 떨어집니다.
- 다른 도구들을 제거하면(VLA에만 의존) 역시 성능이 떨어지며, 이는 오케스트레이터의 필요성을 확인시켜 줍니다.
- VLM 백본의 선택이 중요합니다. 더 강력한 모델(Claude Opus 4.6)은 더 나은 오케스트레이션을 보여주는 반면, 약한 모델(Qwen3-VL-8B)은 모니터링 및 계획에서의 높은 실패율로 인해 이득이 미미합니다.

실패 분석

VLM 실패: 다양한 VLM에서 가장 흔한 실패 모드는 완료 모니터링 오류(하위 목표가 완료되었다고 잘못 판단함)였으며, 이는 전체 이벤트의 67% 이상을 차지했습니다. 계획 오류는 드물었습니다.
세계(World) 실패: 가장 흔한 물리적 실패는 "끼임" 동작과 "잘못된 객체" 선택이었습니다. VoLoAgent의 중단 및 도구 전환 능력은 이를 해결하는 데 결정적이었습니다.

5. 의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

VoLoAgent: VLA/WAM을 VLM이 관리하는 루프 내의 중단 가능한 도구로 취급하여, 실시간 모니터링, 실행 중 개입, 적응적 회복을 가능하게 하는 적응형 도구 증강 로봇 에이전트입니다.
RoboVoLo: 장기 실행 상태 추적, 개방형 어휘 추론, 적응적 회복을 격리하여 평가하도록 설계된 고충실도 벤치마크로, 단기 기술이나 단순화된 장면에 집중된 기존 벤치마크의 공백을 메웁니다.
경험적 검증: 물리적 오케스트레이션이 단독 액션 모델이나 경직된 파이프라인보다 유의미하게 우수함을 시뮬레이션과 실제 하드웨어 모두에서 대규모 연구를 통해 입증했습니다.

저자들은 에이전트가 멈추지 않는 세계 속에서 언제 행동하고, 진행하고, 멈출지를 결정해야 하는 "물리적 오케스트레이션" 패러다임이 견고하고 범용적인 로봇 조작을 향한 중요한 단계임을 강조합니다. 이 연구는 VLA 모델이 강력하더라도, 복잡한 실제 개방형 어휘 작업을 처리하기 위해서는 모니터링 인지 루프 내로의 유연한 통합이 필수적임을 보여줍니다.

6. 한계점

논문은 다음과 같은 몇 가지 한계를 인정합니다:

모니터링 지연 시간(Latency): 클라우드 기반 VLM은 지연 시간(1~5초)을 유발하며, 이는 시스템이 빠른 실패를 놓치게 할 수 있어 더 빠른 로컬 모니터의 필요성을 시사합니다.
체형(Embodiment): 현재 데모는 평행 그리퍼를 가진 단일 암 매니퓰레이터로 제한되어 있습니다. 프레임워크는 양팔 또는 이동 로봇을 지원하지만, 이를 확장하려면 VLA를 재학습하거나 교체해야 합니다.
안전성: "안전한 유휴 상태(Safe idling)"는 현재 팔을 멈추는 것으로 구현되어 있으며, 이는 능동적으로 움직여 안전을 유지해야 하는 체형(예: 균형을 잡는 휴머노이드)에는 일반화되지 않을 수 있습니다.
모니터링 정확도: 완료 모니터링은 여전히 주요 병목 구간이며, 다양한 VLM 백엔드 전반에서 높은 오류율을 보입니다.