💻 computer science

Practice Makes Policies: Bootstrapping and Consolidating Robotic Capabilities from Zero Human Demonstrations

이 논문은 휴리스틱 추론, 예시 재사용, 그리고 반사적 실행을 조율함으로써 인간의 시연 없이도 로봇 조작 능력을 효율적인 폐루프 정책으로 자율적으로 부트스트래핑하고 통합하는 자기 개선형 계층적 체화된 에이전트인 HERO를 소개한다.

원저자: Jialiang Li, Yuhan Wang, Haojun Li, Gaojing Zhang, Yangtian Ye, Qipeng Liu, Haotian Liang, Wenzhao Lian

게시일 2026-07-30

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jialiang Li, Yuhan Wang, Haojun Li, Gaojing Zhang, Yangtian Ye, Qipeng Liu, Haotian Liang, Wenzhao Lian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 단순히 인간 프로그래머가 작성한 엄격한 스크립트를 따르는 것이 아니라, 우리처럼 움직이고 생각하는 법을 배우는 세상을 상상해 보십시오. 이것이 바로 '체화된 AI(Embodied AI)'의 꿈입니다. 컴퓨터에 몸을 부여하여 실제 세상과 상호작나게 하는 것입니다. 현재 로봇에게 새로운 것을 가르치는 것은 보통 유아에게 신발 끈 묶는 법을 가르치는 것과 비슷합니다. 아이의 손을 잡고, 정확히 무엇을 해야 하는지 보여주며, 근육이 그 동작을 '기억'할 때까지 수백 번 반복해야 합니다. 이를 '인간의 시연으로부터의 학습(learning from human demonstrations)'이라고 합니다. 하지만 만약 로봇이 스스로 배울 수 있다면 어떨까요? 당신이 손가락 하나 까딱하여 길을 보여주지 않아도, 로봇이 세상을 관찰하고 이것저것 시도해 봄으로써 컵을 잡거나, 상자를 밀거나, 서랍을 여는 법을 스스로 터득할 수 있다면 어떨까요? 이것이 바로 연구자들이 추적하고 있는 거대한 질문입니다. 어떻게 하면 로봇이 아무런 도움 없이 기초부터 자신만의 '근육 기억'을 구축하게 할 수 있을까요?

여기에 스스로 학습하는 견습생처럼 행동하는 새로운 로봇 두뇌, HERO가 등장합니다. 이 논문은 HERO를 인간의 도움 없이 시작하여 영리한 3단계 진화를 통해 사물을 조작하는 법을 배우는 시스템으로 소개합니다. 이를 로봇이 성장하는 세 가지 뚜렷한 단계라고 생각하십시오. 첫째, '휴리스틱 추론(Heuristic Reasoning)' 단계를 사용하는데, 이는 마치 거대한 지식 도서관을 활용하여 한 번도 본 적 없는 과업을 수행하기 위해 똑똑하게 추측하는 탐정의 역할을 합니다. 만약 이 방법이 실패하거나 속도가 느려지면, '예시 재사용(Exemplar Reuse)' 단계로 넘어갑니다. 이는 이전에 유사한 물체를 성공적으로 움직였던 기억을 떠올려, 새로운 상황에 맞춰 그 동작을 조정하여 복사하는 것과 같습니다. 마지막으로, 충분히 연습한 후에는 순수한 근육 기억인 '반사적 실행(Reflexive Execution)'을 발달시킵니다. 이는 매번 깊이 생각할 필요가 없는 빠르고 자동적인 반응입니다. 논문은 이 세 가지 기술을 혼합하고 로봇이 스스로 연습하게 함으로써, 블록 쌓기나 서랍 찾기와 같은 복잡한 과업을 수행하는 법을 배울 수 있으며, 결국에는 거의 생각하지 않고도 이를 수행할 수 있을 정도로 숙련될 수 있음을 보여줍니다.

논문의 핵심 이야기: 제로에서 근육 기억까지

상하이 교통대학교와 서섹스 대학교의 연구진으로 구성된 HERO 개발팀은 특정 문제를 해결하고자 했습니다. 오늘날 대부분의 로봇은 '정적인' 상태에 갇혀 있습니다. 즉, 일반적인 추론(무엇을 할지 말하는 것)에는 매우 뛰어나지만 실제 움직임은 느리고 서투르거나, 혹은 움직임은 매우 빠르지만 먼저 정확한 방법을 보여주어야만 움직일 수 있는 상태입니다. HERO는 스스로 기술을 진화시키는 시스템을 만듦으로써 이 간극을 메우고자 합니다.

논문은 로봇이 학습하기 위해 방대한 양의 인간 영상을 데이터베이스로 가질 필요가 있다는 생각에 반론을 제기합니다. 대신, HERO는 인간의 시연이 전혀 없는 상태에서 시작합니다. 이 여정은 '휴리스틱 부트스트래퍼(Heuristic Bootstrapper, 레벨 1)'를 사용하여 시작됩니다. "빨간색 패키지를 집어라"와 같은 새로운 과업에 직면했을 때, 이 레이어는 탐정처럼 작동합니다. 로봇은 시각-언어 모델(VLM, 이미지와 언어를 이해하는 AI의 일종)을 사용하여 장면을 관찰하고, 물체를 어디서 잡아야 할지 추측하며, 경로를 계획합니다. 완벽하지 않고 다소 느릴 수 있지만, 사전 훈련 없이도 과업을 수행해 냅니다.

로봇이 무언가를 성공적으로 잡으면, 그것을 그냥 잊어버리지 않습니다. 성공 사례를 '예시(exemplar)'로 저장합니다. 로봇이 더 많이 연습함에 따라 두 번째 단계인 '예시 가속기(Exemplar Accelerator, 레벨 2)'로 진입합니다. 이제 이전에 수행했던 것과 유사한 과업을 마주하면, 다시 추측할 필요가 없습니다. 저장된 예시를 찾아내어, 그 오래된 동작을 새로운 물체에 맞게 늘리거나 회전시켜 실행합니다. 이는 지난주에 특정 병을 열었던 방법을 기억했다가, 같은 크기의 새로운 병을 열 때 그 손목 비틀기 동작을 그대로 사용하는 것과 같습니다. 이 단계는 추측 단계보다 훨씬 빠릅니다.

마지막이자 가장 인상적인 단계는 '반사적 정책(Reflexive Policy, 레벨 3)'입니다. 로봇이 수백 번의 성공적인 시도를 수집한 후, 특별한 '근육 기억' 모델을 훈련시킵니다. 이 모델은 생각하고 복사하는 단계를 완전히 건너뜁니다. 물체와 목표를 보고 즉시 로봇 팔에 올바른 명령을 보냅니다. 이것이 논문에서 언급된 '폐루프(closed-loop)' 제어로, 로봇이 자신의 움직임을 지속적으로 확인하고 실시간으로 조정하는 것을 의미합니다. 이는 마치 사람이 물리 법칙을 생각하지 않고 공을 잡는 것과 같습니다.

실제 세계에서의 작동 방식

이를 테스트하기 위해 연구진은 네 대의 카메라가 설치된 실제 실험실 환경에 Franka Emika Panda 로봇 팔을 설치했습니다. 그리고 네 가지 서로 다른 도전 과제를 주었습니다: 다양한 색상의 패키지 집기, 특정 순서대로 블록 쌓기, 숨겨진 크로와상을 찾기 위해 서랍 열기, 그리고 숨겨진 붕대 롤을 드러내기 위해 상자 옮기기입니다.

로봇은 이 과업들을 단 한 번만 수행한 것이 아니라, **자율적 능력 진화(Autonomous Capability Evolution)**의 연속적인 사이클을 실행했습니다. 그 마법 같은 루프는 다음과 같습니다:

시도(Try): 로봇이 과업을 시도합니다. 새로운 과업이라면 '추측(L1)' 모드를 사용합니다.
저장(Save): 성공하면 동작을 저장합니다. 이미 본 적 있는 과업이라면 더 빠르게 진행하기 위해 '복사(L2)' 모드를 사용할 수 있습니다.
리셋(Reset): 과업을 마친 후, 로봇은 자동으로 모든 것을 시작 위치로 되돌리는 방법(역과업)을 파악하여 다시 시도할 수 있게 합니다. 로봇은 총 664번을 수행했습니다!
학습(Learn): 충분한 데이터를 모은 후, '근육 기억(L3)' 모델을 훈련시킵니다.

결과는 꽤 시사하는 바가 컸습니다. 논문에 따르면 HERO는 인간의 도움을 거의 받지 않고도 이 방대한 양의 데이터를 수집할 수 있었습니다. 서브태스크당 인간의 개입은 약 1.03초에 불과했으며, 이는 주로 로봇이 막혔을 때 장면을 수정하는 용도였습니다. 로봇은 인간의 손길 없이 46회의 연속적인 서브태스크 사이클을 완수했습니다.

최종 로봇을 이 과업들에 테스트했을 때, 전체 HERO 시스템(세 가지 레이어 모두 사용)은 네 가지 서로 다른 과업에 대해 **86.0%**의 성공률을 달お했습니다. 이는 하나의 레이어만 사용했을 때보다 현저히 높았습니다. 예를 들어, '추측' 레이어(L1)만 사용했을 경우 성공률은 **76.0%**로 떨어졌습니다. '근육 기억' 레이어(L3)만 사용했을 경우에는 **70.0%**였습니다. 논문은 비결이 바로 '유연성'에 있다고 제안합니다. 가능한 한 빠른 근육 기억을 사용하되, 상황이 까다로워지거나 새로운 것에 직면했을 때 투입할 수 있는 '복사' 및 '추측' 기술을 준비해 두는 것입니다.

트레이드오프와 문제점

논문은 한계점에 대해서도 솔직하게 밝히고 있습니다. '추측' 레이어(L1)는 많은 생각과 3D 매핑을 수행해야 하기 때문에 서브태스크당 약 46.57초가 걸려 가장 느립니다. '복사' 레이어(L2)는 20.96초로 더 빠릅니다. '근육 기억' 레이어(L3)는 반복적인 과업에 가장 효율적이지만, 실제 로봇이 움직이는 시간을 포함하여 37.90초가 소요됩니다(이는 긴 과정입니다).

연구진은 또한 실패가 발생하는 지점을 분석했습니다. 120번의 과업 시도 중 73번은 오류 없이 완벽하게 완료되었습니다. 발생한 실패들은 대부분 로봇이 물체의 위치를 잘못 판단하거나(인지 오류), '두뇌'가 잘못된 이동 순서를 계획했기 때문이었습니다. 흥쟁스럽게도 시스템의 '모니터링' 기능은 매우 우수하여, 과업 실패를 **94.5%**의 확률로 정확히 식별해 냈으며, 이를 통해 다시 시도하거나 도움을 요청할 수 있었습니다.

저자들은 HERO가 큰 진전이지만 아직 완벽하지는 않다고 제안합니다. '추측' 부분은 여전히 느릴 수 있으며 때때로 물체의 3D 형태를 잘못 읽기도 합니다. 또한, 로봇은 현재 인간이 설계한 기본적인 동작(예: 잡기, 밀기, 당기기)의 사전 정의된 목록에 의존하고 있습니다. 아직 스스로 완전히 새로운 유형의 움직임을 만들어낼 수는 없습니다.

요약

간단히 말해, HERO는 로봇이 백지 상태에서 시작하여, 직접 해보며 배우고, 결국 인간이 매 단계마다 손을 잡아주지 않아도 자신만의 '근육 기억'을 발달시킬 수 있음을 증명합니다. 이는 로봇의 미래가 단순히 더 똑똑한 두뇌나 더 강한 팔을 만드는 것이 아니라, 경험이 쌓임에 따라 생각하기, 복사하기, 반응하기 사이를 매끄럽게 전환할 수 있는 시스템을 만드는 데 있다는 것을 시사합니다. 이 논문은 모든 로봇 문제를 해결했다고 주장하는 것이 아니라, 복잡하고 예측 불가능한 우리 세상에서 진정으로 배우고 적응할 수 있는 기계들을 향한 유망한 경로를 제시하고 있습니다.

기술 요약: HERO – 제로 휴먼 데몬스트레이션으로부터 로봇 역량의 부트스트래핑 및 통합

문제 정의

범용 로봇 조작(General-purpose robotic manipulation)은 오픈 월드 환경에서 다양한 과업을 수행할 수 있어야 하며, 물리적 상호작용을 통해 지속적으로 기술을 개선할 수 있는 시스템을 필요로 한다. 기존의 접근 방식들은 다음과 같은 근본적인 트레이드오프에 직면해 있다:

모듈형 에이전트 프레임워크 (Modular Agentic Frameworks): 파운데이션 모델을 활용하여 일반적인 추론 능력을 갖추고 있지만, 높은 추론 지연 시간(inference latency) 문제를 겪으며 경험 재사용이 제한적이어서 정적인 상태에 머무는 경우가 많다.
엔드 투 엔드 비주오모터 정책 (End-to-End Visuomotor Policies): 효율적인 반응형 제어를 가능하게 하지만, 인간의 시연(human demonstrations)에 크게 의존하며 자율적인 역량 습득 능력이 부족하다.
최근의 자기 개선 에이전트 (Recent Self-Improving Agents): 경험 수집을 자동화하지만, 대개 통합된 메커니즘을 통한 추론의 효율적인 체화된 행동(embodied behaviors) 변환보다는 특정 과업 최적화에 집중한다.

해결하고자 하는 핵심 과제는 로보트가 어떻게 일반 목적의 추론으로부터 부트스트래핑하고, 인간의 시연 없이도 자율적으로 물리적 경험을 축적하며, 이러한 경험을 효율적인 폐쇄 루프(closed-loop) 조작 능력으로 점진적으로 컴파일할 수 있는가이다.

방법론: HERO 프레임워크

HERO는 역량 습득, 진화, 실행을 통합하는 자기 개선형 계층적 체화 에이전트(self-improving hierarchical embodied agent)이다. 이는 로봇 학습을 **에이전틱 오케스트레이터(Agentic Orchestrator)**에 의해 조정되는 세 가지 뚜렷한 역량 계층을 통한 '의도적 추론'에서 '근육 기억(muscle memory)'으로의 발전 과정으로 모델링한다.

1. 역량 계층 (Capability Hierarchy)

HERO는 서로 다른 추상화 수준과 효율성을 나타내는 세 가지 계층으로 로봇 지능을 구성한다:

휴리스틱 부트스트래퍼 (L1): 제로샷 추론 (Heuristic Bootstrapper: Zero-Shot Reasoning)
- 기능: 시각-언어 모델(VLM)을 사용하여 인간의 시연 없이 과업을 실행한다.
- 메커니즘: 언어 지시문과 시각적 관측치를 바탕으로, VLM은 목표를 사전 정의된 프리미티브 액션 스킬(Grasp, Place, Push, Pull)로 분해한다.
- 그라운딩 (Grounding): 시스템은 다중 뷰 RGB와 Depth-Anything-3를 사용하여 3D 작업 공간을 재구성한다. VLM은 의미론적 2D 키포인트(예: 그리퍼 경계, 타겟 위치)를 예측하며, 이는 3D 공간으로 리프팅되어 타겟 엔드 이펙터 포즈 또는 모션 경로를 계산하는 데 사용된다.
- 출력: 기하학적 추론에 기반한 실행 가능한 궤적(trajectories).
엑셈플러 액셀러레이터 (L2): 원샷 빠른 전이 (Exemplar Accelerator: One-Shot Fast Transfer)
- 기능: 이전의 성공적인 경험을 적응시켜 실행을 가속화한다.
- 메커니즘: 엑셈플러 라이브러리로부터 관련 있는 과거 궤적을 검색(단어 수준의 최장 공통 부분 수열 유사성 사용)한 후, L2는 현재 오브젝트 포인트클라우드와 엑셈플러 사이의 강체 3D 변환(rigid 3D transformation)을 계산한다.
- 정교화 (Refinement): 경량화된 PointNet++ 회귀기와 GICP(Generalized Iterative Closest Point)가 변환을 정교화하여 참조 궤적을 새로운 장면 레이아웃에 맞게 워핑(warp)함으로써, 반복적인 VLM 호출을 방지한다.
리플렉시브 정책 (L3): 폐쇄 루프 제어 (Reflexive Policy: Closed-Loop Control)
- 기능: 효율적이고 반응적인 모터 제어를 제공한다.
- 메커니즘: 언어 지시와 시각적 관측을 로봇의 행동으로 직접 매핑하는 학습된 비주오모터 정책( $\pi_{0.5}$ )으로 구현된다.
- 장점: 오픈 루프 궤적을 생성하는 L1 및 L2와 달리, L3는 실시간 피드백에 따라 동작을 지속적으로 적응시키므로 섭동(perturbations)에 대한 강건성을 제공한다.

2. 에이전틱 오케스트레이션 (Agentic Orchestration)

중앙 오케스트레이터는 두 가지 운영 루프를 통해 계층 간의 상호작용을 관리한다:

H→E→R 자율 역량 진화 (데이터 수집):
- 미경험 서브태스크에 대해, 오케스트레이터는 추론을 통해 행동을 생성하도록 L1을 호출한다.
- 성공적인 실행은 평가된 후 재사용 가능한 엑셈플러로 저장된다.
- 전이 가능한 경험이 축적됨에 따라, 오케스트레이터는 더 빠른 적응을 위해 L2로 전환한다.
- 충분한 데이터가 수집되면, 궤적을 필터링하여 L3를 훈련시키는 데 사용함으로써 경험을 반사적 정책으로 통합한다.
- 자율 리셋 (Autonomous Reset): 지속적인 수집을 가능하게 하기 위해, 오케스트레이터는 다음 사이클을 위해 장면을 복구하는 "역과업(reverse task)"을 합성하고 실행하여 인간의 개입을 최소화한다.
R→E→H 적응형 과업 실행 (배포):
- 시스템은 확립된 행동에 대해 L3(반사적 정책)를 우선적으로 사용한다.
- L3를 사용할 수 없거나 실패할 경우, L2(엑셈플러 재사용)로 폴백(fallback)한다.
- 전이 가능한 엑셈플러가 존재하지 않으면, L1(휴리스틱 추론)을 호출한다.
- 오케스트레이터는 실행 결과를 지속적으로 모니터링하며, 필요한 경우에만 재계획(replanning)을 수행하거나 인간의 개입을 요청한다.

주요 기여

계층적 역량 오케스트레이션: 오픈 월드 조작을 위한 휴리스틱 추론, 엑셈플러 재사용, 반사적 비주오모터 실행을 통합하는 HERO 프레임워크를 도입하였다.
자율적 역량 진화: 인간의 시연 없이도 물리적 경험을 재사용 가능한 역량으로 변환하는 폐쇄 루프 진화 프로세스를 통해, 제로 휴먼 데몬스트레이션으로부터 조작 능력을 부트스트래핑하는 패러다임을 제시하였다.
적응형 과업 실행: 경험 가용성과 실행 피드백에 따라 적절한 역량 계층을 선택함으로써 효율성과 강건성의 균형을 맞추는 동적 스케줄링 메커니즘을 제시하였다.

실험 결과

프레임워크는 Franka Emika 로봇을 사용하여 네 가지 실제 과업(Package Picking, Block Stacking, Drawer Search, Cuboid Discovery)에 대해 평가되었다.

자율 데이터 수집: HERO는 최소한의 인간 개입(장면 복구를 위한 평균 1.03초의 서브태스크당 소요 시간)으로 664개의 성공적인 순방향 및 역방향 서브태스크 에피소드를 수집했다. 오케스트레이터는 실행 결과의 자율 평가에서 94.3%의 정확도를 달양했다.
역량 진화: 데이터가 축적됨에 따라, 시스템은 L1에 의존하는 단계에서 L2를 빈번하게 호출하는 단계로, 그리고 최종적으로 L3를 훈련하는 단계로 성공적으로 전환되었다. L2는 L1(0.85 episodes/min)에 비해 더 높은 데이터 수집 효율성(1.32 successful episodes/min)을 보였다.
적응형 실행 성능:
- 전체 HERO 프레임워크는 모든 과업에서 가장 높은 평균 성공률(86.0%)과 평균 완료 시간 3.9분을 달성했다.
- 어블레이션 연구(Ablation studies) 결과, 세 계층을 결 조합하는 것이 단일 계층 구성보다 우수한 성능을 보였다. 예를 들어, L1-only는 76.0%의 성공률을 보였고, L3-only는 70.0%를 기록했다.
- 강건성: 무작위로 도입된 오브젝트 변위(displacement) 상황에서, L3는 67.2%의 서브태스크 성공률을 유지했으나, 초기 관측에 의존하는 L1과 L2는 섭동을 신뢰성 있게 처리하지 못하고 실패했다.
- 재계획 (Replanning): 재계획 메커니즘을 제거했을 때 모든 구성에서 성공률이 크게 저하되었는데(예: L1-only가 76.0%에서 66.0%로 하락), 이는 지속적인 모니터링의 필요성을 강조한다.
실패 분석: 120회의 과업 실행 중 73회가 실패 없이 완료되었다. 실패는 주로 실행 단계의 오류(33건)에 기인했으며, L3가 잘못된 정책 실행으로 인해 가장 많은 비중을 차지했다. 오케스트레이터 수준의 오류(14건)는 드물었으며, 잘못된 계획(wrong planning)이 주요 원인이었다.

의의 및 주장

본 논문은 HERO가 인간의 초기 시연 없이도 자율적인 역량 진화를 가능하게 함으로써, 자기 개선형 로봇 시스템을 향한 유망한 경로를 제공한다고 주장한다. 자율적 데이터 수집과 과업 실행을 밀접하게 결합함으로써, HERO는 로봇이 물리적 상호작용 경험을 점진적으로 더욱 효과적인 조작 능력으로 변환할 수 있음을 입증한다.

저자들은 이 접근 방식이 추론 기반 에이전트의 일반화 능력과 폐쇄 루프 정책의 효율성 사이의 간극을 메운다는 점을 강조한다. VLM 추론 지연 시간, 인지 노이즈에 대한 민감도, 사전 정의된 프리미티브 스킬에 대한 의존성 등의 한계를 인정하면서도, 본 연구는 로봇이 오픈 월드 환경에서 자율적으로 부트스트래핑하고, 축적하며, 기술을 정교화할 수 있는 토대를 마련하였다.