RoboClaw: An Agentic Framework for Scalable Long-Horizon Robotic Tasks

이 논문은 데이터 수집, 정책 학습, 실행을 단일 VLM 기반 컨트롤러로 통합하고 '얽힌 행동 쌍 (EAP)'을 통해 자율적인 데이터 수집과 반복적 정책 정제를 가능하게 함으로써, 장기 로봇 작업의 안정성과 확장성을 높이고 인간 개입을 획기적으로 줄이는 에이전트 프레임워크인 RoboClaw 를 제안합니다.

핵심

로보클로우 (RoboClaw): 로봇이 스스로 배우고 일하는 '스마트 도우미'

이 논문은 **"로보클로우 (RoboClaw)"**라는 새로운 로봇 시스템을 소개합니다. 기존의 로봇들은 사람이 시키면 시키는 대로만 움직이고, 실수하면 다시 사람이 직접 고쳐줘야 했지만, 로보클라우는 **스스로 생각하고, 실수를 고치고, 더 잘 배우는 '지능형 에이전트'**입니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 로봇 vs. 로보클로우: "수동 조종사"와 "자율 탐험가"

• 기존 로봇 (수동 조종사):
  imagine you are teaching a dog to fetch a ball. Every time the dog drops the ball, you have to pick it up, walk it back to the starting point, and say "fetch" again.
  기존 로봇은 이런 방식입니다. 사람이 시범을 보이고, 로봇이 실수하면 사람이 다시 환경을 원래대로 돌려놓아야 합니다. 이 과정은 매우 지루하고 비효율적입니다.

• 로보클로우 (자율 탐험가):
  로보클라우는 **"스스로 되돌리는 마법"**을 사용합니다. 로봇이 물건을 치우다가 실수하거나, 물건을 집으려다 떨어뜨려도, 로봇이 스스로 그 상황을 원래대로 복구한 뒤 다시 시도합니다. 마치 스스로 장난감을 치우고 다시 가지고 노는 아이처럼 말이죠.

2. 핵심 기술 1: "꼬리에 꼬리를 무는 행동 쌍" (Entangled Action Pairs)

로보클로우의 가장 큰 특징은 **'EAP(Entangled Action Pairs)'**라는 기술입니다. 이를 **'앞으로 나가는 행동'과 '뒤로 돌아가는 행동'**이 짝을 이룬다고 생각하세요.

• 비유:
  • 앞으로 나가기 (Forward): 로봇이 "책상 위를 정리해라"라고 해서 물건을 서랍에 넣습니다.
  • 뒤로 돌아가기 (Inverse/Reset): 정리한 로봇이 "아, 이제 다시 연습해야지"라고 생각하며 스스로 그 물건을 다시 꺼내서 원래 위치로 돌려놓습니다.

이 두 가지 행동이 한 세트가 되어, 로봇은 사람의 도움 없이도 무한히 반복해서 연습할 수 있게 됩니다. 마치 운동선수가 경기 후 스스로 훈련 장비를 정리하고 다음 훈련을 준비하는 것과 같습니다. 덕분에 데이터 수집에 드는 사람의 노력은 50% 이상 줄어들었습니다.

3. 핵심 기술 2: "지휘자"가 있는 오케스트라

로봇이 긴 시간 동안 복잡한 일을 할 때 (예: 책상 정리, 주방 정리), 작은 실수가 쌓이면 큰 실패로 이어집니다.

• 기존 방식:
  로봇이 "물건 집기" → "서랍 열기" → "물건 넣기" 순서대로만 움직입니다. 중간에 서랍이 잘 안 열리면 로봇은 멈추거나 넘어집니다.

• 로보클로우 방식:
  로봇 내부에 **지휘자 (VLM 에이전트)**가 있습니다. 이 지휘자는 로봇의 눈 (카메라) 과 기억을 통해 상황을 파악합니다.

  • "아, 서랍이 잘 안 열리네? 다시 시도해 보자."
  • "아, 물건을 떨어뜨렸네? 일단 바닥에 떨어진 물건을 치우고 다시 시작하자."
  • "이건 내가 못 하겠는데? 사람이 도와줘야겠다." (이때만 사람에게 도움을 요청합니다.)

이 지휘자는 로봇이 실수했을 때 스스로 계획을 수정하거나, 복구 행동을 취하거나, 필요한 경우에만 사람에게 도움을 요청합니다. 덕분에 긴 작업을 성공적으로 끝낼 확률이 25% 나 높아졌습니다.

4. 왜 이것이 중요한가요? (결론)

이 연구의 핵심은 "학습 - 실행 - 피드백"의 고리를 끊지 않고 하나로 연결했다는 점입니다.

1. 스스로 배우기: 로봇이 실수한 데이터를 바로 학습에 활용합니다.
2. 스스로 고치기: 실수한 상황을 스스로 복구하여 다시 연습합니다.
3. 스스로 성장하기: 시간이 지날수록 로봇은 더 많은 상황을 경험하고, 더 똑똑해집니다.

한 줄 요약:

로보클라우는 스스로 장난감을 치우고 다시 노는 아이처럼, 스스로 실수를 고치고 더 잘 배우는 로봇입니다. 덕분에 우리는 로봇을 가르치는 데 드는 시간과 노력을 크게 줄일 수 있게 되었습니다.

이 기술이 발전하면, 우리 집이나 공장에서 로봇이 사람 없이도 복잡한 일을 스스로 해결하며 일하는 날이 머지않아 올 것입니다.

기술 요약

1. 문제 정의 (Problem)

시각 - 언어 - 행동 (Vision-Language-Action, VLA) 시스템은 언어 기반 로봇 조작에 큰 잠재력을 보였으나, 복잡하고 장기간 (Long-Horizon) 에 걸친 작업으로 확장하는 데에는 여전히 심각한 한계가 존재합니다. 기존 파이프라인의 주요 문제점은 다음과 같습니다.

• 단절된 프로세스: 데이터 수집, 정책 학습, 배포 (Deployment) 단계가 서로 분리되어 있어, 각 단계 간 의미론적 (Semantic) 일관성이 부족합니다.
• 높은 인력 의존성: 실제 환경에서의 데이터 수집은 운영자가 시연을 수행하고, 매번 환경을 수동으로 초기화 (Reset) 해야 하며, 실패를 모니터링해야 하므로 비용이 매우 높고 확장성이 떨어집니다.
• 훈련 - 실행 불일치 (Mismatch): 훈련 데이터의 상태 분포가 실제 배포 시의 환경 조건과 달라, 작은 오류가 누적되어 장기간 작업 실패로 이어지는 취약한 구조를 가집니다.
• 취약한 다중 정책 실행: 여러 하위 작업을 조합할 때, 실패 시 복구 메커니즘이 부재하여 전체 작업이 중단되는 경우가 많습니다.

2. 방법론 (Methodology)

저자들은 RoboClaw라는 통합된 에이전트 프레임워크를 제안하여 데이터 수집, 정책 학습, 작업 실행을 단일 VLM(시각 - 언어 모델) 기반 에이전트 루프 내에서 통합합니다.

A. 핵심 아키텍처

• 메타 컨트롤러 (Meta-Controller): VLM 이 컨텍스트 학습 (In-Context Learning, ICL) 과 사고의 사슬 (Chain-of-Thought, CoT) 을 통해 고수준 의사결정을 수행합니다.
• 구조화된 메모리: 에이전트는 역할 식별 (Role Identity), 작업 수준 메모리 (Task-level Memory), 작업 기억 (Working Memory) 으로 구성된 구조화된 메모리를 유지하며, 이를 통해 작업 진행 상황을 추적하고 맥락을 파악합니다.
• MCP(Model Context Protocol) 인터페이스: 에이전트는 도구를 호출하여 정책을 시작/종료하거나, 환경 상태를 요약하고, 필요시 인간 개입을 요청할 수 있습니다.

B. 핵심 기술: 얽힌 행동 쌍 (Entangled Action Pairs, EAP)

데이터 수집 효율성을 극대화하기 위해 제안된 핵심 메커니즘입니다.

• 원리: 각 조작 정책 (Forward Policy) 에 대해, 환경을 원래 상태로 되돌리는 **역행 복원 정책 (Inverse Recovery Policy)**을 짝지어 학습합니다.
• 작동 방식: 로봇이 forward 행동 (예: 물건을 서랍에 넣기) 을 수행한 후, 자동으로 inverse 행동 (서랍에서 꺼내기) 을 수행하여 환경을 초기 상태로 복원합니다.
• 효과: 이 '자기 재설정 (Self-resetting)' 루프를 통해 인간 개입 없이도 연속적인 온-폴리시 (On-policy) 데이터 수집이 가능해집니다.

C. 배포 및 실행 (Deployment)

• 동적 오케스트레이션: 에이전트는 학습된 정책 원시 (Policy Primitives) 를 고수준 계획에 따라 동적으로 조율합니다.
• 실행 중 감독 (Runtime Supervision): 하위 작업의 상태를 지속적으로 모니터링하며, 실패가 감지되면 재시도, 다른 정책 전환, 또는 복구 행동 (Recovery Behavior) 을 자동으로 트리거합니다.
• 폐쇄 루프 학습: 배포 중 생성된 실행 궤적 (Trajectories) 은 다시 학습 파이프라인에 통합되어 정책을 지속적으로 개선합니다.

3. 주요 기여 (Key Contributions)

1. 수명 주기 에이전트 프레임워크: 데이터 수집, 학습, 실행을 통합하여 일관된 의미론적 맥락을 유지하고 인간 부담을 획기적으로 줄인 RoboClaw 프레임워크를 제안했습니다.
2. 학습 기반 자동 데이터 수집 (EAP): forward 조작과 inverse 복원을 결합한 '얽힌 행동 쌍'을 통해 인간 개입 없이도 지속적인 데이터 수집과 정책 정제가 가능한 자동화 엔진을 개발했습니다.
3. 장기 작업 오케스트레이션 및 상태 모니터링: 구조화된 메모리를 기반으로 한 VLM 에이전트가 장기 작업 중 하위 작업을 조율하고, 실패 시 동적으로 복구 전략을 수립하여 작업 성공률을 높였습니다.

4. 실험 결과 (Results)

Agibot G01 플랫폼을 사용하여 실제 조작 작업 (화장대 정리, 주방 정리 등) 에서 실험을 수행했습니다.

• 데이터 수집 효율성:
  • 기존 수동 데이터 수집 방식 대비 인간 소요 시간이 약 2.16 배 감소했습니다.
  • 롤아웃 (Rollout) 실행 중 인간 개입 빈도는 약 8.04 배 감소했습니다.
• 하위 작업 정책 성공률:
  • 반복적인 롤아웃 (Iterative Rollout) 을 통해 수집된 데이터로 학습한 결과, 정책 성공률이 지속적으로 향상되었습니다.
  • 예: '립스틱 삽입' 작업의 성공률이 1 회 반복 (2/50) 에서 5 회 반복 (23/50) 으로 크게 증가했습니다.
• 장기 작업 성능:
  • 복잡한 장기 작업 (화장대 정리) 에서 RoboClaw 는 베이스라인 (단순 VLA 모델) 대비 성공률이 25% 향상되었습니다.
  • 이는 에이전트가 실패를 감지하고 복구 정책을 자동 호출하여 오류 전파를 방지했기 때문입니다.
• 인간 노력 절감:
  • 로봇 수명 주기 전반에 걸쳐 인간 투자 시간을 53.7% 감소시켰습니다.

5. 의의 및 결론 (Significance)

RoboClaw 는 로봇 학습의 '인간 게이트 (Human-gated)' 방식에서 에이전트 주도 (Agentic) 방식으로의 전환을 실현했습니다.

• 확장성: 수동 데이터 수집의 병목 현상을 해결하여 대규모 로봇 학습 데이터 생성을 가능하게 합니다.
• 견고성: 훈련과 실행 간의 불일치를 줄이고, 실행 중 발생하는 오류를 자가 복구함으로써 실제 환경에서의 신뢰성을 높였습니다.
• 지속적 학습: 배포된 로봇이 새로운 상황과 실패 경험을 학습하여 정책 라이브러리를 스스로 확장하는 '지속적 학습 (Continual Learning)' 사이클을 완성했습니다.

이 프레임워크는 VLM 과 VLA 모델의 발전과 결합하여, 항해, 이동 조작, 다중 모드 상호작용 등 더 넓은 범위의 자율 로봇 시스템으로 확장될 수 있는 강력한 기반을 제공합니다.