💻 computer science

Robots that Collaborate: Sequential Asymmetric Imitation for Learning Coupled Robot Policies

본 논문은 두 대의 양팔 이동형 매니퓰레이터가 단계적인 단일 로봇 훈련과 희소한 개입을 통해 물리적으로 결합된 협업 과제를 숙달할 수 있게 함으로써, 동기화된 이중 조작자 시연이나 명시적인 로봇 간 통신 없이도 이를 가능하게 하는 커리큘럼 기반 학습 프레임워크인 순차적 비대칭 모방(Sequential Asymmetric Imitation, SAI)을 제안한다.

원저자: Yincong Chen, Ranpeng Qiu, Zihao Li, Yanan Zhou, Guoqiang Ren, Weiming Zhi

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yincong Chen, Ranpeng Qiu, Zihao Li, Yanan Zhou, Guoqiang Ren, Weiming Zhi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 대의 로봇에게 무겁고 다루기 힘든 물체—예를 들어 거대하고 흐물거리는 매트리스나 뻣뻣한 금속 빔 같은 것—를 함께 운반하는 법을 가르치려 한다고 상상해 보십시오. 문제는 로봇의 팔이 움직이지 못하는 것이 아닙니다. 그들은 사실 매우 힘이 셉니다. 진짜 문제는 타이밍입니다.

만약 로봇 A가 매트리스를 당기는 동안 로봇 B가 여전히 자고 있다면, 매트리스가 찢어지거나 로봇 B가 바닥을 따라 끌려가게 됩니다. 만약 로봇 A가 너무 일찍 손을 놓으면 물체가 쾅 하고 떨어집니다. 과거에는 로봇들에게 이 작업을 가르치기 위해 두 명의 인간 교사가 각각 별도의 컨트롤러를 들고, 두 로봇을 정확히 동시에 움직이도록 완벽하게 동기화해야 했습니다. 이것은 마치 두 명의 안무가가 두 명의 무용수에게 완벽하게 일치된 목소리로 지시를 내리며 춤을 가르치는 것과 같습니다. 이는 비용이 많이 들고, 어렵고, 제대로 해내기 힘든 일입니다.

이 논문은 **순차적 비대칭 모방(Sequential Asymmetric Imitation, SAI)**이라 불리는 새로운 로봇 학습법을 소개합니다. 이것은 로봇들이 함께 춤추는 법을 배우는 "3막극"과 같지만, 단 한 명의 인간 교사만 필요하며, 레슨은 하나씩 순차적으로 진행됩니다.

이 3막이 어떻게 작동하는지는 다음과 같습니다.

제1막: "부드러운" 파트너와 함께하는 솔로 리허설

먼저, 로봇 A에게 직업을 수행하는 법을 가르칩니다. 하지만 다른 로봇 대신, 로봇 A는 매우 유연한(compliant) 인간(또는 수동적인 파트너)과 함께 작업합니다. 로봇 A가 식탁보를 당기는 상황을 상상해 보십시오. 인간은 반대편을 잡고 있지만, 천이 손가락 사이로 부드럽게 미끄러지도록 살짝 놓아주고 있습니다. 로봇 A는 기본적인 동작을 배웁니다: "여기를 잡고, 저기를 당기고, 위로 들어 올려라."

비결: 인간이 매우 유연하기 때문에 로봇 A는 아직 타이밍에 대해 걱정할 필요가 없습니다. 로봇 A는 그저 물리적인 움직임을 배울 뿐입니다. 로봇 A가 인간의 얼굴이나 옷에 혼란을 느끼지 않도록, 컴퓨터는 카메라 뷰에서 인간을 "흐릿하게(blur)" 처리하여 로로봇 A가 오직 물체에만 집중하도록 만듭니다.

제제2막: "단단한" 파트너

이제, 로봇 A의 뇌를 고정합니다. 이제 로봇 A는 변하지 않는 고정된 정책(policy)이 되었습니다. 우리는 로봇 B를 투입합니다. 이제 단 한 명의 인간 운영자가 로봇 B를 제어하지만, 이번에는 로봇 B가 실제 로봇 A를 상대로 작업해야 합니다.

교훈: 로봇 A는 완벽하지 않습니다. 조금 느릴 수도 있고, 약간 움찔거릴 수도 있습니다. 로봇 B는 로봇 A를 관찰하고 적응하는 법을 배웁니다. 만약 로봇 A가 뒤처지면, 로봇 B는 기다리는 법을 배웁니다. 만약 로봇 A가 너무 빠르게 움직이면, 로봇 B는 속도를 높이는 법을 배웁니다. 로봇 B는 완벽한 인간이 아닌, 자신만의 특이한 버릇을 가진 파트너와 함께 춤추는 법을 배우는 것입니다.

제3막: "스포트라이트" 교정

마지막으로, 두 로봇을 함께 배치합니다. 그들은 작업을 수행하겠지만, 여전히 가끔 실수를 할 것입니다. 예를 들어 로봇 A가 너무 세게 당기는데 로봇 B는 멈춰 있을 수도 있습니다.

해결책: 전체 춤을 다시 가르치는 대신, 인간 교사는 문제가 생겼을 때만 개입합니다. 만약 로봇 A가 너무 일찍 당기기 시작하면, 인간은 로봇 A를 부드럽게 밀며 "기다려"라고 알려줍니다. 로봇은 구체적으로 이러한 실수로부터 회복하는 법을 배웁니다. 이는 코치가 선수에게 매일 운동장을 돌게 하는 대신, 선수가 나쁜 패스를 했을 때만 경기장에 들어와 어떻게 수정해야 하는지 정확히 보여주는 것과 같습니다.

이것이 왜 중요한가

이 논문은 로봇이 누구와 연습하는지, 그리고 언제 연습하는지를 바꿈으로써, 복잡한 수학적 예측 없이도 협동하는 법을 배울 수 있음을 보여줍니다.

두 명의 인간이 동시에 소리를 지를 필요가 없습니다.
로봇끼리 서로 대화할 필요가 없습니다 (예: "야, 나 준비됐어!" 같은 메시지).
미래를 예측하는 복잡한 수학도 필요하지 않습니다.

그들은 그저 물체를 느끼고 파트너를 관찰함으로써 배웁니다.

결과

연구진은 실제 로봇과 실제 물체(식탁보 펴기, 빨래 옮기기, 무거운 빔 운반하기 등)를 사용하여 테스트를 진행했습니다.

이 방법이 없었을 때: 로봇들은 서로 타이밍이 맞지 않아 자주 실패했습니다 (마치 두 사람이 문 반대편에서 동시에 문을 열려고 하는 것과 같습니다).
이 방법을 사용했을 때: 로봇들은 파트너가 느리면 기다리고, 충돌이 발생하면 양보하며, 움직임을 맞추는 법을 배웠습니다. 그들은 훨씬 더 높은 성공률을 보였습니다.

핵심 요약

로봇에게 협동을 가르치기 위해 완벽하게 동기화된 팀이 필요한 것은 아닙니다. 그저 연습 세션을 구조화하여, 로봇이 점진적으로 불완전한 파트너에 대처하는 법을 배우도록 만들면 됩니다. 이것은 어려운 협동 문제를 간단한 단계별 학습 과정으로 바꾸어 놓습니다.

기술 요약: 결합된 로봇 정책 학습을 위한 순차적 비대칭 모방 (Sequential Asymmetric Imitation)

문제 정의

공유된 물체(강체 또는 변형 가능한 물체)를 통해 물리적으로 결합된 두 로봇이 참여하는 협동 모바일 매니퓰레이션은 개별적인 로컬 기술을 넘어서는 조정(coordination) 과제를 제시한다. 성공을 위해서는 작업 단계의 정밀한 정렬, 파트너의 지연에 대한 적응, 그리고 상호작용 충돌 시 양보하는 능력이 필요하다.

기존 방식들은 다음과 같은 상당한 병목 현상에 직면해 있다:

**모델 기반 계획(Model-based planning)**은 변형 가능한 물체, 간헐적인 접촉, 모델링되지 않은 역학 관계를 다루는 데 어려움을 겪는다.
**다중 에이전트 강화 학습(Multi-agent reinforcement learning)**은 희소한 보상(sparse rewards) 문제와 시뮬레이션-실세계 전이(sim-to-real transfer)의 어려움을 겪는다.
**이중 로봇 작업을 위한 표준 모방 학습(Standard imitation learning)**은 일반적으로 두 명의 운영자가 두 로봇을 동시에 제어하며 정밀한 시간적 정렬을 맞추는 **동기화된 공동 데모(synchronized joint demonstrations)**를 요구한다. 이러한 데이터 수집은 여러 개의 텔레오퍼레이션 채널과 정밀하게 교정된 인터페이스가 필요하므로 비용이 많이 든다.

본 연구가 다루는 핵심 질문은 다음과 같다: 동기화된 이중 운영자 데이터나 강화 학습, 혹은 명시적인 로봇 간 통신 없이도 단일 텔레오퍼레이터 데모로부터 결합된 이중 로봇 정책을 학습할 수 있는가?

방법론: 순차적 비대칭 모방 (Sequential Asymmetric Imitation, SAI)

저자들은 단일 텔레오퍼레이터를 사용하여 물리적으로 결합된 행동을 학습하는 단계적 커리큘럼인 **순차적 비대칭 모방(SAI)**을 제안한다. 이 방법은 로봇이 마주하는 "파트너 분포(partner distribution)"를 순응적인 지원에서 자율적인 상호작용으로 변화시키며, 협동 학습을 세 가지 비대칭 단계로 분해한다.

3단계 커리큘럼

데이터 수집 순서는 $D^{solo}_A \rightarrow D^{demo}_{B|A} \rightarrow D^{int}_A$ 로 정의된다.

1단계: 로봇 A의 부트스트래핑 (인간의 지원을 받는 솔로 학습)
- 설정: 로봇 A가 작업을 수행하는 동안, 인간 또는 수동적인 파트너가 공유 물체의 반대편을 순응적으로 지지한다.
- 기술: 로봇 A는 행동 복제(behavioral cloning)를 통해 기본적인 작업 능력(잡기, 당기기, 정렬하기)을 학습한다.
- 증강: 파트너의 시각적 외형에 대한 과적합을 방지하기 위해, 프레임 내 파트너 영역을 무작위 섭동(색상 지터, 블러, 노이즈)으로 대체하는 **파트너 마스킹 증강(partner-masking augmentation)**을 적용한다. 이는 정책이 파트너의 정체성이 아닌 물체의 상태에 집중하도록 강제한다.
- 결과: 외부 지원을 통한 작업 실행은 가능하지만, 자율 로봇과의 협동 능력은 부족한 초기 정책 $\pi^{(1)}_A$ 를 생성한다.
2단계: 배포된 로봇 A를 대상으로 하는 로봇 B 학습
- 설정: $\pi^{(1)}_A$ 를 고정(freeze)하여 로봇 A에 배포한다. 단일 운영자는 배포된 로봇 A와 상호작용하면서 로봇 B를 텔레오퍼레이션한다.
- 기술: 로봇 A에 유계된 변동성(속도 스케일링, 액션 노이즈, 타이밍 오프셋)을 적용하여 로봇 B가 현실적인 편차에 노출되도록 한다.
- 결과: 로봇 B는 로봇 A의 타이밍, 운동 프로파일 및 잔여 오차를 보상하는 법을 학습하며 $\pi^{(2)}_B$ 를 생성한다. 이 단계는 비대칭적이다. 즉, 로봇 B는 이상적이거나 동기화된 인간 파트너가 아니라, 실제로 학습된 로봇 A의 행동을 대상으로 학습한다.
3단계: DAgger 스타일의 개입 미세 조정 (Intervention Fine-Tuning)
- 설정: $\pi^{(1)}_A$ 와 $\pi^{(2)}_B$ 를 함께 배포한다.
- 기술: 협동 실패(예: 조기 당기기, 양보 실패, 단계 불일치)가 발생할 때만 단일 운영자가 로봇 A에 대해 **희소한 개입(sparse interventions)**을 수행한다. 이는 학습자가 상태를 유도하고 실패 경계 근처에서 수정이 제공되는 DAgger 스타일의 접근 방식을 따른다.
- 정교화: 개입 데이터셋 $D^{int}_A$ 를 기존의 솔로 데모와 통합한다. 개입 데이터는 원래의 작업 기술을 유지하면서 파트너 의존적 행동(기다리기, 양보하기, 속도 줄이기)을 가르치기 위해 가중치를 높여 적용된다. 선택적인 액션 차원 마스킹을 통해 다른 부분은 변경하지 않고 특정 구성 요소(예: 베이스 모션)만 수정할 수 있다.
- 결과: 자율적인 로봇 B의 행동에 적응한 정교한 정책 $\pi^{(3)}_A$ 를 생성한다.

정책 구현

SAI는 커리큘럼에 구애받지 않는 프레임워크이다. 실험에서 이는 분산형 ACT 스타일(Action Chunking Transformer) 정책으로 구현되었다:

입력: 로컬 RGB 관측값(탑 뷰 및 손목 카메라), 고유 수용 감각(proprioception), 이전 액션.
아키텍처: 고정된 DINOv3 백본을 통해 특징을 추출하고, 이를 상태 특징과 융합한 뒤 GRU 히스토리 윈도우( $H=30$ steps)로 인코딩한다.
출력: 베이스 명령( $v_x, v_y, \omega$ )을 먼저 예측한 후, 해당 베이스 예측에 조건화된 암(arm) 명령을 따르는 계단식 액션 헤드(cascaded action head)를 사용한다. 이는 베이스와 암 사이의 일관성을 보장한다.
제약: 명시적인 로봇 간 통신, 특권적인 파트너 상태, 또는 중앙 집중식 조정 신호를 사용하지 않는다.

주요 기여

순차적 비대칭 모방 (SAI): 동기화된 이중 운영자 데이터, 강화 학습, 또는 명시적 통신 없이도 물리적으로 결합된 이중 로봇 정책을 학습하기 위한 단일 텔레오퍼레이터 커리큘럼을 제시한다.
파트너 분포 커리큘럼: 파트너 분포를 순응적 지원 $\to$ 고정된 학습 정책 $\to$ 폐루프 로봇-로봇 실행으로 전환하는 것이 단계 정렬(phase alignment)과 파트너 의존적 양보를 유도함을 입증한다.
실세계 검증: SAI가 접촉이 빈번한 강체 및 변형 가능한 물체 관련 작업에서 독립적 모방 및 커리큘럼 제거(ablation) 베이스라인보다 성공률, 단계 동기화 및 양보 동작을 개선함을 실증적으로 보여준다.

실험 결과

방법론은 네 가지 실제 이중 로봇 작업(침대 시트 펼치기, 식탁보 펼치기, 빨래 모으기, 페인트 운반)에 대해 평가되었다.

작업 성공 및 조정: SAI는 독립적 모방(로봇을 각각 따로 학습) 및 파트너 조건부 모방(B를 A를 대상으로 학습하되 3단계 개입은 생략)보다 유의미하게 우수한 성능을 보였다.
- 예시 (빨래 모으기): SAI는 **70.0%**의 성공률을 기록하여, 독립적 모방(50.0%)과 파트너 조건부 모방(63.3%)보다 높은 성과를 냈다.
- 양보/대기 지표: SAI는 파트너 의존적 양보(예: 빨래 작업에서 71.7%)에서 뚜렷한 개선을 보였는데, 이는 독립적 모방(31.7%)과 비교했을 때 로봇이 파트너가 지연될 때 속도를 줄이거나 멈추는 법을 배웠음을 나타낸다.
파트너 지연 강건성: 제어된 지연 실험(식탁보 펼치기)에서 독립적 모방은 파트너가 멈췄음에도 불구하고 계속 당겨서 물체의 정렬을 무너뜨렸다. 반면 SAI는 성공적으로 속도를 줄이고 파트너가 회복될 때까지 기다렸다.
정책 구성 요소: 절제 연구(ablation study)를 통해 시간적 히스토리 토큰과 계단식 베이스-암 헤드가 실행 신뢰성을 향상(조기 해제 및 낮아짐 방지)시킨다는 것을 확인했으나, 협동적 이득은 주로 SAI 데이터 커리큘럼에 의해 주도된다.
백본 호환성: SAI는 다양한 모방 백본(ACT 및 Diffusion Policy)에서 성능을 개선하여, 이것이 특정 디코더의 산물이 아닌 데이터 커리큘럼의 기여임을 확인시켜 주었다.

의의 및 주장

본 논문은 물리적으로 결합된 협동은 동기화된 다중 운영자 데모나 명시적인 조정 메커니즘 대신, 모방 커리큘럼의 구조를 통해 학습될 수 있음을 주장한다.

암묵적 정책 결합: 결과는 학습 파트너의 행동(지연, 불일치 등)을 포함하도록 훈련 분포가 구조화될 때, 로컬 관측과 공유된 물리적 상호작용으로부터 "파트너 대응적 조정"이 나타날 수 있음을 시사한다.
실용성: 단일 텔레오퍼레이터를 요구하고 복잡한 동기화 하드웨어나 강화 학습을 피함으로써, SAI는 협동 모바일 매니퓰레이터를 배포하는 데 있어 더 확장 가능한 경로를 제공한다.
한계점: 저자들은 SAI가 로봇이 유용한 단독 프리미티브를 학습할 수 있다고 가정하며, 실패는 단일 에이전트 개입을 통해 수정될 수 있다고 언급했다. 현재의 개입 데이터셋은 베이스라인의 약 30% 수준으로 상대적으로 작으며, 이는 회복 행동이 아직 포화 상태에 도달하지 않았고 더 타겟팅된 데이터 수집이 필요할 수 있음을 시사한다.