💻 computer science

Continual Domain Randomization

본 논문은 시뮬레이션 매개변수의 부분 집합에 대해 강화 학습 정책을 순차적으로 훈련함으로써 동시 무작위화의 비최적성을 극복하고 로봇 작업에서 견고한 시뮬레이션-현실 전이를 달성하기 위해 도메인 무작위화와 지속적 학습을 결합한 새로운 접근법인 지속적 도메인 무작위화 (CDR) 를 제안한다.

원저자: Josip Josifovski, Sayantan Auddy, Mohammadhossein Malmir, Justus Piater, Alois Knoll, Nicolás Navarro-Guerrero

게시일 2026-04-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Josip Josifovski, Sayantan Auddy, Mohammadhossein Malmir, Justus Piater, Alois Knoll, Nicolás Navarro-Guerrero

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 컵을 집어 올리도록 가르치려 한다고 상상해 보세요. 이를 수행하는 가장 현명한 방법은 보통 로봇이 실제 로봇을 손상시키거나 사람을 다치게 하지 않도록 컴퓨터 시뮬레이션에서 먼저 수백만 번 연습하게 하는 것입니다. 하지만 여기에는 문제가 있습니다. 컴퓨터 시뮬레이션은 현실 세계와 완벽하게 같을 수 없습니다. 실제 로봇은 약간 더 무거울 수 있고, 모터는 조금 더 느릴 수 있으며, 센서는 약간 "노이즈"가 있을 수 있습니다. 이 차이를 "현실 간극 (reality gap)"이라고 부릅니다. 완벽한 시뮬레이션에서 로봇을 훈련시키면, 로봇이 시뮬레이션의 완벽함에 의존하도록 학습했기 때문에 실제 세계에 배치했을 때 종종 처참하게 실패합니다.

이를 해결하기 위해 과학자들은 **도메인 무작위화 (Domain Randomization)**라는 트릭을 사용합니다. 시뮬레이션을 완벽하게 만들려고 노력하는 대신, 의도적으로 그것을 엉망으로 만듭니다. 한 번 실행에서는 로봇을 무겁게 만들고, 다음 실행에서는 가볍게 만들며, 가짜 센서 노이즈를 추가하거나 제어를 지연시킵니다. 아이디어는 로봇이 이러한 엉망인 버전들 모두를 처리하는 법을 학습한다면, 단지 또 다른 "엉망" 버전일 뿐인 현실 세계를 처리할 만큼 견고해질 것이라는 것입니다.

기존 방식의 문제점
전통적인 방법은 첫날에 강한 해류, 거대한 파도, 차가운 물이 모두 있는 폭풍우 치는 바다로 뛰어 들어 수영을 배우려는 것과 같습니다. 너무 어렵습니다! 로봇은 압도당하고 혼란스러워지며, 과제가 너무 어렵기 때문에 나쁜 전략을 학습하거나 (아예 아무것도 학습하지 못합니다).

새로운 해결책: 지속적 도메인 무작위화 (CDR)
이 논문의 저자들은 **지속적 도메인 무작위화 (Continual Domain Randomization, CDR)**라고 부르는 더 현명한 학습 방법을 제안합니다. 자동차 운전 배우기를 생각해 보세요:

쉬운 것부터 시작: 먼저 바람도 없고 다른 차도 없으며 타이어 상태가 완벽한 빈 주차장에서 운전을 배웁니다. 기본기를 다집니다.
한 번에 하나의 도전 과제 추가: 그걸 잘하게 되면, 갑자기 허리케인 속으로 던져 넣지 않습니다. 대신 하나의 새로운 도전 과제만 추가합니다. 아마도 비 속에서 운전해 보는 것일 수 있습니다. 비를 다스리게 되면 바람을 추가합니다. 바람을 다스리게 되면 무거운 교통량을 추가합니다.
모든 것을 기억하기: 까다로운 부분은 비 속에서 운전하는 법을 배울 때, 건조한 아스팔트에서 운전하는 법을 잊지 말아야 한다는 것입니다. 여기서 "지속적 학습 (Continual Learning)" 부분이 나옵니다. 로봇은 **탄성 가중치 통합 (Elastic Weight Consolidation)**이라고 불리는 특별한 기억 기술을 사용하여 "안전망" 역할을 합니다. 이는 로봇이 새로운 기술 (비 처리 등) 을 학습하면서도 이전 기술 (건조한 아스팔트 운전) 을 "잊지" 않도록 허용합니다.

테스트 방법
연구자들은 이 아이디어를 두 가지 작업에서 테스트했습니다:

도달 (Reaching): 로봇 팔이 특정 지점을 만져 보려는 작업.
잡기 (Grasping): 로봇 팔이 상자를 찾고, 그리퍼를 완벽하게 정렬하여 들어 올리는 더 복잡한 작업.

그들은 그들의 "단계별" 방법 (CDR) 을 두 가지 다른 접근법과 비교했습니다:

"완벽한" 시뮬레이터: 깨끗하고 완벽한 세상에서만 훈련하는 것 (현실에서는 실패함).
"혼돈" 시뮬레이터: 모든 문제 (비, 바람, 교통량) 를 로봇에게 동시에 던지는 것.
"망각" 방법: 문제들을 하나씩 추가하지만 기억 안전망을 사용하지 않는 것 (따라서 로봇이 이전 단계를 잊음).

결과
결과는 인상적이었습니다:

CDR로 훈련된 로봇은 시뮬레이션에서 효과적으로 학습했습니다.
로봇을 현실 세계로 옮겼을 때, "혼돈" 모드로 훈련된 로봇보다 더 잘하거나 그와 똑같이 수행했습니다.
결정적으로 CDR 은 더 안정적이었습니다. 도전 과제들을 다른 순서로 추가하더라도 (먼저 비, 아니면 먼저 바람), 로봇은 여전히 잘 학습했습니다. 반면 "망각" 방법은 도전 과제의 순서가 바뀌면 어려움을 겪었습니다.

한 줄 요약
이 논문은 로봇을 한 번에 무작위 변수들의 바다에 빠뜨리는 대신, 이전 것들을 처리하는 방법을 기억하도록 보장하면서 한 번에 하나의 난이도를 추가하는 단계별 방식으로 가르치는 것이 더 좋음을 보여줍니다. 이는 훈련 중 실제 세계에서 테스트할 필요 없이 엉망이고 예측 불가능한 현실 세계에 준비된 로봇을 만들어냅니다.

Josip Josifovski 외의 논문 "Continual Domain Randomization"에 대한 상세한 기술 요약입니다.

1. 문제 정의

로봇 공학에서의 심층 강화 학습 (DRL) 은 종종 샘플 비효율성과 안전 문제를 극복하기 위해 시뮬레이션 환경에 의존합니다. 그러나 시뮬레이션과 현실 세계 간의 차이인 "현실 격차 (reality gap)"는 추가 튜닝 없이 정책을 전이 (sim2real) 할 때 종종 낮은 성능을 초래합니다.

기존 접근법의 한계:
- 완벽한 시뮬레이션: 하드웨어 마모와 환경 변화로 인해 복잡한 시스템에서는 달성 불가능합니다.
- 도메인 적응 (Finetuning): 시간 소모가 크고 잠재적으로 안전하지 않은 실제 세계 데이터가 필요합니다.
- 표준 도메인 무작위화 (DR): 현실 격차를 커버하기 위해 모든 시뮬레이션 매개변수를 동시에 무작위화합니다. 그러나 한 번에 너무 많은 매개변수를 무작위화하면 작업 복잡성과 에이전트의 불확실성이 증가하여 종종 비최적의 정책이나 수렴 실패를 초래합니다.
- CL 없이 순차적 무작위화: 이전 단계의 지식을 유지하지 않고 매개변수 부분집합에 대해 순차적으로 학습하면, 에이전트가 가장 최근의 무작위화에 과적합되고 이전 무작위화에 대한 강건성을 상실하는 **파괴적 망각 (catastrophic forgetting)**이 발생합니다.

2. 방법론: 지속적 도메인 무작위화 (CDR)

저자들은 **지속적 도메인 무작위화 (CDR)**를 제안합니다. 이는 도메인 무작위화와 **지속적 학습 (CL)**을 결합하여 무작위화 매개변수의 부분집합에 대한 순차적 학습을 가능하게 하면서 이전 단계의 지식을 유지하는 프레임워크입니다.

핵심 워크플로우

초기화: 에이전트는 먼저 기본 작업을 학습하기 위해 이상화된 시뮬레이션(무작위화 없음) 에서 학습됩니다.
순차적 학습: 에이전트는 이후 시뮬레이션 시퀀스에서 학습되며, 각 단계마다 특정 무작위화 매개변수 부분집합 (예: 지연, 토크, 노이즈) 이 활성화됩니다.
지속적 학습: 파괴적 망각을 방지하기 위해 시스템은 이전 무작위화의 효과를 "기억"하기 위해 정규화 기반 CL 알고리즘을 사용합니다.

알고리즘 구현

저자들은 **Elastic Weight Consolidation (EWC)**과 결합된 **Proximal Policy Optimization (PPO)**을 사용하여 두 가지 변형을 구현했습니다.

CDR-λ (오프라인):
- 정책 네트워크를 정규화하기 위해 EWC 를 사용합니다.
- 모든 이전 작업에 대해 네트워크 매개변수 ( $\theta^*$ ) 와 경험적 피셔 정보 행렬 (FIM) 의 별도 스냅샷을 유지합니다.
- 손실 함수: $L(\theta) = L_C(\theta) + \sum \frac{\lambda_i}{2} ||\theta - \theta^*_i||^2_{F_i}$
- 트레이드오프: 높은 메모리 사용량 (작업 수에 비례하여 선형 증가) 이지만 이전 지식에 대한 강력한 유지력을 제공합니다.
CDR-Oλ (온라인):
- 메모리 오버헤드를 줄이기 위해 Online-EWC 변형을 사용합니다.
- 네트워크 스냅샷 하나와 단일 누적 피셔 정보 행렬만 유지합니다.
- 피셔 행렬은 재귀적으로 업데이트됩니다: $F^*_i = \gamma F^*_{i-1} + F_i$ .
- 트레이드오프: 일정한 메모리 사용량이지만, 오프라인 버전과 비교하여 매우 오래된 작업에 대한 유지력이 약할 수 있습니다.
정규화: 중요한 기술적 세부 사항으로, 각 작업 후 피셔 정보 행렬 요소를 $[0.0, 1.0]$ 범위로 정규화합니다. 이는 정규화 상수 $\lambda$ 를 서로 다른 작업의 임의적인 스케일링에서 분리하여 전체 시퀀스 전반에 걸쳐 단일 $\lambda$ 를 사용할 수 있게 합니다.

3. 실험 설정

저자들은 KUKA LBR iiwa 14 암을 사용하여 두 가지 로봇 조작 작업에 대해 CDR 을 평가했습니다.

도달 작업 (Reaching Task): 2 관절 암이 표적에 도달하는 작업.
파지 작업 (Grasping Task): Robotiq 3 지퍼 그리퍼가 장착된 7 관절 중복 암이 큐브를 파지하는 작업.

무작위화 매개변수:
세 가지 매개변수가 서로 다른 순서로 (예: 토크 $\to$ 지연 $\to$ 노이즈) 순차적으로 무작위화되었습니다.

지연 (L): 상태 관측의 무작위 지연.
토크 (T): 무작위화된 관절 강성 및 감쇠.
노이즈 (N): 센서 노이즈.

베이스라인:

이상 (Ideal): 무작위화되지 않은 시뮬레이션에서 학습.
무작위화 (Randomized): 모든 매개변수가 동시에 무작위화된 상태에서 학습.
파인튜닝 (Finetuning): CL(정규화) 없이 순차적으로 학습.

4. 주요 결과

도달 작업

Sim2real 성능: Ideal 모델은 시뮬레이션에서 가장 잘 수행되었으나 과적합으로 인해 실제 세계에서는 실패했습니다 (높은 진동, 낮은 보상). Randomized 베이스라인은 현실에서 잘 수행되었으나 시뮬레이션 보상은 낮았습니다.
CDR 성능: 두 CDR 변형 모두 완전한 Randomized 베이스라인과 같거나 더 나은 sim2real 전이를 달성했습니다.
- CDR-Oλ가 가장 높은 실제 세계 보상과 안정성을 달성했습니다.
- Finetuning은 시뮬레이션에서는 잘 수행되었으나 CDR 에 비해 실제 세계로의 전이가 poor 하여, 이전 무작위화를 망각하는 것이 해롭다는 것을 확인했습니다.
순서 민감성: 순차적 베이스라인 (Finetuning) 은 무작위화 순서에 매우 민감했습니다. CDR 은 매개변수 순서에 대해 훨씬 더 강건했습니다.

파지 작업

복잡성: 파지 작업은 더 높은 정밀도를 요구하여 더 어려웠습니다.
안정성: CDR 전략은 Finetuning 에 비해 낮은 분산과 더 안정적인 학습 진행을 보였습니다.
실제 세계 성공:
- CDR-Oλ는 시뮬레이션에서 78%, 실제 세계 (NLT 순서) 에서 **60%**의 파지 성공률을 달성하여 Randomized 베이스라인 (실제 성공률 40%) 을 능가했습니다.
- Finetuning은 높은 분산을 보였으며, 순서에 따라 가장 좋거나 가장 나쁜 성능을 보일 수 있어 불안정성을 강조했습니다.
- CDR 모델은 무작위화 순서에 관계없이 일관된 성능을 제공했습니다.

정규화 강도 ( $\lambda$ )

낮은 $\lambda$ : 모델은 Finetuning 처럼 행동하여 (이전 작업 망각) 실제 세계 전이가 poor 해집니다.
높은 $\lambda$ : 모델이 너무 경직되어 새로운 무작위화에 적응하지 못하며, 시뮬레이션과 현실 모두에서 성능이 저하됩니다.
최적 범위: 중간 범위의 $\lambda$ 가 적응과 강건성 유지를 가능하게 하는 가장 좋은 균형을 제공했습니다.

5. 주요 기여

새로운 프레임워크: 파괴적 망각 없이 순차적으로 복잡성을 도입하기 위해 도메인 무작위화를 지속적 학습 문제로 취급하는 지속적 도메인 무작위화 (CDR) 도입.
메모리 효율성: 단일 피셔 행렬을 유지하여 기존 EWC 의 선형 메모리 스케일링을 피하는 온라인 CDR (CDR-Oλ) 변형 개발로, 긴 무작위화 시퀀스에 대한 확장성 확보.
순서에 대한 강건성: 표준 순차적 파인튜닝에 비해 CDR 이 무작위화 매개변수가 도입되는 순서에 덜 민감함을 입증.
Zero-Shot 전이: 실제 로봇 데이터나 도메인 적응을 위한 실제 세계 데이터 없이도 성공적인 Zero-shot sim2real 전이 달성.

6. 중요성 및 결론

이 논문은 로봇 공학 RL 의 중요한 병목 현상인 고도 무작위화를 통한 학습의 어려움과 특정 시뮬레이션에 대한 과적합 위험 사이의 트레이드오프를 해결합니다. 지속적 학습을 통합함으로써 **CDR 은 에이전트가 다양한 시뮬레이션 조건에 걸쳐 "학습하는 법을 학습 (learn how to learn)"**하게 하여, 광범위한 역학에 강건한 정책을 구축합니다.

실용적 영향: CDR 은 모든 무작위화 매개변수를 사전에 정의하거나 파인튜닝을 위해 실제 세계 데이터에 접근할 필요가 없는 유연하고 일반적인 sim2real 전이 프레임워크를 제공합니다.
향후 작업: 저자들은 최적의 매개변수 범위를 동적으로 결정하기 위해 CDR 을 자동화된 또는 능동적인 도메인 무작위화와 결합하고, 비전 기반 무작위화로 접근법을 확장할 것을 제안합니다.

요약하자면, CDR 은 정적 무작위화와 단순한 순차적 파인튜닝 모두에 비해 우월한 대안을 제공하며, 복잡한 로봇 조작 작업에서 최첨단 (state-of-the-art) sim2real 성능을 달성합니다.