How Should a Simulation-to-Reality Transfer Budget Be Spent?

기술 요약: 시뮬레이션-실제 전이 예산을 어떻게 집행해야 하는가?

문제 정의
로봇 학습에서 "리얼리티 갭(reality gap)"은 시뮬레이션에서 훈련된 정책이 시뮬레이션과 실제 역학 사이의 불일치로 인해 물리적 하드웨어에서 실패할 때 발생한다. 두 가지 주요 전략이 이를 해결한다: 실로봇 데이터를 사용하여 물리적 파라미터를 추정하고 시뮬레이터를 조정하는 시스템 식별(System Identification, ID), 그리고 견고한 행동을 학습하기 위해 무작위화된 시뮬레이터 분포상에서 정책을 훈련하는 **도메인 무작위화(Domain Randomization, DR)**이다. 두 전략은 모두 희소한 자원인 실로봇 상호작용 시간(롤아웃)이라는 한정된 예산을 두고 경쟁한다. 기존 문헌은 종종 이러한 방법들을 개별적으로 연구하지만, 정밀한 측정(ID)에 할당할 것인지 아니면 더 넓은 무작위화 분포를 정당화할 것인지(DR) 사이의 트레이드오프는 여전히 잘 이해되지 않고 있다. 본 논문은 이 선택을 예산 할당 문제로 프레임화한다: 고정된 수의 실로봇 롤아웃이 주어졌을 때, 식별(identification)과 무작위화 폭(randomization width) 사이에 예산을 어떻게 나누어야 하는가?

방법론
저자들은 물리적 하드웨어의 혼란 변수를 배제하기 위해 통제된 심-투-심(sim-to-sim) 연구를 수행하였다.

• 설정: 숨겨진 고정 파라미터(질량 $m$ 및 로드 길이 $\ell$)를 가진 "실제(Reality)" 시뮬레이터($R$)가 타겟 시스템 역할을 한다. "훈련(Training)" 시뮬레이터($T$)는 이러한 파라미터들을 조정할 수 있도록 허용한다. 실제 파라미터는 사전 분포인 $\theta_0 = (1.0, 1.0)$으로부터 크게 벗어난 $\theta^* = (2.0, 1.5)$로 설정되었다.
• 예산 할당: 연구는 두 가지 독립 변수를 변화시켰다:
  1. $n$ (식별 예산): 파라미터 추정에 사용되는 $R$에서의 롤아웃 횟수. 이 롤아웃에는 랜덤 토크 흥분 정책(random-torque excitation policy)이 사용되었다. 파라미터는 가우시안 센서 노이즈($\sigma=1.0$)가 있는 상태에서 일보 각속도 예측 오차를 최소화하는 그리드 서치를 통해 추정되었다.
  2. $w$ (무작위화 폭): 훈련 중 파라미터를 무작위화하는 균등 분포의 폭으로, 점 추정치 $\hat{\theta}$의 비율로 정의된다. $w=0$은 점 추정치에서의 훈련을 의미하며, $w$가 커질수록 $\hat{\theta}$를 중심으로 하는 대역폭이 넓어진다.
• 훈련 및 평가: 각 $(n, w)$ 구성에 대해, Soft Actor-Critic (SAC) 정책을 75,000 스텝 동안 훈련시켰다. 성능은 20회의 결정론적 에피소드에 대한 숨겨진 타겟 시스템 $R$에서의 **제로샷 리턴(zero-shot return)**을 통해 평가되었다.
• 범위: 연구는 10개의 시드에 대해 $n \in \{0, 5, 10, 25, 50\}$와 $w \in \{0, 0.1, 0.2, 0.3, 0.5\}$를 탐색하여 총 250회의 실행을 수행하였다. 통계적 유의성은 쌍체 부트스트랩 신뢰 구간을 사용하여 평가되었다.

주요 결과
실험은 측정의 가치와 무작위화 폭의 가치 사이에서 뚜렷한 계층 구조를 드러냈다:

1. 측정의 우위: 실로봇 롤아웃을 식별($n$)에 할당하는 것이 성능의 주요 동인이었다. 전이 갭은 처음 몇 번의 롤아웃만으로 급격히 좁혀졌다. 구체적으로, $n=0$에서 $n=10$으로 이동할 때 리턴이 약 427 포인트 증가하는 거대한 개선을 보였으나, $n$이 10을 초과하면 수확 체감의 법칙이 나타났다.
2. 점 추정치가 무작위화보다 우수함: 어떤 실측 데이터라도 가용해지면($n > 0$), 추정된 점 파라미터에서 훈련하는 것($w=0$)이 넓어진 무작위화 대역에서 훈련하는 것보다 유의미하게 높은 성능을 보였다. 좁은 대역($w=0.2$)조차도 $w=0$에 비해 통계적으로 낮은 리턴을 기록했다.
3. 무작위화는 측정을 대체할 수 없음: 이론적으로 실제 시스템을 포함하는 넓은 무작위화(예: $[0.3, 3.0]$을 커버하는 사전 범위 베이스라인)도 측정을 대체하지 못했다. $n=0$이고 넓은 무작위화를 가진 정책은 성능이 저조했으며(리턴 $\approx -749$), 이는 $n=0, w=0$ 베이스라인과 유사한 수준이었고, "순수 충실도(pure fidelity)" 베이스라인인 $n=50, w=0$ (리턴 $\approx -337$)보다 훨씬 나빴다.
4. 강건성: 이러한 결과는 서로 다른 리얼리티 갭(작은 갭, 주요 갭, 큰 갭)과 센서 노이즈 수준에서도 유지되었다. 예산 곡선의 "무릎(knee)" 지점은 노이즈 수준에 따라 이동했지만(예: 노이즈가 높을 때 더 많은 롤아웃 필요), 질적인 순위는 동일했다: 즉, 측정은 필수적이며, 측정 후 대역을 넓히는 것은 해롭다는 것이다.

기여 및 의의
본 논문은 새로운 알고리즘을 제안하는 것이 아니라, 고정된 예산 하에서 식별 대 무작위화의 트레이드오프를 측정 가능한 방식으로 규명한다.

• 정형화: 식별(ID)과 무작위화(DR) 사이의 선택을 단일 예산 할당 문제로 공식화하고 전체 리턴 표면을 매핑하였다.
• 실증적 증거: 파라미터가 식별 가능하고 시뮬레이터 패밀리가 타겟 시스템을 포함하는 경우, 측정이 폭(breadth)보다 우세함을 입증하였다. 소량의 식별 롤아웃만으로도 전이 갭의 대부분을 좁힐 수 있다.
• 전략적 권고: 시뮬레이션-실제(sim-to-real) 파이프라인은 시뮬레이터 모델 클래스 내에서 식별 가능한 파라미터를 측정하는 것을 우선시해야 한다. 도메인 무작위화는 측정을 위한 대체재가 아니라, 측정 후에 남아있는 불확실성을 다루기 위해서만 예약되어야 한다.

한계 및 범위
저자들은 다음 조건이 충족되는 "양호한 영역(benign regime)"에 이 결과가 적용됨을 명시적으로 밝힌다:

• 시뮬레이터가 잘 지정되어 있음 (구조적 모델 불일치 없음).
• 알려지지 않은 파라미터가 2개뿐임.
• 실제 시스템이 시뮬레이터 패밀리에 의해 표현 가능함.

본 논문은 파라미터 적합이 타겟을 완벽하게 재현할 수 없는 구조적 불일치(예: 모델링되지 않은 마찰, 백래시 또는 접촉 역학)가 포함된 실제 시나리오에서는 무작위화 폭의 가치가 높아질 수 있음을 인정한다. 현재의 연구 결과는 더 어려운 설정에 대한 기준점 역할을 하며, 파라미터를 식별할 수 있는 경우에는 무작위화의 폭보다 충실도(fidelity)가 우선되어야 함을 시사한다.