기술 요약: 회복 탄력적인 우주 로봇을 위한 보상 없는 지속적 적응 (Reward-Free Continual Adaptation)

문제 정의

우주 로봇은 하드웨어 성능 저하(예: 바퀴 손상, 추진기 고장, 운동학적 정렬 불량)로 인해 전통적인 제어 전략이 치명적으로 손상될 수 있는 극한 환경에서 작동합니다. 지속적 강화 학습(Continual RL)은 온라인 적응을 위한 메커니즘을 제공하지만, 이는 기본적으로 배포 중 정확한 보상 신호에 접근할 수 있다는 전제에 의존합니다. 우주에서는 외부 추적 시스템의 부재, 제한된 센싱 능력, 환경의 복잡성으로 인해 정밀한 보상 계산이 불가능한 경우가 많습니다. 예를 들어, 특권 상태 정보(privileged state information) 없이 실시간으로 굴착된 레골리스(regolith)의 부피나 궤도 기동의 효율성을 추정하는 것은 신뢰하기 어렵습니다. 이러한 "관측 불가능한 보상(unobservable reward)" 문제는 인간의 개입이 제한적이고 실패의 대가가 높은 우주 환경에서 적응형 학습 시스템을 배치하는 데 있어 병목 현상을 일으킵니다. 기존의 접근 방식들은 수동적인 보상 설계(manual reward engineering)나 도메인 변화 처리(domain shift handling)에 의존하는 경우가 많지만, 새로운 보상 데이터 없이 발생하는 심각한 형태학적 실패(morphological failures)를 해결하지는 못합니다.

방법론

저자들은 DreamerV3 잠재 상태 세계 모델(latent-state world model) 아키텍처를 기반으로 한 보상 없는 지속적 적응(Reward-Free Continual Adaptation) 프레임워크를 제안합니다. 이 접근 방식은 두 가지 별개의 단계로 나뉩니다.

1. 세계 모델 사전 학습 (World Model Pre-Training)

에이전트는 도메인 무작위화(중력, 마찰, 관성 특성 등 변동)를 사용하여 다양한 시뮬레이션 환경에서 사전 학습됩니다.

• 아키텍처: 모델은 고차원 관측값($x_t$)을 압축된 확률적 잠재 상태($z_t$)로 압축하기 위해 순환 상태 공간 모델(RSSM)을 활용합니다.
• 구성 요소: 시스템은 시퀀스 모델, 순방향 역학(forward dynamics), 인코더, 디코더, 보상 예측기 및 연속성 예측기를 공동으로 최적화합니다.
• 학습 목표: 모델은 관측값을 재구성하고, 보상($\hat{r}_t$)과 에피소드 연속성을 예측하며, 사전(prior)과 사후(posterior) 역학 사이의 KL 발산(KL divergence)을 최소화합니다. 액터-크리틱 정책은 세계 모델이 생성한 잠재 궤적 내에서 완전히 학습되며, 이때 예측된 보상을 사용하여 기저의 작업 구조를 학습합니다.

2. 보상 없는 적응 (Reward-Free Adaptation)

심각한 하드웨어 성능 저하가 발생한 환경에 배포되었을 때, 에이전트는 새로운 외부 보상을 받지 않고 적응합니다.

• 동결 메커니즘 (Freezing Mechanism): 관측 인코더, 디코더, 그리고 결정적으로 보상 예측기를 동결합니다. 이는 사전 학습 중에 학습된 "잠재 보상 지형(latent reward landscape)"을 보존합니다.
• 비지도 롤아웃 (Unsupervised Rollouts): 오직 전이 역학(transition dynamics)(시퀀스 모델 및 순방향 역학)만이 새로운 성능 저하 하드웨어에서의 비지도 롤아웃을 통해 업데이트됩니다. 에이전트는 고유 수용 감각(proprioceptive) 데이터를 수집하여 전이 역학에 대한 교정 델타(corrective delta)를 학습합니다.
• 정책 업데이트: 액터-크리틱 정책은 업데이트된 세계 모델에 의해 생성된 "상상된(imagined)" 궤적을 바탕으로 완전히 재학습됩니다. 에이전트는 업데이트된 잠재 표현을 기반으로 유의미한 보상 신호를 받기 위해 동결된 보상 예측기를 활용하며, 이를 통해 외부 보상 피드백 없이도 변화된 역학에 적응할 수 있습니다.
• 안정화: 파괴적 망각(catastrophic forgetting)을 완화하기 위해 학습률을 10분의 1 수준으로 낮추고, 온라인 롤아웃 중에 가우시안 탐사 노이즈(Gaussian exploration noise)를 주입합니다.

주요 기여

• 보상 없는 적응을 위한 프레임워크: 본 논문은 보상 예측과 역학 업데이트를 분리하고 사전 학습된 잠재 보상 지형에 의존함으로써, 우주 로봇 공학을 위한 지속적 학습을 가능하게 하는 방법을 소개합니다.
• 잠재 보상 가설 (Latent Reward Hypothesis): 다양한 시뮬레이션에 걸쳐 사전 학습된 세계 모델이 잠재 공간 내에 견고한 보상 구조를 본질적으로 인코딩하고 있으며, 이것이 전이 역학이 크게 변하더라도 적응을 가이드할 수 있다는 가설을 입증합니다.
• 벤치마킹: 저자들은 'Space Robotics Bench'라는 벤치마크를 제공하며, 다음 세 가지 독특한 도메인에서 접근 방식을 평가합니다:
  1. 행성 이동 (Planetary Traversal): 조향/구동 조인트가 잠긴(바퀴 고장) 로버.
     2. 궤도 항법 (Orbital Navigation): 추진기가 고장 난 우주선 (SE(3) 항법).
  2. 정밀 조립 (Precision Assembly): 정렬이 어긋난 드라이버 도구를 가진 매니퓰레이터 (운동학적 편차).

실험 결과

평가는 NVIDIA Isaac Lab 시뮬레이션에서 수행되었으며, 데이터가 풍부한 사전 학습 단계(2,000만 스텝)와 자원이 제한된 적응 단계(60분의 상호작용)를 엄격히 구분하였습니다.

• 베이스라인: 제안된 방법은 제로샷(zero-shot) 베이스라인, 처음부터 다시 학습하는 에이전트, 그리고 "특권된(privileged)" 보상에 접근하는 적응형 에이전트와 비교되었습니다.
• 성능:
  • Zero-Shot: 모델링되지 않은 역학 변화로 인해 모든 도메인에서 처참하게 실패했습니다.
  • Retrained from Scratch (처음부터 재학습): 작업 수행 가능성을 확인했으나, 극도로 낮은 샘플 효율성을 드러냈습니다.
  • Privileged Reward Agent (특권 보상 에이전트): 빠른 회복력을 보였으며, 재학습 베이스라인의 성능에 근접했습니다.
  • Reward-Free Agent (보상 없는 에이전트): 유망한 초기 회복력을 보여주며, 잠재 세계 모델이 외부 보상 없이도 적응을 가이드할 수 있음을 증명했습니다. 그러나 이 에이전트는 특권 보상 베이스라인에 비해 일관되게 낮은 성능을 보였습니다.
• 관찰된 한계점: 보상 없는 에이전트는 특히 궤도 및 조립 작업에서 상당한 변동성과 성능 저하를 보였습니다. 저자들은 이를 전이 역학이 저하된 형태학에 맞춰 업데이트됨에 따라 잠재 표현이 원래의 공간에서 벗어나면서, 동결된 보상 예측기가 시간이 지남에 따라 정확성을 잃기 때문이라고 분석했습니다.

의의 및 주장

본 논문은 **진정한 회복 탄력적 자율성(truly resilient autonomy)**을 향한 중요한 진전이라고 주장합니다. 관측 불가능한 보상이라는 핵심 병목 현상을 해결함으로써, 이 프레임워크는 로봇이 인간의 개입이나 복잡한 외부 추적 시스템 없이도 예기치 않은 하드웨어 고장에 적응할 수 있게 합니다.

그러나 저자들은 현재의 한계점에 대해 겸허한 입장을 유지합니다:

• 용량 제한 (Capacity Limits): 후기 단계의 성능 저하는 RSSM 내의 용량 제한을 시사하며, 지속적인 역학 업데이트가 사전 학습 중에 습득한 일반화된 원칙을 결국 덮어쓸 수 있음을 보여줍니다.
• Sim-to-Real 간극: 본 연구는 시뮬레이션 기반이며, 실제 환경과의 간극(sim-to-real gap) 문제는 다루지 않았습니다.
• 컴퓨팅 제약: 온라인 적응에 필요한 고도의 최적화 과정은 현재 우주급 임베디드 컴퓨팅 모듈의 엄격한 전력 제한을 초과하므로, 향후 효율적인 인시튜(in-situ) 학습을 위한 돌파구가 필요합니다.

향-후 연구로는 역학 업데이트를 제한하여 성능 저하를 유발하는 드리프트(drift)를 방지할 수 있는 국소적 잠재 공간 어댑터(localized latent-space adapters)를 조사하는 것이 제안되었습니다.