기술 요약: 적응형 강화 학습을 통한 자율 수상정(ASV)의 교차 플랫폼 제어

1. 문제 정의

자율 수상정(ASV)은 유체역학 및 구동 특성 면에서 상당한 다양성을 보입니다. 현재의 제어 전략은 다음과 같은 배포 병목 현상에 직면해 있습니다:

• 모델 기반 제어기(예: MPC)는 정확한 시스템 식별과 플랫폼별 튜닝이 필요하며, 이는 이질적인 함대(heterogeneous fleets)를 운용할 때 많은 노동력을 요구합니다.
• 표준 강화 학습(RL) 방식은 일반적으로 단일 고정 플랫폼이나 대상의 특정 역학을 정확하게 포착해야 하는 시뮬레이터 상에서 학습됩니다. 새로운 선박에 이 정책을 배포하려면 대개 재식별 및 재학습 과정이 필요합니다.

핵심 과제는 동일 클래스의 서로 다른 ASV 플랫폼에 대해 사전 지식이나 플랫폼별 미세 조정 없이도 제로샷(zero-shot) 배포가 가능한 단일 범용 제어기를 개발하는 것입니다. 이는 **부분 관측 가능성 문제(partial observability problem)**로 프레임링됩니다. 즉, 배포 시점에 실제 시스템 역학($\theta$)은 알 수 없으므로, 물리적 본질은 마르코프적(Markovian)임에도 불구하고 상태는 부분적으로만 관측되는 상황입니다.

2. 방법론

저자들은 상호작용 이력(interaction history)으로부터 잠재 역학(latent dynamics)을 추론하기 위해 교사-학생(Teacher–Student) 구조를 활용하는 적응형 강화 학습 프레임워크를 제안합니다.

A. 시스템 역학 및 정식화

• 모델: 시스템은 Fossen의 공식을 기반으로 한 단순화된 3-DoF(전진, 횡이동, 회전) 수평면 모델을 사용합니다. 역학은 질량, 부가 질량 계수, 선형 감쇠, 관성을 포함한 7개의 물리적 파라미터($\theta$)로 매개변수화됩니다.
• MDP 정식화: 궤적 추종은 부분 관측 마르코프 결정 과정(POMDP)으로 정식화됩니다. 상태 $s_t$는 관측 가능하지만, 역학 파라미터 $\theta$는 관측 불가능합니다. 정책은 근사적인 마르코프성을 복구하기 위해 상호작용 이력에 의존합니다.
• 행동 공간: 정책은 정규화된 선체 좌표계 힘 및 토크 명령($\bar{\tau} \in [-1, 1]^3$)을 출력합니다. 이 값은 배포 시 플랫폼별 액추에이터 제한치에 의해 스케일링되므로, 정책을 절대적인 힘의 크기로부터 분리합니다.

B. 교사-학생(Teacher–Student) 구조

이 접근 방식은 특권 학습(privileged learning)에서 영감을 얻은 2단계 훈련 파이프라인을 채택합니다.

1. 1단계: 교사 훈련 (특권 학습)

   • "교사(Teacher)" 정책은 특권 벡터 $e \in \mathbb{R}^9$에 접근할 수 있는 시뮬레이션 환경에서 훈련됩니다. 이 벡터는 3-DoF 운동 방정식에서 도출된 정규화된 역학 파라미터(피크 가속도, 감쇠율, 코리올리 결합 계수)를 인코딩합니다.
   • 교사는 시스템 역학의 잠재 표현 $z = \mu(e)$를 학습합니다.
   • 훈련에는 광범위한 역학 파라미터에 대한 도메인 무작위화(domain randomization)를 적용한 근사 정책 최적화(PPO)가 사용됩니다.

2. 2단계: 학생 훈련 (적응)

   • 특권 벡터 $e$가 제거됩니다. 인코더 $\mu$는 어댑터(Adapter) 모듈 $\phi$로 대체됩니다.
   • GRU(Gated Recurrent Unit)와 MLP로 구현된 어댑터는 상호작용 이력 $h_t$(최근 상태 변화량, 속도, 정규화된 행동)만을 사용하여 잠재 표현 $\hat{z}$를 추정합니다.
   • 학생 정책(동결된 교사의 액터)은 어댑터의 추정치 $\hat{z}$에 조건화됩니다.
   • 어댑터는 1단계의 그라운드 트루스 잠재값 $z$와 재구성 오차 $\|\hat{z} - z\|^2$를 최소화하도록 지도 학습을 통해 훈련됩니다.

C. 훈련 설정

• 시뮬레이션: 훈련은 고충실도 유체역학 시뮬레이터 대신 경량화된 해석적 역학 모델에 의존합니다.
• 커리큘럼: 점진적인 커리큘럼을 통해 역학 파라미터의 범위와 궤적 복잡도(직선에서 급격한 회전까지)를 확장하여 난이도를 높입니다.
• 외란: 환경 외란(조류, 바람 등)은 Ornstein–Uhlenbeck 프로세스로 모델링됩니다. 액추에이터 지연 또한 무작위화됩니다.
• 보상: 위치, 헤딩, 속도 추종 항을 포함하며, 전진 운동에 대한 보너스와 측면 표류, 과도한 회전, 행동 크기/매끄러움에 대한 페널티를 포함하는 복합 보상 함수를 사용합니다.

3. 주요 기여

1. 제로샷 교차 플랫폼 정책: 동일 클래스의 서로 다른 ASV 플랫폼(역학은 다르지만 클래스는 동일)에 대해 재학훈련이나 시스템 식별 없이 제로샷으로 배포되는 단일 RL 정책을 최초로 입증했습니다.
2. 교사-학생 적응: 레그드 로코모션(legged locomotion)의 교사-학생 프레임워크를 해양 로보틱스에 적용하여, 상호작용 이력만으로 잠재 역학을 추론할 수 있게 했습니다.
3. 단순화된 훈련 파이프라인: 이 방법은 고충실도 유체역학 시뮬레이터의 계산 비용과 복잡성을 피하면서, 단순한 3-DoF 해석 모델만으로 높은 성능을 달もの합니다.
4. 해석 가능성: 학습된 잠재 공간은 관련 역학을 효과적으로 포착하며, 주성분 분석(PCA) 결과 9차원의 잠재 공간이 저차원 부분 공간을 점유함을 보여줍니다.

4. 실험 결과

A. 실세계 실험

실험은 서로 다른 질량, 관성, 액추에이션 제한을 가진 두 개의 서로 다른 물리적 플랫폼(플랫폼 A 및 플랫폼 B)에서 수행되었습니다.

• 성능: 적응형 학생 정책은 두 플랫폼 모두에서 위치 평균 절대 오차(MAE) 4.0 cm를 달ach했습니다.
• 비교:
  • 비적응형 일반 PPO 베이스라인 대비 최대 58% 향상된 성능을 보였습니다 (플랫폼 B: 4.0 cm vs 9.5 cm).
  • 하나의 플랫폼에 대해서만 훈련된 플랫폼 특화 PPO 베이스라인보다 위치 오차가 낮았습니다.
  • 플랫폼 특화 튜닝된 모델 예측 제어기(MPC)의 추종 정확도에 근접했습니다 (학생: 4.0 cm vs MPC: 4.1–4.6 cm).
• 헤딩: 학생 모델은 비적응형 베이스라인보다 동등하거나 더 나은 헤딩 정확도를 달성했습니다.

B. 시뮬레이션 실험

이상적인 조건 하의 5개 플랫폼(Roboat 변형 모델 포함)에 대한 시뮬레이션은 실세계의 결과를 확인해주었습니다:

• 학생 모델은 일반 PPO 대비 위치 오차를 44%, 헤딩 오차를 55% 줄였습니다.
• 학생 모델은 "교사"(오라클) 정책과 거의 동일한 성능을 보였으며, 이는 어댑터가 필요한 잠재 정보를 성공적으로 복구했음을 검증합니다.
• 절제 연구(Ablation study)에 따르면, 어댑터의 출력을 정적 평균 잠재값("Student avg. z")으로 대체할 경우 추종 오차가 두 배 이상 증가하여, 온라인 적응의 필수성을 입증했습니다.

5. 의의 및 주장

본 논문은 이 연구가 범용 ASV 제어를 위한 실질적인 레시피를 제공한다고 주장합니다. 상호작용 이력에 조건화함으로써, 단일 정책은 플랫폼별 튜닝이나 식별이라는 엔지니어링 오버헤드 없이 이질적인 함대를 운용할 수 있습니다.

• 효율성: 전체 훈련 파이프라인(교사 및 학생 단계)은 단일 소비자용 GPU(NVIDIA RTX 4090)에서 약 30분 만에 완료됩니다.
• 확장성: 이 접근 방식은 "플랫폼별 병목 현상"을 제거하여, 통일된 제어 전략을 사용하여 이질적인 함대를 배포할 수 있게 합니다.
• 한계에 대한 겸손한 태도: 저자들은 현재의 3-DoF 선형 감쇠 모델이 저속 변위 영역에서 유효하다는 점을 인정합니다. 어댑터는 무작위화된 범위 내에서 유효 감쇠를 재추정함으로써 속도 의존적 효과(예: 이차 항 항력)를 처리하지만, 아직 고속 플래닝(planing)이나 강한 히브(heave)/롤(roll)/피치(pitch) 결합을 다루지는 못합니다. 향후 연구로 온라인 지속적 적응 및 모델 기반 제어 목표와의 더 긴밀한 통합이 제안되었습니다.