기술 요약: 이질적 USV 협력 추격을 위한 OGR-MARL

1. 문제 정의

본 논문은 제약된 항만 수로 내에서의 이질적 다중 USV(무인 수상정) 협력 추격 문제를 다룹니다. 개활지 해상 시나리오와 달리, 항만 환경은 좁은 항로, 정박 구역, 완충 구역, 양방향 교통 흐름 등 엄격한 항행 제약을 부과합니다.

구체적인 문제는 4대의 이질적 추격팀이 동쪽 경계로 탈출하려는 회피 대상(evader)을 차단하는 임무를 수행하는 것입니다. 팀은 다음과 같이 구성됩니다:

• 요격정 ($P_1, P_2$): 포획 능력을 갖추었으나 탐지 반경이 제한된 고속 USV.
• 정찰정 ($P_3, P_4$): 탐지 반경은 넓지만 속도가 느린 USV로, 목표물에 대한 가시성을 유지하고 공유된 신념 상태(shared belief state)를 업데이트하는 임무를 수행함.

회피 대상은 A* 글로벌 플래너와 인공 퍼텐셜 필드(APF) 로컬 충돌 회피 모듈을 사용하는 질점(mass point)으로 모델링되며, 해안, 화물선, 추격정을 피해 항행합니다. 환경은 **부분 관측 가능(partially observable)**하며, 정찰정만이 원거리에서 회피 대상을 탐지할 수 있습니다. 따라서 팀은 시간이 지남에 따라 갱신되지 않으면 감쇠하는 공유 신념 상태를 유지해야 합니다.

핵심 난제는 규칙 준수(해안 및 교통 위반 방지)와 임무 효율성(전술적으로 재계획하는 회피 대상 포획) 사이의 균형을 맞추는 것이며, 이는 부분 관측 가능성과 이질적인 역학 관계 하에서 이루어져야 합니다.

2. 방법론: OGR-MARL

저자들은 규칙 기반 행동과 학습 과정을 분리하도록 설계된 알고리즘 불가지론적(algorithm-agnostic) 프레임워크인 OGR-MARL(Option-Guided Residual Multi-Agent Reinforcement Learning)을 제안합니다. 이 프레임워크는 중앙 집중형 학습 및 분산 실행(CTDE) 패러다임 하에서 작동합니다.

주요 아키텍처 구성 요소:

1. 옵션 가이드 레이어 (Option Guidance Layer):

   • 에이전트의 역할, 신념 확신도, 규칙 준수 상태에 따라 에이전트에 상위 수준의 "옵션(modes)"을 할당하는 경량 규칙 기반 모듈입니다.
   • 옵션: {search, track, intercept, block, recover}.
   • 기능: 정찰정은 가시성 유지를 위해 search 또는 track을 선택하고, 요격정은 핀서 기동(pincer maneuvers)을 형성하기 위해 intercept 또는 block을 선택하며, recover는 에이전트를 위반 상황으로부터 멀어지도록 유도합니다.
   • 이 레이어는 특정 MARL 알고리즘과 독립적으로 기하학적 목표물과 상위 수준의 행동($a^{opt}$)을 생성합니다.

2. 잔차 정책 학습 (Residual Policy Learning):

   • 일반적인 MARL 백본(예: MADDPG, MATD3, MAPPO, MASAC)은 로컬 관측값에 조건화된 잔차 행동(residual action, $a^{rl}$)을 학습합니다.
   • 최종 실행되는 행동($a_i$)은 규칙 가이드 옵션 행동과 학습된 잔차 행동의 결합된 형태입니다:
     $$a_i = \text{clip}((1 - \beta_i)a^{rl}_i + \beta_i a^{opt}_i, -1, 1)$$
   • 이를 통해 MARL 에이전트는 제약된 환경을 처음부터 탐색하는 대신, 안전하고 규칙을 준수하는 사전 지식(prior) 위에 교정 행동(타이밍, 국부적 움직임 조정, 협력 등)을 학습할 수 있습니다.

3. 구조화된 보상 및 커리큘럼 학습:

   • 보상 형성 (Reward Shaping): 보상 함수($r_{ind}$)는 다음으로 분해됩니다:
     • 태스크 진행(Task-progress): 항만 이탈, 추적, 핀서 형성을 장려.
     • 규칙 준수(Rule-compliance): 해안/정박 침범 및 교통 위반에 대해 벌점 부여.
     • 이질적 역할(Heterogeneous-role): 상호 보완적 행동(정찰정의 추적, 요격정의 거리 좁히기)을 촉진.
     • 종료(Terminal): 포획 시 보상, 탈출/시간 초과 시 벌점 부여.
   • 커리큘럼 학습: 학습은 5단계($S_0$ ~ $S_4$)를 통해 진행되며, 회피 대상의 속도를 높이고, 포획 반경을 좁히고, 규칙 벌점을 강화함으로써 에이전트가 기초적인 행동에서 정밀하고 준수적인 협력 단계로 나아가도록 유도합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 벤치마크 시나리오: 이질적 USV, 이동 중인 교통량, 정박 구역, 부분 관측 가능성을 특징으로 하는 현실적이고 제약된 항만 수로 시나리오(추상화된 샤지먼 항구)를 구축했습니다.
2. OGR-MARL 프레임워크: 공유된 회피 대상 신념, 역할 조건부 옵션 목표, 적응형 규칙 벌점 및 잔차 정책 학습을 통합하는 알고리즘 불가지론적 프레임워크를 제격합니다. 이는 서로 다른 MARL 백본이 규칙 가이드 행동 위에 교정 행동을 학습할 수 있게 합니다.
3. 포괄적 평가: 백본 비교, 보상 절제 연구(ablation studies), 그리고 QGIS 및 AIS(자동 식별 시스템) 데이터에 기반한 실제 지도에 대한 **제로샷 전이(zero-shot transfer)**를 포함한 엄격한 평가를 수행했습니다.

4. 실험 결과

실험은 추상화된 1000x400 도메인에서 수행되었으며, 재학습 없이 실제 지도로 전이되었습니다.

• 성능 비교:

  • 순수 규칙 기반 컨트롤러는 **35.0%**의 포획률을 달 기록했습니다.
  • 순수 MARL 베이스라인(옵션 가이드 없는 경우)은 희소한 보상과 규칙 위반 문제로 인해 낮은 성능(1.0% – 16.0% 포획률)을 보였습니다.
  • OGR-MARL 변형 모델들은 순수 모델들을 크게 상회했습니다.
  • OGR-MASAC(Soft Actor-Critic으로 구현된 OGR)는 **75.0%**의 포획률, 가장 낮은 평균 태스크 시간 비용(121.94s), 가장 높은 이질적 협력 점수(HCS: 0.6802)를 달성하며 최고의 성능을 보였습니다.
  • OGR-MATD3 또한 1.0%에서 **59.0%**로 크게 향상된 성능을 보여주었습니다.

• 절제 연구 (Ablation Studies):

  • 규칙 또는 역할 보상을 제거하면 성능이 크게 저하되었습니다(예: 규칙이 없는 OGR-MASAC의 SR은 31.0%로 하락). 이는 제약된 환경에서 구조화된 보상의 필요성을 확인시켜 줍니다.

• 제로샷 전이 (Zero-Shot Transfer):

  • 재학습 없이 QGIS/AIS 정보가 반영된 샤지먼의 실제 지도로 전이했을 때, OGR-MASAC는 **66.67%**의 포획률을 달성했습니다.
  • 추상 시뮬레이션보다는 낮지만, 이는 곡선 해안선 및 불규칙한 교통 패턴과 같은 어려움에도 불구하고 일반화 가능성을 입증합니다.

• 실패 분석:

  • 실패의 주된 원인은 목표 가시성의 완전한 상실보다는 비효적인 종단 근접 요격(terminal close-in interception)에 있었습니다. 성공적인 에피소드에서는 요격정이 회피 대상에 훨씬 더 가까이 접근했습니다(평균 거리 4.17 vs 실패 시 8.19).

5. 의의 및 주장

본 논문은 OGR-MARL이 규칙 기반 방법의 해석 가능성과 강화 학습의 적응성 사이의 간극을 효과적으로 메운다고 주장합니다. MARL 알고리즘을 제어 로직과 분리함으로써, 프레임워크는 에이전트가 다음을 수행할 수 있게 합니다:

• 안전하고 규칙을 준수하는 행동 위에 교정 행동을 학습하여, 제약된 환경을 처음부터 탐색하는 비효율성을 피함.
• 정찰정과 요격정이 효과적으로 상호 보완적 역할을 수행하는 이질적 협력을 달 achievement.
• 제로샷 전이를 통해 복잡한 실제 항만 시나리오로 일반화함으로써, 재학습 없이도 환경 변화에 대한 강건성을 보여줌.

저자들은 이 방법이 유망하지만, 향후 연구는 월드 모델(world models)을 사용하여 샘록 효율성을 개선하고, 더욱 현실적이거나 물리적인 해양 환경에서 성능을 검증하는 데 집중해야 한다고 결론지었습니다.