기술 요약: 에이전트의 상태를 행동을 통해 드러내기 위한 관측 가능한 제어 정책 학습

문제 정의

자율 에이전트 간의 효과적인 협업은 대개 직접적인 통신을 통한 상호 상태 인지에 의존한다. 그러나 물리적 또는 운영적 제약(예: 수중 환경, 대역폭 제한, 또는 하드웨어 불일치)으로 인해 통신이 신뢰할 수 없거나 불가능한 경우가 빈번하다. 부분 관측 마르코프 결정 과정(POMDP)은 이러한 불확실성을 처리하기 위한 이론적 틀을 제공하지만, 확장성 문제와 태스크 파라미터가 변경될 때 모든 에이전트를 재학습시켜야 한다는 단점이 있어 연합 시스템에서의 실용성을 제한한다.

대안적인 접근 방식은 외부 관찰자가 다른 에이전트의 상태를 추론할 수 있도록 명시적으로 추정기(estimator)를 구성하여 에이전트들을 "디커플링(decoupling)"하는 것이다. 에이전트의 제어 행동은 (예: 항공기가 선회하며 기울어지는 것과 같이) 명시적인 통신 없이도 관찰되는 경우가 많지만, 오직 태스크 성능만을 위해 최적화된 표준 제어 정책은 "관측 가능성(observability)"이 부족할 수 있다. 이러한 경우, 서로 다른 상태가 동일한 행동 시퀀스(예: 원형 궤도를 돌 때의 일정한 뱅크 각도)를 생성할 수 있어, 상태 재구성이 불가능하거나 발산하기 쉽다. 핵심 문제는 에이전트가 본래의 주요 태스크를 효과적으로 수행하면서 동시에 외부 관찰자가 에이전트의 상태를 정확하게 재구성할 수 있도록 하는 행동을 생성하는 제어 정책을 어떻게 학습시킬 것인가이다.

방법론

저자들은 상태 추정기의 성능을 보상 함수에 명시적으로 포함하여 강화 학습(RL)을 통해 제어 정책을 학습시키는 프레임워크를 제안한다.

에이전트 및 환경 구성

• 태스크: 고정익 무인 항공 시스템(UAS)이 지상 표적을 추적해야 한다. 에이전트는 항공기의 뱅크 각도($\phi$)를 제어하여 표적과의 근접성을 유지한다.
• 상태: 에이전트의 결정 상태는 표적에 대한 상대 위치($x, y$) 및 속도($v_x, v_y$)로 구성된다.
• 정책: 신경망은 상태를 의사 제어 분포(Gaussian)로 매핑한다. 평균값은 네트워크에 의해 출력되며, 분산은 안정적인 탐색을 보장하기 위해 고정된다. 샘플링된 의사 제어는 포화 함수(saturation function)를 통해 뱅크 각도 명령으로 매핑된다.
• 추정기: 상태를 추정하기 위해 무향 칼만 필터(Unscented Kalman Filter, UKF)가 사용된다. 이 필터는 에이전트의 시스템 역학을 사용하며, 에이전트의 제어 정책을 측정 함수(measurement function)로 취급한다. "관측값"은 정책에 의해 생성된 샘플링된 의사 제어 행동($\tilde{u}$)이다.

보상 임베딩

두 가지 정책이 학습 및 비교된다:

1. 태스크 전용 정책 (Task-Only Policy): 표적과의 거리에 따라 지수적으로 감소하는 보상($r_{task-only}$)으로 학습된다.
2. 임베디드 추정기 정책 (Embedded Estimator Policy): 다음과 같이 증강된 보상($r_{embedded}$)으로 학습된다:
   $$r = r_{task-only} + R(\hat{x}, x)$$
   여기서 $R(\hat{x}, x)$는 실제 상태($x$)와 추정 상태($\hat{x}$) 사이의 오차를 최소화하는 행동을 촉진하는 보상 항이다. 이 항은 공분산 행렬에 의해 가중치가 부여된 오차 노름(error norm)의 지수적 감소로 공식화된다.

RL 에이전트 내에 추정기를 임베딩함으로써, 에이전트는 추적 목표를 달성할 뿐만 아니라 상태 추정의 불확실성을 줄이는 행동을 선택하도록 유도되어, 결과적으로 관측 가능성을 최적화하게 된다.

관측 가능성 분석

저자들은 두 가지 지표를 사용하여 관측 가능성을 분석한다:

1. 선형화된 관측 가능성 행렬 (Linearized Observability Matrix): 국부적 관측 가능성을 평가하기 위해 테일러 급수 근사를 통해 각 타임 스텝에서 계산된다.
2. 스트립드 관측 가능성 행렬 (Stripped Observability Matrix, SOM): 동적 관측 가능성을 평가하기 위해 시간 궤적에 따라 선형화된 행렬을 쌓아서 구축된다. 이 행렬들의 특잇값(singular values)은 상태 공간이 어느 정도 관측 가능한지를 나타낸다.

주요 기여

1. 추정기 구현: 저자들은 명시적인 상태 텔레메트리 없이 오직 제어 정책의 출력(행동)만을 관측값으로 사용하는 상태 추정기를 구현하였다.
2. 관측 가능성을 위한 RL: RL 보상 함수에 추정기의 성능을 직접 임베딩함으로써 제어 정책의 관측 가능성을 개선하는 방법을 입증하였다.
3. 성능 검증: 관측 가능성 행렬의 특잇값 분해(SVD)와 몬테카를로 시뮬레이션을 통해, 결과적인 정책이 명목적인 추적 태스크에 대한 미미한 저하를 보이면서도 추정기 성능을 크게 향상시킨다는 것을 보여주었다.

결과

연구는 "태스크 전용" 정책과 "임베디드" 정책을 비교하기 위해 14,500회의 시뮬레이션 에피소드를 평가하였다.

• 추정기 성능: 임베디드 정책이 태스크 전용 정책보다 성능이 현저히 뛰어났다.
  • 위치 오차: 중앙값 성능 수준에서, 임베디드 정책은 태스크 전용 정책에 비해 위치 오차를 약 4배 감소시켰다. 90 백분위수에서 임베디드 정책은 90%의 사례에서 오차를 10m 미만으로 유지했으나, 태스크 전용 정책은 60%의 경우에만 이를 달성했다.
  • 발산: 태스크 전용 정책은 필터가 실제 상태에서 크게 벗어나는 높은 발산율(약 30%의 에피소드)을 보였다. 임베디드 정책은 무시할 만한 수준의 발산을 보였다.
  • 수렴: 발산하는 사례를 제외했을 때, 임베디드 정책은 시뮬레이션 종료 시점에서 태스크 전용 정책에 비해 위치 오차는 44.2%, 속도 오차는 32.1% 감소한 성능을 보였다.
• 태스크 성능: 추정기 보상의 포함은 주요 추적 태스크에 대해 미미한 "페널티"를 초래했다. 80 백분위수에서 임베디드 정책의 추적 보상은 태스크 전용 정책보다 단 1.2% 낮았으며, 이는 관측 가능한 정책이 명목적인 태스크 효능을 희생하지 않고도 달성될 수 있음을 나타낸다.
• 관측 가능성 지표:
  • 국부 관측 가능성 (Local Observability): 두 정책 모두 상태 공간의 어떤 단일 지점에서도 완전히 관측 가능하지 않았다 (가장 작은 특잇값이 0에 가까움).
  • 동적 관측 가능성 (Dynamic Observability): SOM 분석 결과, 임베디드 정책은 시간이 지남에 따라 훨씬 더 큰 특잇값을 갖는 궤적을 생성했다. 구체적으로, 약 50초의 데이터가 지난 후, 임베디드 케이스의 가장 작은 특잇값은 0에서 1로 증가하여 시퀀스가 관측 가능해진 반면, 태스크 전용 케이스는 여전히 낮은 관측 가능성을 유지했다.

의의 및 주장

본 논문은 추정기를 훈련 과정에 통합함으로써 설계 단계부터 "관측 가능한" 제어 정책을 생성할 수 있다고 주장한다. 주요 의의는 통신이 제한된 시나리오에서 자율 에이전트 간의 협업을 가능하게 한다는 점에 있다. 제어 행동을 통해 에이전트의 내부 상태를 정보화함으로써, 에이전트들은 관찰만으로 협력할 수 있다.

저자들은 정책 공간이 충분히 복잡하기 때문에, 명목적인 태스크 목표와 관측 가능성 목표를 모두 만족하면서도 큰 트레이드오프 없이 적절한 정책을 선택할 수 있다고 주장한다. 이 접근 방식은 완전히 통합된 POMDP에 대한 "디커플링된" 대안을 제공하며, 제어 정책이 공유된다면 에이전트들을 독립적으로 훈련하고 업데이트할 수 있게 한다.

또한, 본 연구는 관측 가능한 정책이 인간-자율 시스템 팀워크를 향상시킬 수 있음을 시사한다. 자율 시스템이 행동을 통해 자신의 상태와 의도를 더 투명하게(관측 가능하게) 만든다면, 인간 운영자는 시스템의 동작을 더 잘 이해하고 예측할 수 있어 혼합 운영 환경에서의 안전과 편의를 높일 수 있다. 결론적으로, 이 논문은 인간-기계 협업을 완전히 해결하지는 못하지만, 행동으로부터의 상태 재구성을 실행 가능하고 효율적으로 만드는 기초적인 방법을 확립한다.