기술 요약: 인식적 함정 극복: 복합 불확실성 하의 능동적 지각

1. 문제 정의: 인식적 함정

이 논문은 안전-중요 분야 (예: 자율 주행 차량, 의료 의사결정 지원) 에서 강화학습 (RL) 을 배포할 때 발생하는 치명적인 한계를 규명합니다. 기존 문헌은 시스템 물리 변화인 **동역학 변화 (dynamics shifts)**와 불완전한 상태 정보인 **부분 관측성 (partial observability)**을 별도의 과제로 다루고 있지만, 저자들은 이 두 가지가 동시에 발생할 때 시너지 효과를 일으켜 **인식적 함정 (Epistemic Trap)**이라 명명된 실패 모드를 초래한다고 주장합니다.

이 체제에서 에이전트는 순환적 종속성에 직면합니다:

• 시스템 동역학을 알지 못하면 상태를 정확하게 추정할 수 없습니다.
• 정확한 상태 정보를 알지 못하면 시스템 동역학을 정확하게 학습할 수 없습니다.

기존 접근법들은 이러한 불확실성이 서로 독립적이거나 최악의 경우 경계에 의존한다고 가정하는 **수동적 인식적 태도 (passive epistemic stance)**를 취합니다. 저자들은 이러한 가정이 "초가산적 (super-additive)" 실패로 이어짐을 입증합니다. 즉, 개별 저하의 합을 훨씬 초과하는 결합된 성능 저하가 발생한다는 것입니다. 핵심 문제는 에이전트가 오류가 잘못된 위치에 있기 때문인지 (상태 불확실성), 아니면 기계적 고장 때문인지 (동역학 불확실성) 를 구별하지 못해 추론 마비가 발생한다는 점입니다.

2. 방법론: 적응형 안전 아키텍처

인식적 함정을 해결하기 위해 저자들은 안전을 정보 문제로 재정의하고 **적응형 안전 아키텍처 (Adaptive Safety Architecture)**를 도입합니다. 이 프레임워크는 수동적 견고성에서 **능동적 지각 (active perception)**으로 패러다임을 전환하여, 에이전트가 불확실성을 해결하기 위해 환경을 전략적으로 탐색하도록 합니다.

2.1 함정의 정량화: 복합 불확실성 계수 ($\kappa$)

저자들은 상태 ($s$) 와 동역학 ($\theta$) 불확실성 간의 결합을 정량화하기 위해 $\kappa$라는 지표를 도입합니다.

• 이론적 기반: $\kappa$는 결합 믿음 $b_t$ 내의 상태와 동역학 간의 정보 이론적 얽힘을 측정하는 조건부 상호 정보 $I(s; \theta | b_t)$로 정의됩니다.
• 실용적 근사: 전체 결합 믿음을 계산하는 것은 계산적으로 불가능하므로, 그들은 상한 대리 지수를 유도합니다: $\kappa \approx \sigma_\theta + \sigma_s$.
  • $\sigma_\theta$: 고정된 동역학 예측기 앙상블로부터의 정규화된 예측 오차로, 인식적 동역학 불확실성을 포착합니다.
  • $\sigma_s$: 부분 관측 손실 (마스크된 센서) 과 행동 지연을 결합한 결핍 지표로, 상태 관측성 결핍을 포착합니다.
• 체제 감지: $\kappa$는 운영을 세 가지 체제로 구분합니다:
  1. 낮은 결핍 ($\kappa < \tau_{low}$): 불확실성이 독립적임; 표준 견고/POMDP 방법이 충분함.
  2. 전환: 중간 결합; 에이전트가 작업 진행과 불확실성 감소 사이에서 균형을 맞춤.
  3. 높은 결핍 / 인식적 함정 ($\kappa > \tau_{high}$): 수동적 관측이 실패함; 시스템은 능동적 정보 추구를 전환해야 함.

2.2 능동적 해결: 동역학 정보 추구 (DIS)

$\kappa$가 함정을 나타낼 때, 에이전트는 표준 보상 최대화에서 **동역학 정보 추구 (Dynamics Information-Seeking, DIS)**로 전환합니다.

• 구별: 상태 정보를 추구하는 고전적 능동 지각과 달리, DIS 는 이동된 동역학 ($\theta$) 의 매개변수를 격리하고 식별하도록 특별히 설계된 행동을 실행합니다.
• 목적 함수: 저자들은 작업 보상, 정보 획득, 안전 위험을 절충하는 복합 정책 $\pi^*$인 MaxInfoRL 목적 함수를 제안합니다:
  $$\pi^* = \arg \max_\pi \mathbb{E}_\pi [R_{task} + \alpha(\kappa) \cdot IG(\theta) - \lambda \cdot R_{risk}]$$
  여기서 가중치 $\alpha$는 $\kappa$의 단조 증가 함수로, 결합이 증가함에 따라 정보 획득 ($IG$) 을 우선시합니다.

2.3 적응형 안전 제약

안전 제약은 정적이지 않고 $\kappa$에 의해 조절되는 동적 변수입니다. 인식적 결합이 증가함에 따라 안전 예산 ($\delta(\kappa)$) 이 강화되어 에이전트가 진단 정보를 수집하는 동안 보수적으로 작동하도록 강제합니다. 이는 불확실성 정량화 (UQ) 모듈이 $\kappa$를 지속적으로 업데이트하여 정책의 행동을 조정하도록 하는 폐루프 시스템을 생성합니다.

3. 주요 결과

저자들은 120 가지 실험 구성에 걸쳐 시뮬레이션된 이족 보행 로봇 (Walker2D-v5) 을 사용한 개념 증명 실험을 통해 프레임워크를 검증했습니다.

• 초가산적 실패: 부분 관측성 (마스크된 센서) 과 동역학 변화 (행동 지연) 를 결합한 고중도 설정에서 성능이 77% 저하되었습니다.
  • 개별 효과: 부분 관측성으로 19% 감소; 동역학 변화로 27% 감소.
  • 가산적 기대치: 약 46% 저하.
  • 실제 결과: 77% 저하 (초가산적 붕괴).
• 감지 능력: $\kappa$ 지표는 이러한 실패의 시작을 성공적으로 감지했습니다. 복합 불확실성 체제 (C4) 에서 $\kappa$는 0.496 으로 급증했습니다 (기저선 0.036 대비), 이는 개별 스트레스 요인 값의 합을 크게 초과합니다.
• 시간적 민감도: 초가산적 효과는 시간적 불확실성 (행동 지연) 하에서 가장 두드러졌으며, 정적 물리 변화에 비해 실패율이 거의 세 배 증가했습니다. 이는 피드백 루프가 지연될 때 상태와 동역학을 교차 검증하는 어려움을 강조합니다.

4. 중요성과 주장

이 논문은 자신의 무지를 인식하고 이를 해결하기 위해 전략적으로 행동함으로써 불확실성 하에서 작동할 수 있는 의사결정 시스템으로 가는 원칙적인 경로를 제시한다고 주장합니다.

• 패러다임 전환: 이 연구는 최악의 경우 경계를 준수하는 "수동적 견고성"을 넘어 "능동적 지각"으로 이동하며, 개방된 세계에서의 안전은 능동적 정보 관리가 필요하다고 주장합니다.
• 구조적 통찰: 이 연구는 동역학과 관측성 과제가 동시에 발생할 때 기존 견고 RL 과 POMDP 솔버가 실패하는 이유를 설명하는 고립된 과제와 구별되는 구조적 실패 모드인 인식적 함정을 규명합니다.
• 미래 로드맵: 저자들은 실현 가능한 구현을 위한 경로를 다음과 같이 제시합니다:
  • 온라인 업데이트 중 안정적인 사전 분포를 유지하기 위한 이중 앙상블 설계.
  • 매개변수 공간의 차원을 줄이기 위한 인과적 구조적 사전 분포.
  • 에이전트 믿음의 초기 엔트로피를 줄이기 위한 견고한 초기화 및 세계 모델링을 제공하는 기반 모델 (Foundation Models, FMs).
  • 현재 벤치마크 (예: POPGym, Robust-Gymnasium) 가 충분히 다루지 않는 복합 불확실성과 초가산적 실패 모드를 명시적으로 테스트하도록 설계된 새로운 벤치마크 POMDP-Robust-Gym.

이 논문은 안전-중요 분야에서 "언제나 안전한 (anytime safety)" 상태를 달성하려면 정보 이론적 목적, 인과적 추상화, 그리고 기반 모델 사전 분포를 통합하여 견고할 뿐만 아니라 지능적으로 적응하는 에이전트를 가능하게 해야 한다고 결론지었습니다.