Explainable Reinforcement Learning via Physics-Aware Policy Distillation

기술 요약: 물리 인지적 정책 증류를 통한 설명 가능한 강화 학습

문제 정의
로보틱스 및 자동차 공학 등 안전이 필수적인 영역에서 딥 강화 학습(DRL)의 배치는 심층 신경망의 "블랙박스"적 특성으로 인해 빈번히 저해됩니다. 이러한 투명성의 결여는 규제 준수(예: ISO 26262)를 방해하고 인간과 에이전트 간의 신뢰를 저하시킵니다. DRL 에이전트는 연속 제어 작업에서 탁월한 성능을 보이지만, 그 의사결정 과정은 종종 불투명하여 운영자와 규제자가 안전성을 검증하거나, 실패를 디버깅하거나, 윤리적 제약 조건을 통합하는 것을 어렵게 만듭니다. 본 연구가 다루는 핵심 과제는 높은 성능의 연속적 DRL 정책을 유지하면서도, 작업 성공도를 희생하지 않고 이를 어떻게 해석 가능하고 검증 가능하게 만들 것인가 하는 점입니다.

방법론
본 연구는 불투able하고 고성능인 "교사(Teacher)" 모델로부터 투명한 "학생(Student)" 대리 모델로 지식을 전이하기 위해 정책 증류(Policy Distillation) 프레임워크를 사용합니다.

• 환경 및 교사 모델: 실험에는 InvertedPendulum-v4 벤치마크를 활용합니다. 교사는 TD3(Twin Delayed DDPG) 에이전트로, 연속적인 액션 공간을 처리하고 과대평가 편향을 완화할 수 있는 액터-크리틱 알고리즘입니다. TD3 에이전트는 폴(pole)을 수직 상태로 유지함으로써 누적 보상을 최대화하도록 훈련되었습니다.
• 데이터셋 생성 (노이즈가 포함된 오라클 롤아웃): 학생 모델이 단순히 최적의 궤적만을 배우는 것이 아니라 강건한 회복 동작을 학습할 수 있도록, "노이즈가 포함된 오라클 롤아웃(Noisy Oracle Rollouts)"을 사용하여 데이터셋을 생성합니다. 데이터 수집 과정에서 교사의 행동에 가우시안 노이즈를 주입함으로써, 에이전트를 실패 직전의 상태로 몰아넣습니다. 이는 완벽하게 안정적인 노이즈 없는 시뮬레이션에서는 나타나지 않을 수 있는 결정적인 비상 제어 로직을 포착합니다.
• 학생 모델 (대리 모델): 교사의 정책은 얕은 의사결정 나무 회귀 모델(Decision Tree Regressor)(최대 깊이 7)로 증류됩니다. 의사결정 나무는 신경망과 달리 중첩된 IF-TH THEN 규칙을 통해 전역적 해석 가능성을 제공합니다.
• 물리 인지적 특징 공학 (Physics-Aware Feature Engineering): 본 연구의 주요 방법론적 혁신은 **"폴 긴급도(Pole Urgency)"**라는 커스텀 피처의 도입입니다. 이 피처는 폴의 각도($\theta$)와 각속도($\dot{\theta}$)를 선형적으로 결합하여 고전적인 비례-미분(PD) 제어기를 모사합니다: $P_{urgency} = \theta + K_d \cdot \dot{\theta}$. 이를 통해 의사결정 나무는 결합된 상태 변수를 다루는 데 어려움을 겪는 표준적인 나무의 한계를 극복하고, 단일 분할(split)만으로도 비선형적인 대각선 결정 경계(슬라이딩 모드 제어와 유사함)를 근사할 수 있습니다.

주요 기여

1. 해석 가능한 대리 모델 구축: 본 논문은 연속적 TD3 정책을 작업 성공도(100% 성공률)를 유지하면서도 완전한 전역 및 지역적 해석 가능성을 제공하는 의사결정 나무로 성공적으로 증류했음을 입증합니다.
2. 강화된 데이터 수집 전략: "노이즈가 포함된 오라클 롤아웃"의 사용은 증류된 모델이 강건한 회복 로직을 포착하도록 보장하며, 이는 행동 복제(behavioral cloning)에서 흔히 발생하는 "초기 2초 문제"와 공변량 변화(covariate shift) 문제를 해결합니다.
3. 물리 기반 피처 설계: "폴 긴급도" 피처를 설계함으로써, 얕은 의사결정 나무(깊이 7)가 복잡한 제어 역학을 효과적으로 모델링하고, 현저히 감소된 모델 복잡도로도 높은 충실도를 유지할 수 있게 했습니다.
4. 제어 이론 기반 안정성 분석: 본 연구는 표준 보상 지표를 넘어 유계 입력 유계 출력(BIBO) 안정성, 이중 모드 리미트 사이클(Bimodal Limit Cycles), 액션 채터링(Action Chattering) 등을 구체적으로 조사하는 엄격한 제어 이론 분석을 포함하여 평가 범위를 확장했습니다.

결과

• 성능: 증류된 의사결정 나무는 1,000 스텝의 50회 연속 에피소드 동안 100% 폐루프 성공률을 달 기록하며, 전문가인 TD3 교사와 동일한 성능을 보였습니다.
• 행동 충실도: 연속적인 액션 공간을 이산적인 힘의 수준으로 양자화했음에도 불구하고, 학생 모델은 전문가의 매크로 전략을 정확하게 추적하며 교사와 강력한 단조 상관관계를 유지했습니다.
• 안정성 역학: 분석 결과, 연속 제어에서 이산 제어로 전환할 때 발생하는 근본적인 트레이드오프가 드러났습니다. 의사결정 나무는 폴이 정적 제로 위치를 유지하는 대신 두 경계($\approx \pm 0.5$ rad) 사이에서 안전하게 진동하는 이중 모드 리미트 사이클을 유도합니다. 이는 편차가 실패 임계값 내에 엄격히 머물러 있음을 확인시켜 주므로 BIBO 안정성을 입증합니다.
• 구동 특성: 나무의 이산적 특성은 TD3 에이전트의 부드럽고 감쇠된 출력과 대조되는 고주파 **"뱅-뱅(Bang-Bang)" 구동(채터링)**을 발생시킵니다. 이는 안정성을 보장하지만, 기계적 마모 문제를 야기할 수 있습니다.
• 해석 가능성: 본 연구는 2D 결정 경계 맵(각속도와 긴급도에 따라 나무가 상태 공간을 어떻게 분할하는지 보여줌)을 통한 전역적 해석 가능성과 실행 중 특정 IF-THEN 결정 경로를 실시간으로 시각화하는 지역적 해석 가능성을 모두 제공합니다.

의의 및 주장
본 논문은 정책 증류를 통해 연속 제어 작업에 대한 설명 가능한 강화 학습(XRL)의 실행 가능성을 입증한다고 주장합니다. 저자들은 작업 성공도를 저해하지 않으면서 불투명한 신경망에서 투명한 규칙 기반 시스템으로 전환하는 것이 가능하다고 단언합니다.

저자들은 본 접근 방식이 표준 성능 지표와 함께 제어 이론 지표(리미트 사이클 및 양자화 오차 등)를 통합하여 대리 모델을 검증하는 엄격한 프레임워크를 제공한다는 점을 강조합니다. 이 연구는 이러한 증류된 정책이 복잡한 자율 시스템에서 "해석 가능한 안전 계층(Interpretable Safety Layers)" 역할을 수행할 수 있으며, 이를 통해 인간 감사자가 결정 로직을 검증하고 안전 표준 준수를 보장할 수 있음을 시사합니다. 다만, 저자들은 현재 접근 방식의 한계로서, 이산 제어로 인해 발생하는 고주파 기계적 채터링을 겸허히 인정하며, 이는 실제 하드웨어 배포 전 저역 통과 필터(low-pass filter)와 같은 평활화 기술이 필요할 수 있다고 언급했습니다. 본 연구는 고성능 DRL과 인간이 검증 가능한 로직 사이의 간극을 메움으로써, 로보틱스 및 자율 주행 분야의 "검증 가능한 AI"를 향한 기초적인 단계로 자리매김하고 있습니다.