CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery

기술 요약: CRRL: 자율 시스템 회복을 위한 인과 관계 기반 강화 학습 프레임워크

문제 정의
자율 시스템을 위한 전통적인 강화 학습(RL) 정책은 종종 인과적 이해가 부족하여, 새로운 실패 시나리오에서 일반화 성능이 저하되는 문제가 발생한다. 본 논문에서 식별된 결정적인 한계는, 외부 회복 메커니즘에 대한 인식 없이 훈련된 표준 RL 정책이 이들과 효과적으로 협력하지 못한다는 점이다. 실제로, 사전 훈련된 정책에 휴리스틱 회복 모듈을 추가하면 성능이 오히려 저하되는 경우가 많은데, 이는 정책이 예상치 못한 개입을 예측하거나 적응하지 못하기 때문이다. 결과적으로 에이전트는 에피소드의 최대 70%까지 실패 상태에서 정체될 수 있으며, 규칙 기반의 회복만으로는 복잡하고 예측 불가능한 환경을 해결하기에 불충분하다. 핵심 과제는 회복 메커니즘의 부재가 아니라, 이들과 협력하도록 훈련된 정책의 부재이다.

방법론: CRRL 프레임워크
저자들은 인과 가이드 강화 학습과 규칙 기반 회복 모듈을 통합한 하이브리드 프레임워크인 **CRRL (Causal Recovery Reinforcement Learning)**을 제안한다. 이 시스템은 MAPE-K (Monitor, Analyze, Plan, Execute, Knowledge) 피드백 루프 아키텍처를 따른다:

1. 모니터링 (센서 데이터 수집): 시스템은 CARLA 시뮬레이터 내에서 작동하며, 다중 차량 상호작용으로부터 시계열 주행 궤적을 수집한다. 데이터에는 차량 텔레메트리(속도, 위치, 회전), 센서 입력(Variational Autoencoder를 통해 처리된 카메라 이미지), 그리고 안전 이벤트(충돌, 차선 이탈)가 포함된다.
2. 분석 (인과 모델 구축): CausalNex 라이브ทยาลัย를 사용하여 주행 로그로부터 유향 비순환 그래프(DAG)를 구축한다. 이 베이지안 네트워크는 행동(스로틀, 스티어링), 상태(속도, 가속도), 그리고 결과(충돌, 도로 이탈) 사이의 인과 관계를 모델링한다. 이 모델은 조건부 확률, 특히 $P(\text{collision} \mid \text{action}, \text{state})$를 추정하여 행동이 실패 위험에 미치는 인과적 효과를 정량화하는 데 사용된다.
3. 계획/실행 (하이브리드 RL 정책 훈련): 전방 주행 및 장애물 회피를 관리하기 위해 근사 정책 최적화(PPO) 에이전트를 훈련시킨다. 프레임워크는 훈련 과정 중 두 가지 핵심적인 인과적 통합을 도입한다:
   • 인과적 보상 형성 (Causal Reward Shaping): 회복 단계 동안, 보상 신호는 예측된 충돌 위험에 반비례하는 인과적 보너스($1 - P(\text{failure} \mid \text{action}, \text{state})$)로 증강된다. 이는 정책이 더 안전한 기동을 수행하도록 유도하기 위해 조밀한 피드백을 제공한다.
   • 액션 블렌딩 (Action Blending): 실패 상태(예: 정지 속도 < 0.5 km/h)가 감지되면 규칙 기반 회복 모듈이 활성화된다. 전방 회복 동작의 경우, 실행되는 행동은 인과 모델의 위험 순위 기반 선택(80%)과 PPO 정책의 출력(20%)의 가중치 결합이다. 후진 기동(PPO 정책이 경험하지 못한 부분)의 경우, 규칙 기반 행동이 직접 적용된다.

훈련 파이프라인은 2단계 과정을 거친다: 첫째, 이산화된 주행 로그에 베이지안 네트워크를 적합시키고, 둘째, 인과적 보상 신호와 액션 블렌딩 메커니즘을 사용하여 PPO 정책을 온라인으로 미세 조정한다.

주요 기여

• CRRL 프레임워크: 실제 주행 로그에서 학습된 인과 모델이 RL 훈련 신호를 형성하여, 정책이 규칙 기반 회복 모듈과 협력하도록 명시적으로 가르치는 하이브리드 아키텍처를 제안한다.
• 3단계 파이프라인: 베이지안 네트워크 인과 모델링과 PPO를 결합하여, 인과적 가이드가 단순히 런타임에서 행동을 교정하는 것이 아니라 훈련 시점에 정책 파라미터에 영향을 미치는 방법론을 제시한다.
• 경험적 검증: 인과 훈련 및 회복 메커니즘의 기여도를 격리하기 위해 네 가지 조건의 절제 연구(ablation study)를 사용하여 세 가지 주행 시나리오(직선 도로, 로터리, T-junction)에 대해 통제된 평가를 수행했다.
• 재현 패키지: 재현성을 지원하기 위해 원시 데이터와 분석 스크립트를 제공한다.

결과
평가는 세 가지 시나리오에 대해 조건당 20개의 에피소드를 대상으로 진행되었다. 주요 결과는 다음과 같다:

• 기본 모델의 한계: 회복 기능이 없는 순수 PPO 정책는 26~67%의 에피소드 동안 정체 상태를 유지했으며, T-junction 시나리오에서 가장 높은 실패율(정체 시간 67.45%)을 보였다.
• 하이브리드 시스템의 효과성: 인과적으로 훈련된 하이브리드 시스템(Condition C)은 복잡한 시나리오에서 순수 베이스라인(Condition A)보다 크게 우수한 성능을 보였다. T-junction의 경우, 보상은 91.1% 증가했고, 정체 시간은 51.8% 감소했으며, 도로 이탈 시간은 43.7% 급감했다.
• 인과 훈련의 영향 (RQ4): 가장 중요한 발견은 인과 가이드 훈련이 본질적으로 정책의 품질을 향상시킨다는 점이다. "회복 기능이 없는" 에피소드(회복 모듈이 한 번도 트리거되지 않은 경우)에서, 인과 훈련을 받은 정책은 베이스라인보다 83% 더 멀리 이동했으며 257% 더 높은 보상을 달성했다. 이는 정책이 단순히 외부 개입에 의존하는 것이 아니라 선제적인 회피 행동을 학습했음을 확인시켜 준다.
• 회복 전략: 인과적 위험 순위 기반 선택(Condition D)은 휴리스틱 순환 방식(Condition B)보다 회복 시도를 28~39% 줄이고 직선 및 로터리 시나리오에서의 성공률을 높임으로써 더 우수한 성능을 보였다.
• 트레이드오프: 회복 기동이 충돌 횟수를 증가시키기도 했으나(일부 비교에서 최대 606%), 전체 시스템 비교(Condition D vs. B)에서 순 보상은 모든 시나리오에서 양수(+)를 유지했다. 이는 전진 진행 및 속도 이득이 충돌 위험보다 크다는 것을 나타낸다.

의의 및 주장
본 논문은 자율 시스템 회복의 주요 개선 원천이 단순한 회복 모듈의 존재가 아니라 인과 가이드 훈련이라고 주장한다. 연구는 인과적 맥락 없이 훈련된 표준 RL 정책은 규칙 기반 개입과 효과적으로 협력할 수 없으며, 종종 역효과를 낳는 루프를 생성한다는 것을 입증한다. 인과 구조를 훈련 신호에 통합함으로써, CRRL은 정책이 정체 상태를 예측하고 회복을 용이하게 하는 행동을 조정할 수 있도록 한다.

저자들은 CRRL을 이론적 인과 추론과 실질적인 자가 치유 시스템 사이의 간극을 메우는 단계로 포지셔닝한다. 현재 구현이 수동으로 설계된 트리거에 의존하며 심투리얼(sim-to-real) 전이(특히 충돌률 측면)에서 한계를 보이지만, 이 프레임워크는 인과 모델이 안전 필수 구성 요소와의 협력적 행동을 위해 RL 정책을 형성하는 데 사용될 수 있음을 성공적으로 입증했다고 강조한다. 이 연구는 정책이 회복 메커니즘과 고립되어 작동하기를 기대하는 것이 아니라, 그들과 "함께 작동하도록" 훈련해야 할 필요성을 강조한다.