기술 요약: ORCAID

문제 정의

설명 가능한 강화학습(XRL)은 **연속적 행동 공간(continuous action spaces)**과 **혼합 연속-이산 상태 공간(mixed continuous-discrete state spaces)**에서 작동하는 에이전트에 적용될 때 상당한 어려움에 직면합니다. 심층 강화학습(Deep RL)은 복잡한 영역에서 초인적인 성능을 달est해 왔으나, 그 결과로 도출된 정책은 종종 불투명한 "블랙박스"가 되어 안전이 중요한 응용 분야에서의 검증과 신뢰를 저해합니다. 표준 결정 트리(Decision Trees, DTs)나 규칙 추출 알고리즘과 같은 기존의 XRL 방법들은 이러한 환경에서 어려움을 겪습니다. 이들은 주로 축에 정렬된 분할(feature axis에 평행한 하이퍼플레인)에 의존하는데, 이는 복잡하고 비직교적인 경계를 근사하기 위해 방대한 양의 규칙을 필요로 하며, 결과적으로 모델을 비대하게 만들고 해석력을 떨어뜨립니다. 또한, 많은 기존 접근 방식은 이산적 행동에 국한되거나 연속 제어 작업을 위한 압축적이고 충실도 높은 대리 모델(surrogate models)을 제공하지 못합니다.

방법론: ORCAID

저자들은 심층 RL 정책으로부터 해석 가능한 규칙 기반 대리 모델을 추출하기 위해 설계된 3단계 프레임워크인 ORCAID(Oblique Rule-Based Continuous-Action Interpretation for Deep RL Policies)를 제안합니다. 이 방법은 혼합 연속-이산 상태 공간 및 연속적 행동 공간에서 작동합니다.

1. 데이터 수집 및 증강

ORCAID는 원래의 RL 정책과 환경 간의 상호작용으로부터 궤적(trajectories)을 샘플링하며 시작됩니다. 상태 공간의 균일한 표현을 보장하고 자주 방문하는 영역에 대한 과적합을 완화하기 위해, 수집된 상태들은 클러스터링(K-means 사용)됩니다. 이후 연속형 특징(features)에 가우시안 노이즈를 추가하여 클러스터 중심점으로부터 새로운 데이터 포인트를 재샘플링하여 생성합니다. 이 전략은 데이터 요구량을 줄이면서도 관련 상태 이웃(neighborhoods)을 효과적으로 커버합니다.

2. 사선 결정 트리 학습 (Oblique Decision Tree Learning)

ORCAID의 핵심은 단일 특징 임계값이 아닌, 특징들의 선형 결합으로 정의되는 하이퍼플레인($w \cdot x \leq b$)을 사용하는 **사선 결정 트리(oblique decision tree)**를 구축하는 것입니다.

• 분할 탐색 (Split Search): 알고리즘은 최적의 분할을 위해 3단계 탐색을 수행합니다:
  1. 차원 축소: 수치적 안정성을 위해 PCA가 상태 공간에 적용됩니다.
  2. 무작위 초기화: 효율적인 무작위 하이퍼플레인 초기화(선형 시스템 해결)를 통해 "웜 스타트(warm start)"를 제공합니다.
  3. 국소 정밀화 (Local Refinement): 미분 진화(differential evolution)를 사용하여 결과적인 자식 노드의 가중 평균 제곱 오차(MSE)를 최소화하도록 하이퍼플레인 파라미터를 최적화합니다.
• 리프 모델링 (Leaf Modeling): 표준 DT와 달리, ORCAID의 각 리프는 모든 행동 차원에 대해 별도의 선형 회귀 모델을 적합시킵니다. 이를 통해 대리 모델이 연속적인 행동을 직접 출력할 수 있게 합니다.
• 특징 가지치기 (Feature Pruning): 리프 내부에서 후방 제거법(backward elimination)을 적용하여 무관한 특징을 제거함으로써 모델 복잡도를 더욱 낮춥니다.

3. 단순화 및 병합

간결한 규칙 세트를 생성하기 위해 ORCAID는 결정 트리의 인접한 영역(리프)들을 병합합니다.

• 영역 병합: 인접한 단순 영역들은 오차 범위를 기준으로 병합 여부를 평가됩니다. 두 영역을 병합했을 때 전역 또는 국소 MSE가 유의미하게 증가하지 않는다면 하나로 합쳐집니다.
• 논리적 단순화: 논리적 조건의 disjunctive normal form(DNF)으로 정의되었던 병합된 영역들은, 조건의 수를 최소화하기 위해 퀸-맥클러스키(Quine-McCluskey, QM) 방법을 사용하여 단순화됩니다.
• DAgger 루프: 모델 드리프트(drift)를 해결하고 충실도를 높이기 위해, 이 과정은 데이터 집계(Dataset Aggregation, DAgger) 루프 내에 포함됩니다. 현재의 대리 모델을 환경에서 실행하고, 모델의 행동이 전문가(원래의 RL) 정책과 크게 벗어나는 상태들을 수집하여 재클러스터링한 뒤 모델 재학습에 사용합니다.

주요 기여

1. ORCAID 프레임워크: 사선 분할을 사용하여 연속적 행동과 혼합 연속-이산 상태 공간을 가진 심층 RL 정책에 대해 규칙 기반 대리 모델을 추출할 수 있는 최초의 XRL 방법을 도입했습니다.
2. 효율적인 사선 트리 알고리즘: 하이퍼플레인을 통해 상태 공간을 효율적으로 분할하고 국소 선형 모델을 적합시키는 3단계 분할 탐색(무작위 초기화, 미분 진화를 통한 국소 정밀화, 후방 제거)을 특징으로 하는 새로운 학습 알고리즘을 제시합니다.
3. 실행 가능성 및 개선 (Actionability and Improvement): 추출된 규칙이 원래의 RL 정책의 약점을 식별하는 데 사용될 수 있음을 입증했습니다. 규칙을 대칭축을 따라 미러링하고 이를 강제함으로써 원래 정책의 성능을 개선할 수 있으며, 이는 LEGIBLE 방식의 지속적인 적응을 통해 검증되었습니다.
4. 포괄적 평가: Mountain Car, Hopper, Half Cheetah를 포함한 9개의 제어 태스크에 대해 표준 결정 트리(CART), Cubist, RuleFit과 비교하여 광범al한 경험적 평가를 수행했습니다.

실험 결과

저자들은 9개의 제어 문제에 대해 충실도(MSE 기준), 성능(누적 보상 비율), 복잡도(모델 크기/파라미터 수), 해석 가능성을 측정하며 ORCAID를 평가했습니다.

• 성능 및 충실도: ORCAID는 일관되게 높은 충실도(낮은 MSE)와 강력한 태스크 해결 능력을 보여주었으며, 종종 Cubist 및 RuleFit과 같은 베이스라인을 능가하거나 대등한 성능을 보였습니다. 많은 환경에서 ORCA激 ORCAID는 원래 RL 정책의 100%에 근접한 보상 비율을 유지했습니다.
• 복잡도: ORCAID는 표준 결정 트리 및 RuleFit보다 현저히 작은 모델을 생성했습니다. Cubist가 경쟁력 있는 성능을 보였음에도 불구하고, ORCAID 모델은 복잡한 경계를 포착하는 사선 분할의 효율성 덕분에 일관되게 더 압축된 형태(더 적은 파라미터 및 규칙)를 나타냈습니다.
• 정책 개선: 정책 개선 실험에서 ORCAID 기반 테스트는 다른 방법들보다 더 일관되게 RL 정책의 약점을 찾아냈으며, 매우 얕은 트리(깊이 1)에서도 개선점을 발견하는 경우가 많았습니다. 이는 거친 근사치만으로도 하위 최적(suboptimal) 동작을 드러낼 수 있음을 시사합니다.
• 해석 가능성: 정량적 지표 외에도, 저자들은 LLM-as-a-Judge 프레임워크를 사용하여 설명 가능성을 평가했습니다. 6개의 LLM은 물리적 일관성, 전역적 해석 가능성, 단순성 등의 기준에서 ORCAID 모델이 표준 결정 트리 및 Cubist보다 높다고 평가했습니다. 심사위원들은 ORCAID의 영역이 임의적이고 파편화된 분할을 생성하는 다른 모델들과 달리, 의미 있는 물리적 작동 모드(physical operating modes)와 일치한다고 언급했습니다.

의의 및 주장

본 논문은 ORCAID가 연속 제어 작업을 위해 해석 가능하면서도 효과적인 방법을 제공함으로써 XRL의 중요한 공백을 메운다고 주장합니다. 저자들은 다음과 같은 점을 강조합니다:

• 고성능 심층 RL과 인간이 검증 가능한 심볼릭 모델의 필요성 사이의 간극을 메웁니다.
• 추출된 규칙이 단순히 기술적인 것이 아니라 원래의 RL 정책을 능동적으로 개선하는 데 사용될 수 있음을 보여줌으로써 **실행 가능성(actionability)**을 입증합니다.
• 특히 모델 크기와 분할의 의미론적 유의성(예: 물리적 체제와의 정렬) 측면에서 표준 결정 트리 및 규칙 앙상블보다 우수한 해석력을 제공합니다.

저자들은 현재의 평가가 17차원 상태 공간까지의 태스크를 다루고 있지만, 이 방법이 투명한 RL 에이전트를 안전이 중요한 도메인에 배치하기 위한 견고한 토대를 제공한다고 결론지었습니다. 또한 확률적 정책에 대한 한계와 DAgger를 위한 쿼리 접근 의존성을 인정하며, 향후 연구로서 확률적 환경으로의 확장 및 형식 검증을 위한 환경 모델 통합을 제안했습니다.