기술 요약: MOSE 를 활용한 심층 강화학습에 인과적 DAG 통합

문제 제기

온라인 강화학습 (RL) 알고리즘은 근본적으로 마르코프 성질에 의존하며, 이는 미래가 현재 상태가 주어졌을 때 과거와 조건부 독립임을 가정합니다. 그러나 센서 스트림이나 비디오 프레임과 같은 원시 관측치를 포함하는 실제 응용 분야에서는 관측 변수가 시스템 역학이 알려지지 않은 양의 역사적 맥락에 의존할 수 있기 때문에, 내재적으로 마르코프ian 상태를 형성하지 않는 경우가 많습니다.

기존 인과적 RL 문헌은 학습을 가속화하거나 견고한 보상을 설계하기 위해 인과적 방향 비순환 그래프 (DAG) 를 활용하지만, 이러한 방법들은 일반적으로 유효하고 사전에 지정된 마르코프ian 상태 표현이 이미 존재한다고 가정합니다. 중요한 격차가 남아 있습니다: 관측 변수에 대한 종단적 인과 그래프가 주어졌을 때, 마르코프 성질을 만족함이 증명된 상태 표현을 구축하는 확립된 절차는 없습니다. furthermore, 심층 RL 의 맥락에서 이론적으로 "최소" 마르코프ian 상태를 단순히 구축하는 것은 종종 경험적 성능을 향상시키지 못합니다. 신경망이 과적합과 함수 근사를 돕는 중복 특징의 부재로 인해 이러한 희소 표현에서 일반화하는 데 어려움을 겪기 때문입니다.

방법론

본 논문은 알려진 인과 그래프로부터 최소 상태를 구축하기 위한 이론적 절차와, 그래프가 알려지지 않았거나 학습 안정성을 향상시키기 위한 휴리스틱 방법 (MOSE) 인 두 가지 접근 방식을 제안합니다.

1. 인과적 DAG 에서 최소 마르코프ian 상태 구축

저자들은 시계열 인과적 DAG 와 마르코프 의사결정 과정 (MDP) 간의 공식적 연결을 확립합니다.

• 이론적 프레임워크: 시계열로 확장된 구조적 인과 모델 (SCM) 을 사용하여, 노드가 특정 시간 단계의 변수를 나타내고 에지가 시간 지연을 가진 인과적 의존성을 나타내는 "전체 시간 그래프 (Full Time Graph)"를 정의합니다.
• 그래픽 기준: 정리 4.1 은 변수 집합의 시퀀스 $\{S_t\}$가 유효한 상태 공간을 구성하기 위한 네 가지 필요충분조건을 제공합니다:
  1. 보상 부모 포함: 보상 변수 $R_t$의 모든 부모는 $S_t$에 포함되어야 합니다.
  2. 확장된 다음 상태 부모 포함: "확장된 다음 상태 집합" (동일 시간 부모에 대한 $S_{t+1}$의 폐포) 의 모든 부모 (시간 $\le t$) 는 $S_t$에 포함되어야 합니다.
  3. 조상 재진입 금지: 상태 구축에서 변수가 제거되면, 그 조상들은 이후 시간에 상태에 다시 진입할 수 없습니다.
  4. 지속성: 변수가 두 다른 시간에 상태에 나타나는 경우, 모든 중간 상태에도 나타나야 합니다.
• 알고리즘 F.1: 위 기준을 만족하는 증명 가능한 최소 상태 시퀀스를 생성하기 위한 역방향 구축 알고리즘이 제안되었습니다. 시간 범위의 끝에서 시작하여 보상과 다음 상태의 필요한 부모를 반복적으로 선택함으로써, 마르코프 성질과 최적 가치를 유지하면서 불필요한 변수가 포함되지 않도록 보장합니다.

2. 다차원 상태 노출 (MOSE)

최소 표현이 심층 RL 에서 (급격한 최소값과 통계적 여유 부족으로 인해) 나쁜 일반화로 이어질 수 있음을 인식하여, 저자들은 MOSE를 제안합니다.

• 메커니즘: 단일 최소 상태나 고정된 역사 창을 Q-함수에 입력하는 대신, MOSE 는 다중 차수의 역사적 상태 구축을 동시에 입력합니다. 구체적으로, 창 길이 $W$에 대해 알고리즘은 현재 관측치 ($l=0$) 에서 전체 창 ($l=W$) 까지 범위의 입력을 사용하여 가치 함수를 반복적으로 업데이트합니다.
• 근거: 저차수의 비마르코프ian 입력은 손실 지형을 재구성하는 구조화된 노이즈로 작용합니다. 이는 비최적 표현에서 최적 표현으로 점진적이고 정보적인 기울기를 제공하며, 데이터 증강이나 다중 뷰 학습과 유사한 정규화제 역할을 합니다.
• 인과적 MOSE (Causal-MOSE): 인과적 DAG 에서 유도된 최소 마르코프ian 상태를 다차원 입력과 함께 포함하는 확장 버전입니다. 이는 최소 코어의 이론적 보장과 중복의 경험적 이점을 결합합니다.

주요 기여

1. 최소 마르코프ian 상태 구축: 본 논문은 알려진 종단적 인과적 DAG 로부터 증명 가능한 최소 상태 공간을 유도하기 위한 그래픽 기준과 구성적 역방향 알고리즘 (알고리즘 F.1) 을 제공합니다. 이는 인과적 발견과 MDP 상태 정의 간의 격차를 해소합니다.
2. 다차원 상태 노출 (MOSE): 인과적 DAG 에 대한 사전 지식이 필요 없는 상태 구축을 위한 휴리스틱 방법입니다. 심층 RL 에이전트를 역사의 다중 시간 창에 노출시키는 것이 단순한 프레임 스택킹과 최소 인과적 표현 모두보다 성능을 향상시킨다는 것을 보여줍니다.
3. 인과적 MOSE (Causal-MOSE): 최소 마르코프ian 상태와 다차원 노출을 결합하면 MOSE 단독보다 동등하거나 더 나은 성능을 낸다는 것을 보여주는 하이브리드 접근법으로, 사용 가능한 경우 인과적 구조의 유용성을 검증합니다.

실험 결과

저자들은 세 가지 합성 데이터 생성 과정 (DGP) 과 아타리 게임 GOPHER에서 방법을 평가했습니다.

• 합성 DGP: 다양한 MDP 차수 ($W=2, 5, 10$) 를 가진 선형 가산 노이즈 모델 (ANM) 과 사후 비선형 (PNL) 모델을 사용하여, MOSE 는 다음과 같은 방법들을 일관되게 능가했습니다:
  • 창 정책 (Window Policy): 고정된 $W$ 프레임을 연결하는 표준 프레임 스택킹.
  • 보상 부모: 보상의 부모만을 상태로 사용하는 방법.
  • DAG-상태: 알고리즘 F.1 로 구축된 최소 상태.
  • 주요 발견: 최소 상태 (DAG-상태) 만으로는 창 정책보다 성능을 향상시키지 못했고 때로는 저하시켰으며, 이는 심층 RL 에서 이론적 최소성이 경험적 최적성과 동일하지 않음을 확인시켜 주었습니다.
• 인과적 MOSE 성능: 선형 ANM 환경에서 인과적 MOSE(최소 상태 + MOSE) 는 MOSE 단독보다 일관되게 우세했으며, 이는 최소 상태가 네트워크가 구축할 수 있는 신뢰할 수 있는 코어를 제공함을 시사합니다.
• 아타리 (GOPHER): MOSE 는 1 백만 단계의 학습 기간 동안 4 프레임 스택킹을 사용하는 표준 Rainbow 알고리즘보다 우세했습니다. 이는 고차원 픽셀 환경에서 스택된 모든 프레임이 제어에 동일하게 기여하는 것은 아니며, 적응형 상태 선택이 샘플 효율성을 향상시킨다는 것을 나타냅니다.
• 애블레이션: 실험은 이득이 배치당 증가된 기울기 단계 (최적화 아티팩트) 때문이 아니라 MOSE 가 제공하는 더 풍부한 상태 표현 때문임을 확인했습니다.

중요성과 주장

본 논문은 인과적 심층 RL 을 위한 핵심 원칙을 확립합니다: 최소 충분성만으로는 부족하며, 인과적 상태 정보의 이점을 해제하기 위해서는 통제된 중복이 필요합니다.

저자들은 인과적 그래프가 마르코프 성질에 필요한 최소 변수를 식별하는 원칙적인 방법을 제공하지만, 심층 신경망은 중복된 비마르코프ian 입력이 제공하는 "통계적 여유"로부터 이익을 본다고 주장합니다. 이러한 중복 입력은 네트워크가 허위 상관관계에 과적합하는 것을 방지하고 더 나은 일반화를 촉진하는 데 도움이 됩니다.

이 연구는 인과적 그래프로부터 유효한 MDP 상태를 구축하기 위한 이론적 기반과 이러한 인과적 통찰을 현대 심층 RL 에서 사용 가능하게 만드는 실용적 휴리스틱 (MOSE) 을 기여합니다. 저자들은 그들의 접근 방식이 실제 종단적 인과 그래프에 대한 접근을 전제로 한다고 언급하며, 고차원 비정상 데이터로부터 이러한 그래프를 학습하는 것은 향후 작업을 위한 열린 과제로 남아 있습니다.