기술 요약: 엄격한 하위 목표 실행 (Strict Subgoal Execution, SSE)

문제 제기

장기적 목표 조건부 강화 학습 (GCRL) 은 목표가 멀고 보상이 희소할 때 근본적인 도전에 직면합니다. 계층적 강화 학습 (HRL) 은 작업을 고수준 하위 목표와 저수준 실행으로 분해함으로써 이를 해결하려 시도하지만, 기존 방법들은 종종 하위 목표의 실행 불가능성으로 고통받습니다.

전통적인 그래프 기반 HRL 방법들은 종종 중간 상태를 성공적인 하위 목표로 재표시하기 위해 **환상 경험 재생 (Hindsight Experience Replay, HER)**에 의존합니다. 저자들은 장기적 설정에서 이 접근 방식이 결함이 있다고 주장합니다. 이는 에이전트가 실제로 의도한 하위 목표에 도달했는지 검증하지 않은 채 실패한 궤적을 성공으로 간주하기 때문입니다. 이로 인해 다음과 같은 문제들이 발생합니다:

1. 비효율적인 고수준 계획: 고수준 정책이 신뢰할 수 없거나 도달 불가능한 하위 목표를 선택하도록 학습하여 불필요하게 긴 궤적과 불안정한 학습을 초래합니다.
2. 신용 할당 문제: 보상이 너무 많은 단계에 분산되어 초기의 중요한 결정에 대한 강화가 이루어지지 않습니다.
3. 확장성 한계: 현재 상태와 최종 목표 사이의 거리가 증가함에 따라 필요한 고수준 결정의 수가 늘어나 학습 불안정으로 이어집니다.

방법론: 엄격한 하위 목표 실행 (SSE)

본 논문은 하위 목표 선택 및 실행의 신뢰성을 강제하도록 설계된 그래프 기반 HRL 프레임워크인 **엄격한 하위 목표 실행 (Strict Subgoal Execution, SSE)**을 제안합니다. SSE 는 고수준 하위 목표가 저수준 정책이 단일 고수준 단계 내에서 도달할 수 있을 때만 유효하다는 원칙에 따라 작동합니다.

1. 프론티어 경험 재생 (Frontier Experience Replay, FER)

SSE 의 핵심 혁신은 도달 가능하고 도달 불가능한 하위 목표를 명시적으로 구분하는 메커니즘인 **프론티어 경험 재생 (FER)**으로, 표준 HER 를 대체합니다. FER 는 모든 방문한 상태를 성공으로 재표시하는 대신, 고수준 전이를 세 가지 유형으로 분류합니다:

• 성공: 저수준 정책이 정의된 임계값 ($\lambda$) 내에서 하위 목표에 도달합니다. 전이는 전체 누적 보상과 함께 저장됩니다.
• 실패 시 중단: 저수준 정책이 하위 목표에 도달하지 못합니다. 에피소드는 즉시 종료되고 보상은 0 으로 설정되며, 이 하위 목표의 선택을 처벌하기 위해 전이가 저장됩니다.
• 부분 성공: 에이전트가 최종 하위 목표에는 도달하지 못했지만 계획된 경로상의 특정 경유지에 도달한 경우, 이 "마지막으로 신뢰성 있게 도달한" 상태가 부분 성공으로 기록됩니다.

이 메커니즘은 도달 가능성 프론티어를 규정하여 에이전트가 신뢰할 수 없는 하위 목표를 식별하고 회피하도록 하며, 실행 가능한 전이만을 강화합니다.

2. 분리된 탐색 정책

엄격한 실패 처벌로 인한 보수성 (에이전트가 위험하지만 필수적인 영역을 탐색하는 것을 회피하게 함) 을 상쇄하기 위해 SSE 는 분리된 탐색 정책($\pi_{exp}$)을 사용합니다.

• 활용 정책 ($\pi_h$): 최종 목표에 도달하기 위한 최적의 하위 목표를 선택하도록 FER 로 훈련됩니다.
• 탐색 정책 ($\pi_{exp}$): 목표 공간의 미탐색 영역을 목표로 하는 전용 정책입니다. 그리드 기반 방문 횟수 또는 모델 기반 예측 오차를 통해 식별된 새로운 영역에서 하위 목표를 샘플링하여 상태 공간의 광범위한 커버리지를 보장합니다.
• 에이전트는 탐색 비율 $\eta$에 의해 제어되며 이 두 정책 사이를 전환하여 희소 보상 환경에서도 도달 가능한 하위 목표를 발견하도록 합니다.

3. 실패 인지 경로 정제

SSE 는 경로 계획 (예: 다익스트라 알고리즘) 에 사용되는 그래프 간선 비용에 대한 동적 조정을 도입합니다.

• 프레임워크는 저수준 실행 통계에 기반하여 특정 영역 (그리드 셀 또는 노드) 의 실패 비율을 추적합니다.
• 실패율이 높은 영역으로 이어지는 전이에 대해서는 간선 비용이 증가합니다: $\tilde{d}(v_1 \to v_2) = d(v_1 \to v_2) \times \max(1, c_d \cdot \rho_f(v_2))$.
• 이는 고수준 계획자가 좁은 병목 지점이나 충돌 위험이 높은 영역과 같은 불안정한 전이에서 벗어나 더 안전하고 신뢰할 수 있는 경로로 이동하도록 유도합니다.

4. 구현 변형

저자들은 서로 다른 목표 공간 차원을 처리하기 위해 SSE 의 두 가지 변형을 제안합니다:

• SSE (Grid): 랜드마크 선택, 신규성 추정, 실패 추적을 위해 목표 공간의 그리드 기반 분할을 사용합니다. 2D/3D 환경에 적합합니다.
• SSE (Model): 그리드 이산화가 실행 불가능한 고차원 목표 공간을 처리하기 위해 모델 기반 접근법 (신규성을 위한 무작위 네트워크 증류, 신뢰성을 위한 실패 예측기 네트워크) 을 사용합니다.

주요 기여

1. 프론티어 경험 재생 (FER): 장기적 작업에서 기존 환상 재표식으로 인한 노이즈를 제거하고 도달 가능성 프론티어를 정의하기 위해 실패 및 부분 성공 전이를 분리하는 새로운 재생 메커니즘입니다.
2. 분리된 탐색: 목표 도달 정책과 탐색 정책을 분리하여 고수준 계획자의 안정성을 훼손하지 않으면서 미탐색 영역을 커버할 수 있게 하는 전략입니다.
3. 실패 인지 경로 정제: 관찰된 저수준 실패 통계에 기반하여 그래프 간선 비용을 동적으로 조정하여 계획된 하위 목표 시퀀스의 신뢰성을 향상시키는 방법입니다.
4. 실증적 검증: AntMaze, KeyChest, Reacher 작업 등을 포함한 9 가지 다양한 장기적 벤치마크에 대한 광범위한 평가를 통해 최첨단 HRL 및 그래프 기반 방법보다 우수한 성능을 입증했습니다.

실험 결과

저자들은 간단한 미로부터 중간 목표 (예: 열쇠 수집) 가 필요한 복잡한 작업에 이르기까지 9 가지 까다로운 환경에서 SSE 를 평가했습니다.

• 성공률: SSE 는 모든 환경에서 기저 모델 (HIRO, HRAC, HIGL, DHRL, NGTE, BEAG 포함) 보다 일관되게 더 높은 성공률을 달성했습니다.
• 샘플 효율성: SSE 는 특히 병목 지점 및 다단계 작업에서 훨씬 빠르게 수렴했습니다. 예를 들어, AntDoubleKeyChest 작업에서 SSE 는 최소한의 고수준 단계로 작업을 해결한 반면, 기저 모델들은 대부분 실패하거나 과도한 시간 단계가 필요했습니다.
• 강건성: 무작위 목표 설정에서 SSE 는 강력한 성능을 유지한 반면, 많은 기저 모델들은 구조화된 탐색 메커니즘의 부재로 인해 어려움을 겪었습니다.
• 절대화 연구: FER, 탐색 정책, 또는 경로 정제를 제거하면 성능이 크게 저하되어 각 구성 요소의 필요성을 확인했습니다. 특히 HER 나 표준 재생 버퍼를 사용하는 방법은 복잡한 순차 작업에서 학습에 실패했습니다.

중요성 및 주장

본 논문은 SSE 가 계층적 강화 학습의 중요한 간극, 즉 고수준 계획과 저수준 실행 능력 사이의 단절을 해결한다고 주장합니다. 엄격한 하위 목표 도달 가능성을 강제함으로써 SSE 는 에이전트가 다음과 같은 것을 가능하게 합니다:

• 더 적은 고수준 결정으로 복잡한 장기적 작업을 해결하며, 정책이 훈련되면 종종 단일 고수준 단계로 먼 목표에 도달합니다.
• 신뢰할 수 없거나 실패한 궤적을 통한 신용 전파를 방지함으로써 안정적인 학습을 달성합니다.
• 광범위한 재훈련이나 수동 커리큘럼 설계에 의존하지 않고 희소 보상 환경에서 효과적으로 작동합니다.

저자들은 SSE 를 목표 조건부 에이전트의 효율성과 신뢰성을 모두 향상시키는 확장 가능한 계층적 제어 프레임워크로 위치시킵니다. 이는 견고한 장기적 계획이 필요한 실세계 응용 분야에 유망한 접근법입니다. 이 작업은 프레임워크의 효과성이 모든 중간 상태를 유효한 하위 목표로 가정하는 것이 아니라, 달성 가능한 것의 경계를 학습하는 능력에서 비롯된다고 강조합니다.