기술 요약: 목표 조건부 강화 학습을 위한 테스트 시간 그래프 탐색

문제 정의

오프라인 목표 조건부 강화 학습 (GCRL) 은 사전 수집된 데이터셋을 사용하여 에이전트가 사용자가 지정한 목표에 도달하도록 훈련시키는 것을 목표로 하며, 온라인 상호작용의 비용과 안전 위험을 피합니다. 중간 길이의 작업에서는 효과적이지만, 표준 오프라인 GCRL 정책은 종종 긴 시간 범위의 작업에서 실패합니다. 복잡한 환경 (예: 대형 미로) 에서 가치 추정의 오류가 누적되어 데이터셋의 서로 다른 부분에서 행동을 연결할 수 없는 신뢰할 수 없는 정책으로 이어집니다.

이 문제에 대한 기존 해결책들은 계산 집약적인 생성형 플래너, 분포 가치 함수 앙상블의 훈련, 특수한 기하학적 표현의 활용, 또는 오프라인 데이터셋 이상의 추가 데이터에 의존하는 등 상당한 복잡성을 도입해 왔습니다. 이러한 접근 방식들은 종종 표준 목표 조건부 가치 함수가 직접적인 긴 시간 범위 플래닝을 지원하기에는 본질적으로 너무 노이즈가 많거나 신뢰할 수 없다는 가정 하에 작동합니다.

방법론: 테스트 시간 그래프 탐색 (TTGS)

저자들은 고정된 GCRL 정책을 보강하도록 설계된 경량이며 훈련이 불필요한 플래닝 래퍼인 **테스트 시간 그래프 탐색 (TTGS)**을 제안합니다. TTGS 는 완전히 테스트 시간에 작동하며 추가적인 감독, 매개변수 업데이트, 또는 온라인 상호작용이 필요하지 않습니다.

핵심 구성 요소

1. 그래프 구성:

   • 오프라인 데이터셋에서 상태의 부분 집합이 샘플링되어 그래프 정점으로 사용됩니다.
   • 거리 신호가 이러한 정점 간의 간선 가중치를 할당하는 데 사용됩니다. 이 신호는 다음에서 유래할 수 있습니다:
     • 가치 유도 거리: 사전 훈련된 목표 조건부 가치 함수 $V(s, g)$를 추정된 단계 수 $\hat{d}(s, g)$로 매핑합니다. 논문은 희소 종료 보상 또는 단계별 페널티와 같은 일반적인 보상 규약에 대한 폐쇄형 매핑을 제공합니다.
     • 도메인 특정 거리: 사용 가능한 경우 신체 위치 간의 유클리드 거리와 같은 기하학적 지표를 사용합니다.
   • 소프트 페널티 메커니즘: 가치 함수가 연결성을 과대평가하여 (간극을 가로지르는 "웜홀" 생성) 문제를 해결하기 위해, TTGS 는 신뢰 영역 임계값 $\tau$를 초과하는 전이에 대해 초선형 페널티 함수 $p(\cdot)$를 사용합니다. 거리 $D_{ij} < \tau$인 간선은 원시 거리를 유지하는 반면, $D_{ij} \ge \tau$인 간선은 $p(D_{ij})$ (예: $x \cdot 1000^{x/\tau}$) 의 가중치를 할당받습니다. 이는 그래프가 분할되는 것 (하드 임계값의 경우) 이나 불가능한 긴 점프를 허용하는 것을 방지하면서 로컬 메트릭 구조를 보존하고 플래너를 짧고 신뢰할 수 있는 점프의 사슬로 유도합니다.

2. 테스트 시간 플래닝:

   • 최단 경로 탐색: 시작 상태 $s_0$와 목표 $g$가 주어지면, 알고리즘은 그래프에서 가장 가까운 정점을 식별하고 Dijkstra 알고리즘을 사용하여 최단 경로를 계산합니다. 이 가이드 경로는 에피소드당 한 번 계산됩니다.
   • 적응형 서브목표 선택: 실행 중 에이전트는 경로를 맹목적으로 따르지 않습니다. 대신, 단계 예산 $T$에 따라 사전 계산된 경로에서 서브목표를 선택합니다. 에이전트는 현재 상태에서 예산 $T$ 내에 있는 경로상의 가장 먼 웨이포인트를 식별합니다. 그러한 웨이포인트가 존재하지 않으면 전진 보장을 위해 다음 즉시 웨이포인트를 선택합니다.
   • 정책 실행: 고정된 기본 정책 $\pi(a | s, \tilde{g})$이 현재 상태와 선택된 서브목표 $\tilde{g}$로 호출됩니다.

진단 도구

논문은 새로운 작업에 대해 TTGS 가 유익할지 예측하는 롤아웃 없는 진단 도구인 최대 점프 비율($\rho$)을 소개합니다. $\rho$는 계획된 경로상의 최대 간선 비용과 총 추정 거리의 비율입니다. 낮은 $\rho$는 충분한 중간 상태 커버리지를 나타내며 (TTGS 에 유리함), 높은 $\rho$는 데이터셋에 연결 상태가 부족함을 시사하며, 이 경우 TTGS 는 기본 정책 동작으로 기본화됩니다.

주요 기여

1. 가치 함수의 재평가: 저자들은 이전에 검색에 너무 신뢰할 수 없다고 간주되었던 표준 오프라인 GCRL 가치 함수가 새로운 소프트 페널티 메커니즘으로 처리될 때 견고한 긴 시간 범위 플래닝을 위한 충분한 로컬 기하학적 구조를 인코딩하고 있음을 증명합니다.
2. 훈련 불필요 프레임워크: TTGS 는 훈련 파이프라인을 수정하지 않고 기존 정책과 가치 함수를 재사용함으로써 긴 시간 범위 성능을 개선하는 방법을 제공하며, 추가적인 감독이나 온라인 상호작용이 필요하지 않습니다.
3. 최소한의 오버헤드로 성능 달성: 실험 결과는 TTGS 가 (HIQL, QRL, GCIQL, SAW, OTA 와 같은) 최첨단 오프라인 GCRL 에이전트의 성공률을 크게 높이며, 경미한 계산 오버헤드 (에피소드당 플래닝 시간 < 1 초) 를 보임을 보여줍니다.

실험 결과

이 방법은 보행 (pointmaze, antmaze, humanoidmaze) 및 조작 작업을 포함하는 OGBench 벤치마크에서 평가되었습니다.

• 보행 작업: TTGS 는 기본 정책이 일반적으로 실패하는 긴 시간 범위 "스티치" 작업에서 상당한 개선을 이루었습니다.
  • pointmaze-giant-stitch-v0에서 HIQL 의 성공률은 0.0% 에서 80.9% 로, GCIQL 은 0.0% 에서 98.0% 로 향상되었습니다.
  • humanoidmaze-giant-stitch-v0에서 HIQL 은 4.4% 에서 78.1% 로 향상되었습니다.
  • 이러한 개선은 종종 보조 훈련이나 생성형 모델이 필요한 복잡한 방법과 일치하거나 능가했습니다.
• 조작 작업: 평가 목표가 데이터 매니폴드 외부에 있는 작업 (예: scene-play-v0) 에서 TTGS 는 최소한의 개선 (0~2 퍼센트 포인트) 을 제공했지만 성능을 저하시키지 않았으며, 중간 상태가 누락된 경우 기본 정책으로 올바르게 기본화되었습니다.
• 어블레이션:
  • 소프트 대 하드 페널티: 소프트 페널티를 제거하고 (원시 거리 사용) 또는 하드 임계값을 사용하는 것 (긴 간선 제거) 은 그래프 연결 끊김 또는 불가능한 경로로 인해 스티칭 작업에서 성능을 크게 저하시켰습니다.
  • 서브목표 선택: 항상 다음 즉시 웨이포인트를 선택하는 단순한 전략보다 도달 가능한 가장 먼 웨이포인트를 선택하는 적응형 전략이 더 우수한 성능을 보였습니다.
  • 거리 소스: TTGS 는 가치 유도 거리와 간단한 유클리드 신체 위치 거리 모두에서 효과적으로 작동하여 유연성을 입증했습니다.

중요성 및 주장

이 논문은 긴 시간 범위 플래닝에 종종 필요하다고 가정되는 추가 복잡성이 실제로는 불필요한 경우가 많다고 주장합니다. 표준 가치 함수에 이미 존재하는 잠재적 기하학적 구조를 활용하고 테스트 시간에 경량 그래프 탐색을 적용함으로써, 실무자들은 기존 오프라인 GCRL 에이전트의 능력을 크게 확장할 수 있습니다.

저자들은 TTGS 가 보수적이고 안전한 플래닝 래퍼라고 강조합니다. 이는 생성형 접근법에서 흔히 볼 수 있는 물리적으로 불가능한 궤적의 합성을 피하면서 검색된 데이터셋 상태에만 의존합니다. 오프라인 데이터가 시작과 목표를 연결하는 데 필요한 중간 상태가 부족할 때, TTGS 는 신뢰할 수 없는 계획을 생성하는 대신 기본 정책의 동작으로 우아하게 기본화됩니다. 이 연구는 가치 기반 GCRL 에이전트가 종종 유용한 기하학적 구조를 사용하지 않고 방치하고 있으며, TTGS 는 재훈련 없이 이러한 구조를 긴 시간 범위 플래닝을 위해 복원하는 방법을 제공한다고 시사합니다.