Goal Sets, Not Goal States: Queryable Robot Goals through Goal-Set Hindsight Relabeling

기술 요약: 목표 상태가 아닌 목표 집합: 목표 집합 사후 재라벨링을 통한 질의 가능한 로봇 목표

문제 정의
오프라인 목표 조건부 강화 학습(Offline Goal-Conditioned Reinforcement Learning, GCRL)은 비용이 많이 드는 온라인 시행착오 없이, 수집된 데이터셋(예: 데모 또는 원격 조종 로그)으로부터 제어 정책을 도출하는 것을 목표로 합니다. 이 분야의 핵심 메커니즘은 히스토그램 경험 재라벨링(Hindsight Experience Replay, HER)으로, 이는 궤적 내의 이전 전이(transition)를 위해 달성된 미래 상태를 목표로 재라벨링합니다.

표준 오프라인 GCRL 벤치마크인 OGBench는 일반적으로 전체 상태 공간을 목표 공간으로 사용하여 HER을 구현합니다. 이 접근 방식은 성공을 위해 미래의 전체 상태 벡터를 그대로 재현해야 한다고 가정합니다. 그러나 많은 로봇 조작 작업에서 성공은 특정 상태 변수의 부분 집합(예: 물체 위치)에 의해서만 결정되는 반면, 다른 변수들(예: 로봇 관절 구성, 그리퍼 상태, 속도)은 불필요한 차원(nuisance dimensions)이 됩니다. 전체 상태를 정확하게 일치시키도록 강제함으로써, 표준 HER은 학습 목표를 과도하게 제약하여, 작업 성공 기준이 전체 상태의 투영(projection)인 경우 성능 저하를 초래하는 인위적인 제약을 도입합니다.

방법론: 목표 집합 사후 재라벨링 (GS-HER)
저자들은 HER의 술어 수준 일반화인 **목표 집합 사후 재라벨링(Goal-Set Hindsight Relabeling, GS-HER)**을 제안합니다. 달성된 상태 $s_{t+k}$를 단일 목표 $g = s_{t+k}$로 취급하는 대신, GS-HER은 이를 질의(query)에 의해 정의된 목표 집합에 대한 인증서로 취급합니다.

1. 질의로 정의된 동치 클래스(Equivalence Classes):
   이진 질의 벡터 $q \in \{0, 1\}^D$는 특정 작업의 성공을 정의하는 상태 변수를 지정합니다.

• $q_i = 1$: $i$번째 좌표가 활성화되어 목표를 정의합니다.
• $q_i = 0$: $i$번째 좌표는 해당 질의에 대해 불필요한 변수입니다.

참조 상태 $g$와 질의 $q$가 주어졌을 때, 목표 집합은 다음과 같이 정의되는 동치 클래스 $G(g, q) = \{s' \in \mathcal{S} : q \odot s' = q \odot g\}$입니다. 성공 여부는 일반적으로 정규화된 제곱 거리와 허용 오차 $\epsilon$을 통해 측정되며, 활성화된 좌표만을 일치시키는 것으로 결정됩니다.

2. 질의 조건부 인터페이스:
   GS-HER은 핵심 학습 목표(예: 벨만 업데이트, 대조 손실, 행동 복제)를 변경하지 않고 기초적인 오프라인 GCRL 알고리즘의 조건부 입력을 수정합니다. 조건부 입력 $\psi_{GS}$는 다음과 같이 구성됩니다:
   $$\psi_{GS}(s, g, q) = [\bar{s}_q, \bar{g}_q, q]$$
   여기서 $\bar{s}_q = q \odot s + (1-q) \odot e_s$ 이고 $\bar{g}_q = q \odot g + (1-q) \odot e_g$ 입니다. 여기서 $e_s$와 $e_g$는 불필요한 변수를 마스킹하는 불필요한 좌표 임베딩(학습되거나 고정됨)입니다. 질의 $q$는 네트워크에 명시적으로 제공되어, 모델이 질의에 따라 "성공"에 대한 개념을 적응시키는 통합된 정책을 학습할 수 있도록 합니다.

3. 재라벨링 래퍼(Wrapper):
   GS-HER은 기존의 오프라인 GCRL 알고리즘을 감싸는 래퍼 역할을 합니다. 훈련 중에 각 전이에 대해 참조 상태 $g$가 샘플링되고(기본 알고리즘에 따라), 질의 $q$가 분포 $p_Q$로부터 샘플링됩니다. 그 후 전이는 질의 조건부 목표 집합 및 그에 대응하는 성공 술어(predicate)로 재라벨링됩니다. 이를 통해 단일 모델이 혼합된 목표 의미론(예: 전체 상태, 물체 위치, 말단 장치 포즈)으로부터 동시에 학습할 수 있습니다.

주요 기여

1. 목표 불일치 식별: 본 논문은 로봇 작업에서 정확한 상태 사후 재라벨링이 작업 관련 투영이 아닌 전체 상태에 의존할 때 목표 불일치를 생성한다는 점을 식별했습니다.
2. GS-HER의 정형화: 저자들은 GS-HER을 달성된 상태가 단일 상태가 아닌 목표 집합(동치 클래스)의 도달 가능성을 인증하는 술어 수준의 일반화로 정형화했습니다.
3. 구현 독립적 래퍼: GS-HER은 벡터 상태 환경을 위한 질의 조건부 재라벨링 래퍼로 구현되었습니다. 이를 통해 기존의 오프라인 GCRL 알고리즘(행동 복제, 대조 RL, 암묵적 Q-러닝 포함)이 근본적인 최적화 목표를 수정하지 않고도 질의 가능한 목표 의미론을 학습할 수 있게 합니다.
4. 재사용 가능한 목표 인터페이스: 이 방법은 사후 재라벨링을 재사용 가능한 인터페이스로 변환하여, 단일 훈련된 체크포인트가 재학습 없이 추론 시점에 다양한 목표 술어를 처리할 수 있게 합니다.

실험 결과
저자들은 조작 작업(예: 큐브 배치)과 내비게이션 작업(예: PointMaze, AntMaze)을 포함하는 OGBench 제품군에서 다섯 가지 서로 다른 오프라인 GCRL 백본(GCBC, CRL, GCIVL, GCIQL, GCDL)에 대해 GS-HER을 평가했습니다.

• 성능 향상: GS-HER(특히 무작위 좌표 블록을 사용하는 "Blockwise" 변형)은 조작 작업에서 표준 전체 상태 HER(HER-Full)보다 일관되게 우수한 성능을 보였습니다. 예를 들어, 조작 작업의 평균 성공률에서 GS-HER은 공식 성공률을 24.5%(HER-Full)에서 55.0%로 개선하여, 고정된 사전 정의 투영을 사용하는 오라클 "Task-Focused" 베이스라인(HER-Task)의 성능에 근접했습니다.
• 불필요한 차원의 병목 현상: 성능 향상은 전체 상태 HER이 불필요한 차원에 의해 얼마나 병목 현상을 겪는지와 강한 상관관계를 보였습니다. 불필요한 차원이 적은 환경(PointMaze와 같은 경우)에서는 GS-HER이 HER-Full과 유사한 성능을 보였으며, 이는 이 방법이 구체적으로 과잉 제약 문제를 해결함을 확인시켜 줍니다.
• 하나의 모델, 다수의 술어: "하나의 모델, 다수의 목표" 실험에서, 단일 GS-HER 체크포인트는 추론 시점에 다양한 술어(예: 큐브 위치, 큐브 요(yaw), 말단 장치 포즈, 공중에 떠 있는 물체 위치)로 질의되었습니다. 모델은 재학습 없이 이러한 다양한 성공 기준에 성공적으로 적응했습니다. 반면, HER-Task는 각 새로운 술어마다 재학습이 필요했고, HER-Full은 특정 상태 변수를 무시하는 술어에 일반화하는 데 실패했습니다.

의의 및 주장
본 논문은 GS-HER이 오프라인 GCRL의 재라벨링 의미론을 분리한다고 주장합니다. 성공의 정의(질의)를 학습 알고리즘으로부터 분리함으로써, GS-HER은 오프라인 데이터셋이 유연하고 질의 가능한 목표 사양을 지원할 수 있게 하는 기본 기능을 제공합니다.

저자들은 이 연구가 언어나 시각을 통한 개방형 목표 사양을 해결하는 것이 아니라, 목표 술어를 추론 시점의 입력으로 만드는 것이 오프라인 로봇 학습에서 유용하고 필요한 단계임을 입증한다는 점을 강조합니다. 이는 단일 모델이 여러 작업 정의를 지원할 수 있게 하여, 서로 다른 작업 투영을 위한 별도의 훈련 실행 필요성을 완화하고, 로봇 조작에서 흔히 발생하는 의미론적 오류인 정확한 상태 일치에 대한 의존도를 줄여줍니다. 이 방법은 핵심적인 수학적 목표를 변경하지 않으면서 기존 알고리즘의 유연성을 높이는 보완적인 계층으로 제시됩니다.