🤖 machine learning

Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning

이 논문은 시계열 거리 추정을 위해 멀티스텝 몬테카를로 리턴을 활용한 준거리 (quasimetric) 학습을 제안하여, 기존 오프라인 목표 조건부 강화학습 방법보다 긴 시간 범위의 작업에서 우수한 성능을 보이며 실제 로봇 조작 환경에서도 성공적인 스티칭 (stitching) 을 가능하게 합니다.

원저자: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

게시일 2026-02-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제: AI 는 왜 먼 길을 못 가나요?

기존의 AI 학습 방법들은 두 가지 큰 단점이 있었습니다.

방법 A (한 걸음씩 계산): "지금 여기서 한 걸음 가면 어떨까?"라고 아주 작은 단위로만 생각하며 길을 찾습니다.
- 비유: 등산할 때 발끝만 보고 한 걸음씩 가는 사람입니다. 정확하지만, 산이 너무 높으면 (목표가 너무 멀면) 지쳐서 포기하거나 길을 잃기 쉽습니다.
방법 B (전체 경로 기억): "처음부터 끝까지 다 기억해서 가장 빠른 길을 찾아보자!"라고 전체 경로를 외우려 합니다.
- 비유: 지도를 펼쳐서 "A 에서 B 까지는 이 길"이라고 외우는 사람입니다. 하지만 실제 상황에 작은 변화 (길 막힘 등) 가 생기면, 외운 대로만 하다가 엉뚱한 곳으로 가게 됩니다.

기존 방법들은 이 두 가지를 따로따로 사용했기 때문에, 목표가 너무 멀거나 (수천 걸음 이상) 실제 로봇처럼 복잡한 환경에서는 잘 작동하지 않았습니다.

2. 해결책: MQE (다단계 준거리 학습)

이 논문에서 제안한 MQE는 이 두 방법을 완벽하게 섞은 새로운 나침반입니다.

비유 1: "중간 지점 (Waypoint) 을 찍는 GPS"

기존 GPS 는 "목적지까지 10km"라고만 알려줬다면, MQE 는 **"목적지까지 10km인데, 중간에 3km 지점과 7km 지점을 지나가면 더 안전해"**라고 알려줍니다.

핵심 아이디어: AI 가 지금 위치에서 목표까지 가는 거리를 계산할 때, 한 번에 끝까지 보거나 한 걸음씩만 보는 게 아니라, **미래의 중간 지점 (Waypoint)**을 무작위로 찍어서 그 지점까지의 거리를 먼저 계산한 뒤, 그것을 바탕으로 전체 거리를 예측합니다.
효과: 마치 긴 여행을 할 때, "서울에서 부산까지"라고 외우는 대신, "서울→대전→광주→부산"처럼 중간 거점을 연결하며 길을 찾는 것과 같습니다. 이렇게 하면 목표가 아무리 멀어도 (4,000 걸음 이상) 길을 잃지 않습니다.

비유 2: "삼각형 법칙을 지키는 나침반"

이 나침반은 **기하학적 규칙 (준거리, Quasimetric)**을 따릅니다.

규칙: "A 에서 C 로 가는 거리는, A 에서 B 를 거쳐 C 로 가는 거리보다 짧을 수 없다." (삼각형 부등식)
의미: AI 가 "지금 여기에서 저기까지 가는 게, 중간에 저기서 우회하는 것보다 더 멀다"라고 착각하면 안 된다는 규칙을 강제합니다. 이렇게 하면 AI 가 엉뚱한 길을 선택하는 실수를 줄여줍니다.

3. 실제 성과: 로봇이 미로를 뚫고, 장난감을 정리합니다

이 방법은 시뮬레이션과 실제 로봇 실험에서 놀라운 결과를 보여줬습니다.

시뮬레이션 (미로 탈출):
- 기존 AI 들은 거대한 미로 (Colossal Maze) 에서 100% 실패했습니다.
- 하지만 MQE 를 쓴 AI 는 4,000 걸음 이상 이어지는 미로도 성공적으로 빠져나갔습니다. 특히, 훈련할 때 본 적 없는 더 긴 미로에서도 잘 적응했습니다. (기존 방법들은 훈련한 길이보다 길어지면 바로 무너졌습니다.)
실제 로봇 (BridgeData 실험):
- 과제: 로봇 팔로 "상자를 열고, 그 안에 사과를 넣고, 그 사과를 접시에 올리는" 같은 여러 단계를 연결하는 작업.
- 결과: 다른 방법들은 첫 단계만 성공하고 멈췄지만, MQE 는 네 가지 작업을 연속으로 성공적으로 수행했습니다. 마치 요리사가 "감자 깎기 → 끓이기 → 소스 만들기"를 순서대로 자연스럽게 연결하는 것과 같습니다.

4. 왜 이것이 중요한가요?

이 기술은 "AI 가 배운 작은 조각들을 잘 이어붙여 (Stitching), 새로운 큰 일을 해낼 수 있게" 해줍니다.

기존: "A 라는 일을 배웠고, B 라는 일을 배웠다" → "A+B 를 하라고 하면 못 함."
MQE: "A 와 B 사이의 거리를 정확히 알고 있으므로, A 를 끝내고 B 로 자연스럽게 넘어갈 수 있음."

요약

이 논문은 **"AI 가 먼 길을 갈 때, 중간 지점을 상상하며 (다단계), 삼각형 법칙을 지켜서 (준거리) 길을 찾는 새로운 나침반"**을 개발했습니다. 덕분에 AI 는 이제 매우 긴 미로를 통과하거나, 복잡한 로봇 작업을 스스로 연결하여 수행할 수 있게 되었습니다.

마치 초보 운전자가 복잡한 고속도로를 갈 때, 한 번에 모든 길을 외우지 않고, 중간 휴게소를 거점으로 삼아 목적지까지 안전하게 도달하는 방법을 터득한 것과 같습니다.

1. 문제 정의 (Problem)

목표 조건부 강화학습 (Goal-Conditioned RL, GCRL) 은 에이전트가 특정 목표 상태에 도달하는 방법을 학습하는 과제입니다. 그러나 현대의 GCRL 방법론은 **긴 시간 범위 (Long-horizon)**의 작업을 처리하는 데 있어 여전히 한계가 있습니다.

기존 방법론의 딜레마:
- Temporal Difference (TD) 학습: 국소적 업데이트를 통해 최적성 보장을 제공하지만, 시간 범위가 길어질수록 오차가 누적되어 성능이 저하됩니다.
- Monte Carlo (MC) 학습: 전역적 업데이트 (Multi-step returns) 를 수행하여 실제 성능은 좋지만, 이론적으로 행동 가치 함수 ( $Q_\beta$ ) 만을 학습할 수 있어 최적 가치 함수 ( $Q^*$ ) 를 보장하지 못합니다.
핵심 질문: TD 의 국소적 최적성 보장과 MC 의 전역적 정보 활용을 모두 결합하여, 긴 시간 범위의 작업에서도 안정적이고 효율적인 목표 도달 정책을 학습할 수 있는 방법은 무엇인가?

2. 방법론 (Methodology: MQE)

저자들은 **Multistep Quasimetric Estimation (MQE)**이라는 새로운 오프라인 GCRL 프레임워크를 제안했습니다. 이는 준거리 (Quasimetric) 아키텍처와 멀티스텝 몬테카를로 리턴을 결합한 것이 핵심입니다.

핵심 구성 요소

준거리 (Quasimetric) 아키텍처:
- 상태와 목표 사이의 '시간적 거리'를 학습합니다.
- 거리 함수 $d(s, g)$ 는 비음수성, 항등성, 그리고 **삼각부등식 ( $d(x, z) \le d(x, y) + d(y, z)$ )**을 만족하도록 설계됩니다.
- 이를 위해 **Metric Residual Network (MRN)**을 사용하여 상태/행동 표현과 목표 표현 사이의 거리를 파라미터화합니다.
- 가치 함수는 $V_g(s) = V_g(g)e^{-d(s, g)}$ 형태로 정의되어, 거리가 짧을수록 가치 (도달 확률) 가 높아지도록 합니다.
멀티스텝 백업 (Multistep Backup) 과 웨이포인트 (Waypoint):
- 기존 1 스텝 TD 업데이트 대신, 현재 상태와 목표 사이의 임의의 **웨이포인트 (중간 상태, $s_w$ )**를 샘플링하여 멀티스텝 리턴을 적용합니다.
- 웨이포인트는 기하학적 분포와 베르누이 분포를 혼합하여 샘플링하며, 이는 학습된 거리가 국소적 일관성과 전역적 전파를 모두 만족하도록 돕습니다.
- 손실 함수는 LINEX 손실 (Bregman divergence 형태) 을 사용하여 거리가 가까워질 때 그래디언트 소실 (vanishing gradient) 문제를 방지합니다.
행동 불변성 (Action Invariance) 강제:
- 최적 크리틱은 $V^*(s) = \max_a Q^*(s, a)$ 를 만족해야 합니다. 이를 위해 $d(s, (s, a)) = 0$ 이 되도록 하는 행동 불변성 제약을 추가 손실 항 ( $L_I$ ) 으로 도입합니다.
- 이는 단순한 회귀가 아닌, 거리의 크기에 비례하여 스케일링되는 부드러운 손실 함수를 사용하여 학습 안정성을 높입니다.
정책 추출:
- 학습된 거리 함수를 기반으로 행동-정규화 DDPG (Behavior-regularized DDPG) 를 사용하여 목표 도달 정책을 추출합니다.

3. 주요 기여 (Key Contributions)

최초의 통합 접근법: 준거리 아키텍처를 사용하여 멀티스텝 TD 리턴과 전역 가치 전파를 성공적으로 결합한 최초의 엔드 - 투 - 엔드 오프라인 GCRL 방법론입니다.
수평선 일반화 (Horizon Generalization) 향상: 훈련 데이터보다 훨씬 긴 시간 범위의 작업에서도 뛰어난 성능을 발휘하며, 'Stitching' (짧은 행동 조각들을 연결하여 긴 작업 수행) 능력을 입증했습니다.
실제 로봇 적용 성공: 라벨이 없는 시각 관찰 데이터 (BridgeData) 로부터 학습하여, 실제 로봇 조작 (Drawer opening, Multi-step pick-and-place) 에서 성공적인 조립적 일반화 (Compositional Generalization) 를 달성했습니다.
안정적인 학습: 노이즈가 있는 데이터에서도 안정적인 학습이 가능하며, 추가적인 계층적 구조 (Hierarchy) 없이도 복잡한 제어 문제를 해결합니다.

4. 실험 결과 (Results)

시뮬레이션 환경 (OGBench)

성능: AntMaze, HumanoidMaze 등 다양한 환경에서 기존 최첨단 방법론 (HIQL, TMD, CRL, GCIQL 등) 을 압도하는 성과를 거두었습니다.
긴 시간 범위: 훈련 데이터보다 10 배 이상 긴 시간 범위 (Colossal AntMaze, 최대 4000 스텝) 에서도 유의미한 성공률을 기록한 유일한 방법론입니다.
시각 입력: 픽셀 기반 (Visual) 환경에서도 높은 성능을 보였습니다.

실제 로봇 환경 (BridgeData)

작업: 단일 작업 (Pick & Place) 을 넘어, 4 개의 연속된 객체 조작 (Quadruple PnP) 및 서랍 열기 후 물체 넣기 (Open Drawer & Place) 와 같은 복잡한 다단계 작업을 수행했습니다.
결과: 기존 오프라인 RL 방법론 (GCIQL, GCBC) 이나 다른 조립적 방법론 (TRA) 은 긴 시간 범위 작업에서 실패하거나 성능이 급격히 저하되었으나, MQE 는 높은 작업 진행률 (Task Progress) 과 성공률을 기록했습니다.
의의: 계층적 계획기나 고수준 플래너 없이도, 단일 엔드 - 투 - 엔드 정책으로 복잡한 로봇 조작의 조립적 일반화를 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 오프라인 강화학습의 핵심 난제인 긴 시간 범위 (Long-horizon) 문제를 해결하기 위해 TD 학습의 이론적 강점과 MC 학습의 실용적 강점을 통합한 새로운 패러다임을 제시합니다.

이론적 기여: 준거리 (Quasimetric) 구조를 통해 가치 전파의 안정성을 보장하면서도 멀티스텝 리턴을 통해 전역적 정보를 효과적으로 활용하는 방법을 증명했습니다.
실용적 기여: 실제 로봇 학습 분야에서 "Stitching"이 가능함을 입증하여, 제한된 오프라인 데이터만으로도 복잡한 다단계 작업을 수행할 수 있는 범용 로봇 정책 학습의 가능성을 열었습니다.
미래 전망: 이 방법은 계층적 RL 없이도 복잡한 작업을 해결할 수 있음을 보여주었으며, 오프라인에서 온라인으로의 전이 (Offline-to-Online) 학습 등 다양한 확장 가능성을 제시합니다.

요약하자면, MQE는 기존 방법론들이 겪었던 시간 범위 확장 한계를 극복하고, 실제 로봇 환경에서도 복잡한 조립적 작업을 수행할 수 있는 강력한 오프라인 목표 조건부 강화학습 알고리즘입니다.