🤖 machine learning

Mollified Value Learning

이 논문은 불안정한 점별 미분 제약 조건을 공간적으로 집계된 기댓값으로 대체하여 강건한 거리 유사 가치 기하학을 유도하고 고차원 작업에서의 성능을 향상시키는 새로운 오프라인 목표 조건부 강화 학습 방식인 완화된 가치 학습(Mollified Value Learning, MVL)을 소개한다.

원저자: Hrishikesh Viswanath, Juanwu Lu, S. Talha Bukhari, Mihir Chauhan, Damon Conover, Ziran Wang, Aniket Bera

게시일 2026-06-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hrishikesh Viswanath, Juanwu Lu, S. Talha Bukhari, Mihir Chauhan, Damon Conover, Ziran Wang, Aniket Bera

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 미로를 탐색하거나 컵을 집는 법을 가르치려 한다고 상상해 보세요. 하지만 로봇이 실제 세상에서 연습하게 할 수는 없습니다. 대신, 당신에게는 다른 로봇들이 이 작업들을 시도했던(때로는 실패했던) 기록들이 담긴 거대하고 정적인 사진 앨범만이 있습니다. 이것을 **오프라인 목표 조건부 강화 학습(Offline Goal-Conditioned Reinforcement Learning)**이라고 부릅니다. 로봇은 새로운 발걸음을 내딛지 않고 오직 이 "사진 앨범"으로부터 학습해야 합니다.

여기에는 큰 문제가 있습니다. 로봇은 종종 자신이 목표로부터 얼마나 멀리 떨어져 있는지에 대해 혼란을 느낍니다. 실제로는 멀리 있는데도 가깝다고 생각하거나, 혹은 루프(loop)에 갇혀 버릴 수도 있습니다.

기존 방식: "완벽한 지도" 문제

이전의 방법들은 로봇이 엄격한 수학적 규칙을 따르도록 강제함으로써 이 문제를 해결하려 했습니다. 이는 마치 모든 지점에 정확한 목표 거리가 존재하는 완벽한 지도를 그리는 것과 같습니다. 그들은 로봇이 최단 경로를 알 수 있도록 복잡한 방정식(Eikonal 방정식 등)을 사용했습니다.

이것은 마치 짙은 안개 속에서 자를 들고 걷는 것과 같습니다. 다음 단계까지의 거리를 움직이기 전에 정확히 측정해야만 합니다. 만약 안개가 자욱하다면(데이터가 지저xt하거나 로봇이 복잡하다면), 매 걸음마다 완벽하게 측정하려고 노력하는 과정에서 자가 흔들리고, 수학적 계산이 깨지며, 결국 로봇이 멈춰버리게 됩니다. 이는 아주 작은 오류에도 너무 민감합니다.

새로운 방식: 몰리파이드 가치 학습 (Mollified Value Learning, MVL)

이 논문의 저자들은 **몰리파이드 가치 학습(Mollified Value Learning)**이라는 더 똑똑하고 여유로운 접근 방식을 제안합니다.

비유: "흐릿한 손전등"
단일한 정밀한 지점에서 자를 이용해 목표까지의 거리를 측정하는 대신, 로봇이 현재 위치 주변에 흐릿한 손전등을 비춘다고 상상해 보세요.

빛의 줄기: 손전등은 로봇이 서 있는 바로 그 지점만을 보는 것이 아니라, 그 주변의 작은 이웃 영역들을 함께 봅니다.
평균값: 로봇은 "이 정확한 픽셀이 목표로부터 5미터 떨어져 있는가?"라고 묻는 대신, "내 주변의 지점들이 목표에 가까워지고 있는가?"라고 묻습니다.
매끄럽게 만드는 효과: 이 "흐릿한" 시야는 **몰리파이어(mollifier, 수학적 도구로서 거친 부분을 매끄럽게 만드는 역할)**처럼 작동합니다. 데이터에 이상한 결함이 있거나 노이즈가 섞인 측정값(예: 로봇이 미끄러진 사진)이 있더라도, 손전등은 주변의 "좋은" 데이터와 이를 평균화합니다. 즉, 작은 삐죽삐죽한 오류들은 무시하고, "내가 전반적으로 올바른 방향으로 가고 있는가?"라는 큰 그림에 집중합니다.

이것이 왜 더 효과적인가

논문은 "정확한 지점" 기반의 수학 대신 이 "평균 이웃" 접근 방식을 사용함으로써 얻는 이점을 다음과 같이 설명합니다.

더 안정적입니다: 데이터가 지저xt하거나 환경이 복잡해도(예: 관절이 많은 고차원 로봇 팔) 로봇이 멈추지 않습니다.
경로의 형태를 학습합니다: 로봇은 목표가 골짜기인 매끄러운 "지형"을 학습합니다. 지면이 울퉁불퉁하더라도, 로봇은 전체적인 경사를 파악하여 목표를 향해 미끄러져 내려갈 수 있습니다.
노이즈를 처리합니다: 실제 테스트(예: 로봇 팔이 사과를 잡는 작업)에서 기존 방식들은 노이즈가 많을 때 완전히 실패하곤 했습니다. 하지만 새로운 방식(MVL)은 데이터가 "흔들리더라도" 성공적으로 사과를 잡도록 안내하며 계속 작동했습니다.

결과

연구진은 단순한 2D 미로부터 물체를 옮기거나 상자를 정리하는 복잡한 3D 로봇 팔 작업에 이르기까지 다양한 작업에 대해 테스트를 진행했습니다.

내비게이션: 미로 작업에서 로봇은 목표를 더 자주 찾아냈으며, 더 매끄러운 경로를 택했습니다.
조작(Manipulation): 블록을 재배치하거나 물건을 서랍에 넣는 작업에서, 이 방식은 이전 방식들보다 훨씬 더 높은 성공률을 보였습니다.
실제 환경: 실제 로봇 팔(Franka Panda) 테스트에서, 이 방식은 로봇이 물체를 잡을 수 있도록 도왔지만, 규제화되지 않은 버전은 위치를 제대로 잡지 못해 실패하는 경우가 많았습니다.

요약하자면

이 논문은 로봇에게 점 단위의 완벽한 측정에 집착하기보다 주변의 "큰 그림"을 보도록 가르치는 방법을 소개합니다. 이는 길을 잃은 등산객에게 "다음 나무까지의 정확한 거리는 신경 쓰지 말고, 그냥 언덕의 전반적인 경사면을 보고 아래쪽으로 계속 내려가라"고 말해주는 것과 같으며, 이는 지형이 험하고 지도가 불완전할 때 훨씬 더 신뢰할 수 있는 방법입니다.

기술 요약: 몰리파이드 가치 학습 (Mollified Value Learning)

문제 정의

오프라인 목표 조건 강화학습(Offline Goal-Conditioned Reinforcement Learning, GCRL)은 추가적인 환경 상호작용 없이 정적인 사전 수집 데이터셋으로부터 특정 목표 상태에 도달하는 정책을 학습하는 것을 목표로 한다. 이 설정의 핵심 과제는 목표 조건 가치 함수(Goal-Conditioned Value Function, GCVF)를 정확하게 추정하는 것이다. 표준 가치 파라미터화는 시간 차분(temporal-difference, TD) 재귀에 의존하지만, 이는 근본적인 목표 도달 기하학(goal-reaching geometry)을 포착하는 데 필요한 구조적 귀납 편향(inductive bias)이 부족한 경우가 많다. 이러한 결핍은 특히 희소 보상(sparse-reward) 환경과 고차원 환경에서 정보가 없거나 구조가 불량한 가치 추정치로 이어진다.

최근의 물리 기반 접근 방식들은 해밀턴-자코비-벨만(Hamilton–Jacobi–Bellman, HJB) 최적성 원리로부터 유도된 점별 기하학적 제약을 부과하여 이를 해결하려고 시도하며, 종종 최단 경로 기하학을 모델링하기 위해 에이커날(Eikonal) 방정식을 활용한다. 그러나 명시적인 미분 연산자(예: 1차 편미분 방정식)를 통해 국소적 일관성을 강제하는 것은 복잡하고 고차원적인 환경에서 불안정해질 수 있다. 이러한 방법들은 희소한 상태-행동 커버리지, 복잡한 운동학, 그리고 물리 정보 신경망(Physics-Informed Neural Networks, PINNs)의 실질적인 어려움으로 인해 수치적 불안정성을 겪는다.

방법론: 몰리파이드 가치 학습 (Mollified Value Learning, MVL)

저자들은 거리와 유사한 기하학적 제약을 점별로 강제하는 대신, 국소적 공간 측도(local spatial measure)에 대한 기대값으로 재해석하는 프레임워크인 **몰리파이드 가치 학습(MVL)**을 제안한다.

핵심 통찰

가치 함수가 엄격한 미분 방정식을 만족하도록 요구하는 대신(이는 노이즈와 고차원에 민감함), MVL은 최단 경로 일관성을 공간적 기대값으로 재구성한다. 이 방법은 비용-투-고(cost-to-go) 관계가 상태의 국소적 이웃 위에서 기대값으로서 성립해야 한다고 가정한다. 이 접근 방식은 "공간적 몰리파이어(spatial mollifier)" 역할을 하여, 값비싸거나 불안정한 미분 연산자를 요구하지 않고도 거리와 유사한 가치 기하학을 유도한다.

이론적 정식화

기하학적 일관성: 최적 가치 함수 $V^*(s, g)$ 는 상태 $s$ 에서 목표 $g$ 까지의 최단 가용 경로(측지선, geodesic)에 대응한다. 이는 삼각 부등식 $V(s, g) \geq V(s, s') + V(s', g)$ 를 만족한다.
국소적 완화(Local Relaxation): 작은 시간 단계 $\Delta t$ 내의 전이 $s$ 에서 이웃 $s'$ 로의 전이에 대해, 비용은 $c(s, g)\Delta t \approx c(s, g)\|s' - s\|$ 로 근사된다. 국소 일관성 조건은 다음과 같이 정의된다:
$V(s', g) - V(s, g) - c(s, g)\|s' - s\| \leq 0$
몰리파이드 목적 함수: 모든 특정 전이에 대해 이 부등식을 강제하는 대신, MVL은 잔차 연산자(residual operator) $\Phi(V, s, s', g) = V(s', g) - V(s, g) - c(s, g)\|s' - s\|$ 를 정의하고, 이를 국소 공간 측도 $\rho_\delta(s'|s)$ 에 대한 기대값으로 강제한다:
$\mathcal{R}_\delta[V](s, g) := \int \Phi(V, s, s', g) \rho_\delta(s'|s) ds'$
여기서 $\rho_\delta$ 는 국소적 전이 커널(예: $s$ 를 중심으로 하고 반지름이 $\delta$ 인 가우시안 분포)이다.
손실 함수: 기하학적 정규화 손실은 양의 잔차 부분의 제곱에 대한 경험적 기대값이다(위반을 벌하기 위해 ReLU 사용):
$L_{MVL}(\theta) = \mathbb{E}_{s,g} \left[ \text{ReLU}(\mathcal{R}_\delta[V_\theta](s, g))^2 \right]$

실질적 구현

모델 프리(model-free) 오프라인 설정에서, 적분은 가우시안 분포 $\mathcal{N}(s, \delta^2 I)$ 로부터 샘플링된 유한한 이웃 집합 $\{s'_1, \dots, s'_N\}$ 에 의해 근사된다. 이 방법은 기존의 암시적 가치 표현 학습 방법(예: GCIVL)과 호환되며, 명시적인 고차 미분 연산자를 필요로 하지 않으므로 계산적으로 다루기 쉽고 데이터의 확률성에 강건하다.

주요 기여

새로운 정식화: 논문은 MVL을 도입하여, 국소 상태 분포에 대한 기대 비용-투-고 제약을 해결함으로써 오프라인 GCRL에 최단 경로와 유사한 기하학적 귀납 편향을 주입하는 가치 학습 프레임워크를 제시한다.
안정성 및 계산 가능성: 명시적인 미분 연산자를 다루기 쉬운 국소 공간 측도에 대한 적분으로 대체함으로써, MVL은 고차원 에이커날 및 HJB 정식화와 관련된 수치적 불안정성을 피한다.
노이즈에 대한 강건성: 이 방법은 기하학적 저역 통과 필터(low-pass filter) 역할을 하여, 공간적 라우팅 기하학을 낮은 수준의 데이터셋 노이즈 및 모델링되지 않은 역학으로부터 분리한다. 이는 점별 제약이 자주 실패하는 확률적 환경에서 특히 효과적이다.
경험적 검증: 이 접근 방식은 13개의 상태 기반 작업(내비게이션 및 조작)과 실제 로봇 실험을 통해 검증되었으며, 개선된 목표 도달 성능과 구조화된 가치 표현을 입증하였다.

실험 결과

저자들은 OGBench 벤치마크(PointMaze, AntMaze, HumanoidMaze와 같은 내비게이션 작업 및 Cube, Scene, Puzzle과 같은 조작 작업을 포함)와 D4RL Franka Kitchen 스위트에서 MVL을 평가했다.

성능 향상: MVL은 암시적 가치 표현 학습 베이스라인과 결래될 때 목표 도달 성공률을 크게 향提升시킨다. 예를 들어, cube-single-play 작업에서 MVL을 Dual-goal 표현에 추가했을 때 성공률이 89%에서 91%로 증가했다. scene-play 작업에서는 성능이 72%에서 84%로 향상되었다.
베이스라인과의 비교: MVL은 표준 베이스라인(GCIVL, VIB, VIP, TRA, BYOL) 및 명시적 에이커날 제약을 사용하는 물리 기반 베이스라인(DUAL+EIK)보다 우수한 성능을 보인다. 특히, 에이커날 기반 방법이 어려움을 겪거나 실패하는 복잡한 조작 작업(예: 에이커날이 1%의 성공률을 보인 반면 MVL은 91%를 달gt한 cube-single-play)에서 MVL은 견고한 성능을 제공한다.
확률성에 대한 강건성: 노이즈가 있는 환경(예: cube-single-noisy)에서 베이스라인 방법들은 거의 0에 가까운 성공률으로 붕괴된 반면, MVL은 99%의 성공률을 유지하며 높은 성능을 보여주어 전이 노이즈를 필터링하는 능력을 입증했다.
실제 환경 배포: 이 방법은 "Reach and Grasp" 및 "Pick and Place" 작업을 수행하는 Franka Emika Panda 로봇에 성공적으로 배포되었다. 정규화는 Reach and Grasp에서 성공률을 20%에서 80%로, Pick and Place에서 0%에서 100%로 개선하여, 실제 세계의 센서 분산과 마찰을 처리하는 데 유용함을 보여주었다.

의의 및 주장

논문은 MVL이 고차원 조작 및 내비게이션 작업에서 가치 학습을 개선하는 단순하고 다루기 쉬운 귀납 편향을 제공한다고 주장한다. 주요 의의는 명시적인 미분 정식화에 의존하지 않고도 GCRL 가치 함수의 기하학을 정의할 수 있음을 보여준 데 있다.

저자들은 자신들의 접근 방식이 대규모 라우팅 구조는 보존하면서 국소적인 불규칙성은 감쇄시키는 "약한(weak)" 기하학적 일관성을 제공한다고 강조한다. 또한, 이 정식화가 유클리드 거리와 등방성 커널에 의존하며, 이것이 비홀로노믹(non-holonomic) 제약이나 복잡한 접촉 역학을 완벽하게 모델링하지 못할 수 있다는 한계를 인정한다. 그러나 이들은 이러한 단순화가 정확한 역학을 알 수 없는 고차원 상태 공간에서 효과적인 학습을 가능하게 하는 실질적인 대안을 제공한다고 주장한다.

이 연구는 향-후 연구를 위한 더 넓은 방향을 제시한다: 특히 유클리드 가정이 잠재 공간(latent space)에서 유효하지 않을 수 있는 시각적 영역에서, 학습된 또는 매니폴드 인식 표현 공간으로 이러한 기하학적 정규화 아이디어를 확장하는 것이다.