💻 computer science

Guided Discovery of New Behaviors using Diffusion Policies

이 논문은 학습 데이터가 제한적일 때 흔히 간과되는 다양하고 실행 가능한 행동들을 발견하도록 확산 정책(diffusion policies)을 체계적으로 유도하기 위해, 파인만-카츠 교정기(Feynman-Kac correctors)를 새로운 가이딩 포텐셜(guiding potential) 및 반복적 궤적 최적화와 결합한 프레임워크를 제안한다.

원저자: Dian Yu, Sebastian Sanokowski, Majid Khadiv

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dian Yu, Sebastian Sanokowski, Majid Khadiv

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 인간이 하는 일을 몇 번 관찰하여 학습한 로봇을 가지고 있다고 상상해 보세요. 이 로봇은 **디퓨전 폴리시(Diffusion Policy)**라고 불리는 특별한 "두뇌"를 사용합니다. 이 두뇌는 마치 몇 가지 즐겨 찾는 레시피를 암기하고 있는 숙련된 요리사와 같습니다. 만약 당신이 요리사에게 저녁 식사를 준비해 달라고 요청한다면, 그들은 자신이 가장 잘 알고 있는 요리(즉, "지배적 행동")를 거의 항상 만들 것입니다.

하지만, 같은 식사를 만드는 다른 유효한 방법들도 있을 수 있습니다. 예를 들어, 채소를 써는 다른 방식이나 팬케이크를 뒤집는 독특한 방법 같은 것 말이죠. 하지만 이는 로봇의 훈련 영상에는 등장하지 않았던 것들입니다. 이러한 "희귀한 행동(rare behaviors)"이 문제입니다. 로봇의 두뇌는 오직 안전하고 흔한 경로만을 고수하며 이러한 희귀한 옵션들을 무시하는 경별향이 있습니다.

이 논문은 로봇이 무언가를 망가뜨리지 않으면서도, 숨겨져 있고 희귀하지만 유용한 새로운 방식들을 찾아낼 수 있도록 돕는 GDNB(Guided Discovery of New Behaviors, 새로운 행동의 유도된 발견)라는 새로운 방법을 소개합니다.

작동 원리는 다음과 같습니다. 이해를 돕기 위해 간단한 비유를 사용하여 단계별로 설명하겠습니다.

1. 문제점: 로봇이 틀에 박히다

로봇이 다음에 무엇을 할지 결정할 때, 보통 가장 뻔한 답을 선택합니다. 이는 마치 주요 고속도로만 알고 있을 뿐, 목적지에 도달하는 유효한 방법인 경치 좋은 뒷길은 보여주기를 거부하는 GPS와 같습니다. 로봇은 훈련 데이터가 제한적이기 때문에 더 영리한 해결책들을 놓치게 됩니다.

2. 해결책: "희귀 사건" 보물찾기

저자들은 로봇이 "뒷길"을 살펴보도록 강제하는 시스템을 만들었습니다. 이 과정은 크게 세 단계로 이루어집니다.

단계 A: 나침반 (로봇을 안내하기)

보통 로봇은 이전에 보았던 것에 기반한 지도를 따릅니다. GDNB는 여기에 특별한 "나침반"(가이딩 포텐셜이 적용된 Feynman–Kac corrector)을 추가합니다.

비유: 로봇이 안개 낀 숲을 걷고 있다고 상상해 보세요. 보통 로봇은 자주 보이는 나무들을 향해 똑바로 걸어갑니다. 새로운 나침반은 로봇에게 어디로 가라고 말해주지는 않지만, 로봇이 스스로 확신이 없는 영역, 즉 "안개의 가장자리" 쪽으로 부드럽게 밀어줍니다.
목표: 이는 로봇이 조금 이상하거나 희귀하지만, 그렇다고 불가능할 정도로 터무니없는 것은 아닌 "경계선상의(frontier)" 아이디어들을 생성하도록 독려합니다.

단계 B: 안전 그물 (국소적 수정)

로봇이 이러한 희귀하고 기묘한 아이디어들을 시도할 때, 종종 실패하곤 합니다. 로봇이 컵을 잘못된 각도로 잡으려다 떨어뜨릴 수도 있습니다.

비유: 이것은 안전 그물 또는 소리굽쇠와 같습니다. 로봇이 기발한 아이디어(예: "컵의 손잡이를 잡으면서 회전하기")를 제안하면, 특화된 수정 도구(Sampling-Based Trajectory Optimization)가 빠르게 세부 사항을 수정합니다. 이 도구는 로봇이 컵을 떨어뜨리지 않도록 움직임을 아주 미세하게 조정하여, "실패한 기발한 아이디어"를 "성공적인 기발한 아이디어"로 탈바꿈시킵로 만듭니다.
결과: 로봇은 움켜쥐는 법을 약간만 조절한다면, 기발하게 컵을 잡는 방식이 실제로 작동한다는 것을 배웁니다.

단계 C: 교훈 노트 (재학습)

로봇이 성공적으로 수행한 희귀하고 수정된 동작을 한 번 수행하고 나면, 시스템은 이 새로운 성공 사례를 저장하여 로봇의 훈련 라이브러리에 추가합니다.

비유: 이는 요리사가 양파를 써는 새로운 방법을 시도해 보고, 그것이 효과적이라는 것을 깨달은 뒤, 그 새로운 기술을 자신의 레시피 북에 기록하는 것과 같습니다. 다음에 로봇은 이 새로운 기술이 존재한다는 것을 알게 되고, 다시 사용할 수 있게 됩니다.

3. 결과: 새로운 동작의 발견

연구진은 로봇이 블록 밀기, 상자 들기, 도구 걸기 등의 작업을 수행하는 데 이 방법을 테스트했습니다.

발견한 점: 표준적인 로봇은 항상 블록의 한쪽 면에서 블록을 밀 것입니다. 반면 GDNB 로봇은 블록의 반대편에서 밀거나, 물건을 잡기 전에 상자를 뒤집거나, 아무도 보여준 적 없는 방식으로 공중에서 도구를 놓는 법을 발견했습니다.
실제 세계의 증명: 이 결과는 단순히 컴퓨터 시뮬레이션에서만 나타난 것이 아닙니다. 연구진은 실제 로봇에 테스트를 진행했으며, 로봇은 실세계에서도 이러한 새롭고 희귀한 동작들을 성공적으로 수행했습니다.

요약

요약하자면, 이 논문은 로봇에게 단순히 암기하는 법이 아니라 창의적으로 생각하는 법을 가르칩니다.

로봇이 희귀하고 특이한 아이디어를 시도하도록 **넛지(Nudge, 살짝 밀기)**합니다.
그 아이디어들이 실제로 작동하도록 **수정(Fix)**합니다.
로봇이 다음번에도 기억할 수 있도록 그 새로운 기술을 가르칩니다(Teach).

이를 통해 로봇은 문제를 해결하는 여러 가지 방법을 발견할 수 있으며, 모든 가능한 해결책을 직접 보지 못했더라도 더욱 유연하고 유능하게 대처할 수 있게 됩니다.

기술 요약: 디퓨전 정책을 이용한 새로운 행동의 유도된 발견 (Guided Discovery of New Behaviors)

1. 문제 정의

디퓨전 정책(Diffusion policies)은 로보틱스에서 다중 모드(multimodal) 액션-궤적 분포를 모델링하는 강력한 도구로 부상했습니다. 그러나 제한된 시연 데이터로 학습될 때, 표준 디퓨전 샘플링은 지배적인 행동은 재현하지만 유효하지만 드문 모드(modes)는 간과하는 경향이 있습니다. 이러한 "모드 붕괴(mode collapse)"는 새로운 솔루션의 발견을 제한합니다.

이를 해결하려는 기존 방식들은 다음과 같은 상당한 한계점을 가집니다:

가이드 방법론(Guidance Methods): 다양성을 높여주기는 하지만, 종종 샘플을 저지지대(low-support) 영역으로 밀어넣어 물리적 환경에서 실행 불가능하거나 비실행 가능한 궤적을 생성합니다.
강화 학습(RL) 하이브리드: 디퓨전 샘플러와 RL을 결재하는 방식은 지역 최적점(local minima)에서 벗어나는 데 어려움을 겪습니다. 사전 학습된 정책이 있더라도, 명시적인 보상 형성(reward shaping)이 사용되지 않는 한 RL은 일반적으로 새로운 모드를 탐색하기보다는 기존 행동을 최적화하는 데 집중합니다.
합성 데이터(Synthetic Data): 데이터를 합성하는 방법들은 탐색을 장려하기 위해 복잡한 신규성 탐색(novelty search)이나 보상 형성을 필요로 합니다.

핵심 과제는 초기 데이터셋에서 과소 대표되는, 새롭고 실행 가능한 행동을 물리적으로 불가능한 샘플을 생성하거나 지역 최적점에 갇히지 않으면서 체계적으로 발견하는 것입니다.

2. 방법론: 새로운 행동의 유도된 발견 (GDNB)

저자들은 Feynman–Kac 교정기(Feynman–Kac correctors)와 샘플링 기반 궤적 최적화를 통합하여 새로운 궤적을 체계적으로 채굴하고 수선하는 부트스트래핑 프레임워크인 GDNB를 제안합니다. 이 프레임워크는 세 가지 핵심 단계로 구성된 폐쇄 루프 반복 프로세스로 작동합니다.

A. Feynman–Kac 교정기(FKC)를 통한 희귀 이벤트 샘플링

편향을 유발할 수 있는 표준 가이던스 대신, GDNB는 이론적 정확성을 유지하면서 드문(rare) 영역을 선호하도록 "기울어진(tilted)" 타겟 분포로 디퓨전 과정을 유도하기 위해 FKC를 사용합니다.

편향 포텐셜(Biasing Potential): 이 방법은 **디노이저-스코어 에너지(denoiser-score energy)**를 기반으로 가이드 포텐셜 $B_k$ 를 정의합니다. 스코어 노름(score norm)이 큰 샘플(모델이 표류하고 있음을 나타냄)은 저확률 영역에 위치하는 것으로 식별됩니다.
렌나드-존스 포텐셜(Lennard-Jones Potential): 특정 "희귀 쉘(rare shell)" 에너지로 샘플을 끌어당기기 위해 렌나드-존스 포텐셜에서 영감을 얻은 새로운 가이드 포텐셜이 사용됩니다. 이는 샘플이 회복 불가능한 영역(분포 외 영역, OOD)으로 너무 멀리 표류하는 것을 방지하는 동시에, 흔한 고밀도 모드를 피하게 합니다.
입자 재샘플링(Particle Resampling): 편향 포텐셜이 포함된 SDE를 사용하여 입자 배치를 시뮬레이션합니다. 입자의 로그 가중치는 Euler–Maruyama 단계를 통해 업데이트되며, 입자들은 분포의 전선(frontier)에 집중하기 위해 이 가중치를 기반으로 재샘플링됩니다.

B. 수선을 위한 샘플링 기반 궤적 최적화 (SBTO)

희귀 이벤트 샘플러에 의해 생성된 샘플은 종종 물리적으로 실행 불가능합니다. GDNB는 후보군을 정교화하기 위해 SBTO 기반의 로컬 수선 모듈을 채택합니다.

전선 보존 수선(Frontier-Preserving Repair): SBTO 알고리즘은 샘플링된 초안 주변의 로컬 신뢰 영역 내에서 후보 액션 시퀀스를 최적화합니다.
목적 함수: 수선 목적 함수는 작업 완료(보상 최대화)와 초안 추적(draft tracking) 사이의 균형을 맞춥니다. 이는 고주파 잔차 편집과 원래의 희귀 초안으로부터의 큰 변위를 억제하여, 수선된 궤적이 희귀 샘플의 새로운 행동 특성을 유지하면서도 실행 가능해지도록 보장합니다.
성공 게이팅(Success Gating): 수선 후 작업을 성공적으로 완료한 궤적만이 유지됩니다.

C. 정책 미세 조정 (부트스트래핑)

성공적으로 수선된 궤적들은 학습 데이터셋에 추가됩니다. 그 후 디퓨전 정책은 이 확장된 데이터셋을 통해 미세 조정됩니다. 이는 모델이 이전에 과소 대표되었던 행동을 생성하도록 학습하고, 이 행동들이 다음 반복의 희귀 이벤트 샘형링의 기초로 사용되게 하는 목표 지향적 커리큘럼을 생성합니다.

3. 주요 기여

GDNB 프레임워크: 원칙적인 희귀 이벤트 샘플링을 위한 Feynman–Kac 교정기와 로컬 궤적 수선을 위한 SBTO를 결합한 새로운 부트스트래핑 루프를 제시합니다.
새로운 가이드 포텐셜: 디노이저-스코어 에너지를 기반으로 한 렌나드-존스 유사 포텐셜을 도입하여, 회복 불가능한 분포 외 영역으로 밀려나지 않으면서도 유망하지만 과소 대표된 영역으로 디퓨전 샘플을 체계적으로 유도합니다.
체계적인 모드 회복: 새로운 궤적을 효과적으로 채굴, 수선 및 재통합하여, 표준 샘플링이 놓치는 다양한 행동을 발견할 수 있게 합니다.
포괄적인 평가: 8가지 다양한 로봇 조작 벤치마크(예: Push-T, Franka Kitchen, ToolHang)와 실제 세계 실험을 통해 검증되었으며, 구조화되고 실행 가능한 희귀 행동의 발견을 입증했습니다.

4. 실험 결과

저자들은 8개의 조작 벤치마크와 하나의 멀티모달 에이전트 태스크에서 GDNB를 평가했습니다.

모드 회복: 초기 데이터가 두 개의 보상 최적 모드 중 하나만을 포함했던 멀티모달 에이전트 벤치마크에서, GDNB는 지배적인 모드에 붕괴되어 있던 DPPO 및 표준 샘플링과 달리 누락된 모드를 성공적으로 회복했습니다.
희귀 행동 발견:
- Kitchen: 4개 이상의 서브태스크를 성공적으로 완료하는 시퀀스(원래 분포의 약 1% 발생)를 포함한 희귀 서브태스크 시퀀스를 발견했습니다.
- Can: 새로운 그리퍼-캔 접촉 위치와 말단 장치(end-effector) 방향을 찾아냈습니다.
- Lift: 말단 장치가 물체를 잡기 전에 방향을 재정렬하는 "플립 후 잡기(flip-then-grasp)" 전략을 발견했습니다.
- ToolHang: 도구가 공중에 떠 있는 동안 갈고리를 향해 방출되는 희귀한 미드 에어 릴리스(mid-air release) 모드를 식별했습니다.
정량적 지표:
- GDNT는 비교된 모든 방법 중 가장 높은 **성공률(success rate, 0.883)**을 달로했습니다.
- 가장 강력한 Task Feature density–variance score와 가장 큰 Task Rareness novel gain을 보여주었으며, 이는 정책의 지지대를 희귀 영역으로 성공적으로 확장하면서도 작업 성능을 유지했음을 나타냅니다.
- DPPO, SIME, SOE, MimicGen, DSRL 등의 베이스라인과 비교했을 때, GDNB는 다양한 실행 가능한 행동을 발견하는 데 있어 일관되게 우수한 성능을 보였습니다.
실제 세계 검증: 논문은 발견된 궤적(Can, Lift, ToolHang)의 성공적인 오픈 루프 재생(open-loop replay)을 실제 로봇에서 보고하며, 시뮬레이션에서의 발견이 물리적으로 실행 가능함을 확인했습니다.

5. 의의 및 주장

본 논문은 GDNB가 표준 샘플링(모드 붕괴)과 기존 가이던스/RL 방식(실행 불가능성 또는 지역 최적점)의 한계를 해결하여, 디퓨전 정책에서 다양하고 실행 가능한 행동을 발견하는 체계적인 접근 방식을 제공한다고 주장합니다.

체계적 채굴: 무작위 탐색과 달리, GDNB는 정책 분포의 "전선(frontier)"—즉, 희귀하지만 아직 회복 불가능하지 않은 영역—을 명시적으로 타겟팅합니다.
수선 가능성: SBTO를 통합함으로써, 이 프레임워크는 발견된 희귀 행동이 단순한 이론적 호기심이 아니라 물리적으로 실행 가능하고 작업 성공이 가능한 것임을 보장합니다.
커리큘럼 학습: 반복적인 재학습 프로세스는 정책이 이러한 새로운 모드를 점진적으로 학습하고 안정화하여, 초기 시연 세트를 넘어 정책의 능력을 효과적으로 확장할 수 있게 합니다.

저자들은 SBTO 및 편향 포텐셜의 세심한 하이퍼파라미터 튜닝 필요성, 그리고 여러 반복 이후의 장기적 포화(saturation)에 대한 불확실성 등의 한계점을 언급했습니다. 이들은 향-후 연구로 자동 파라미터 선택 및 대규모 반복을 처리하기 위한 지속적 학습(continual learning) 방법과의 통합을 제안합니다.