🤖 AI

Hybrid Diffusion for Simultaneous Symbolic and Continuous Planning

본 논문은 고수준 심볼릭 계획과 연속 궤적을 동시에 생성하는 새로운 하이브리드 확산 프레임워크를 제안함으로써 장기 지평 로봇 작업에서 표준 확산 모델의 한계를 해결하여 의사결정을 개선하고 유연한 조건 기반 행동 합성을 가능하게 합니다.

원저자: Sigmund Hennum Høeg, Aksel Vaaler, Chaoqi Liu, Olav Egeland, Yilun Du

게시일 2026-04-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sigmund Hennum Høeg, Aksel Vaaler, Chaoqi Liu, Olav Egeland, Yilun Du

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

어떤 로봇이 지저분한 방을 치우도록 가르치려 한다고 상상해 보세요. 장난감을 주워 색별로 분류하고 올바른 상자에 넣기를 원합니다. 이는 간단해 보이지만 로봇에게는 거대한 퍼즐입니다. 로봇은 무엇을 할지 (전략) 와 이를 수행하기 위해 팔을 어떻게 움직일지 (물리적 동작) 를 동시에 결정해야 합니다.

오랫동안 과학자들은 로봇을 가르치기 위해 확산 모델 (Diffusion Model) 이라는 유형의 인공지능을 사용해 왔습니다. 확산 모델을 '잡음 제거' 예술가로 생각하세요. 선명한 사진을 천천히 정적 (잡음) 으로 덮어 흐릿한 이미지로 만들면, 확산 모델은 이 과정을 역으로 학습합니다. 흐릿한 이미지에서 시작해 잡음을 서서히 제거하여 선명한 사진을 드러내는 것입니다. 로봇공학에서 이 '사진'은 로봇 팔이 따라야 할 매끄러운 경로입니다.

문제: '흐릿한' 장기 계획
이 논문은 이러한 모델이 컵을 들어 올리는 것과 같은 짧고 매끄러운 움직임에는 뛰어나지만, 10 개의 블록을 특정 순서로 분류하는 것과 같이 길고 복잡한 작업에서는 혼란을 겪는다고 설명합니다.

저자들은 이를 긴 이야기를 기억하려는 사람에 비유합니다. 이야기의 '줄거리' (결정 사항) 를 기억하지 않고 '감정' (연속적인 운동) 에만 집중한다면, 어조는 맞출 수 있지만 결말을 잊을 수 있습니다. 로봇은 매끄럽게 움직이지만 잘못된 일을 하거나 루프에 갇히게 됩니다. 로봇은 '큰 그림'의 결정과 '작은 그림'의 움직임을 연결하는 데 어려움을 겪습니다.

해결책: 하이브리드 확산 플래너 (HDP)
이를 해결하기 위해 저자들은 하이브리드 확산 플래너 (HDP) 라는 새로운 시스템을 개발했습니다. 긴 퍼즐을 풀기 위해서는 두 가지 요소가 함께 작동해야 한다는 것을 깨달았습니다.

대본 (상징적 계획): "블록 A 를 들어 올린다", "상자 1 로 이동한다", "블록 A 를 놓는다"와 같은 고수준 단계의 목록.
연기 (연속적 계획): 이러한 단계를 수행하기 위한 로봇 팔의 실제 매끄러운 움직임.

HDP 는 로봇에게 움직임만 가르치는 것이 아니라, 대본과 연기를 동시에 생성하도록 가르칩니다.

작동 원리: '이중 트랙' 잡음 제거
이 논문은 로봇에게 두 가지를 한 번에 가르치기 위한 교묘한 트릭을 사용합니다. 두 개의 분리된 퍼즐이 있다고 상상해 보세요.

퍼즐 A (운동): 로봇 팔의 움직임을 담은 흐릿한 사진.
퍼즐 B (대본): 일부 단어가 검은 상자로 가려진 (마스킹된) 문장.

HDP 시스템은 두 퍼즐을 동시에 정리하는 법을 학습합니다.

흐릿한 운동과 가려진 대본을 받아들입니다.
대본의 단서를 이용해 운동을 파악하는 데 도움을 줍니다. (예: "대본에 '블록 A 를 들어 올린다'라고 되어 있다면, 팔은 블록 A 근처에 있어야 한다.")
운동의 단서를 이용해 대본을 파악하는 데 도움을 줍니다. (예: "팔이 왼쪽으로 움직이고 있다면, 다음 단계는 아마 '왼쪽으로 이동'일 것이다.")

두 퍼즐이 해결되는 동안 서로 대화하도록 함으로써, 로봇은 무엇을 할지와 어떻게 할지 사이의 훨씬 더 강력한 연결을 학습합니다.

중요성: '감독'과 '배우'
저자들은 이 방법이 기존 방식보다 훨씬 더 우수하다고 보여줍니다.

기존 방식: 로봇은 전체 경로를 한 번에 추측하려 합니다. 대본 없이 즉흥적으로 전체 연극을 연기하려는 배우처럼 종종 실패합니다.
새로운 방식 (HDP): 로봇은 함께 일하는 감독과 배우처럼 행동합니다. '감독' (상징적 계획) 은 명확한 지시를 내리고, '배우' (운동 계획) 는 이를 정확하게 따릅니다.

초능력: 지시 따르기
로봇이 움직임과 함께 '대본'을 생성하기 때문에, 마지막 순간에 구체적인 지시를 내릴 수 있습니다.

예시: "무조건 빨간색 블록이 탑 위에 오도록 하라"고 로봇에게 말할 수 있습니다.
기존 모델들은 이를 무시하거나 혼란을 겪었습니다.
HDP 는 그 지시를 받아 '대본'에 고정시킨 후, 이를 실현하기 위한 물리적 움직임을 생성합니다. 마치 요리사에게 "파스타를 만들되, 치즈를 위에 올리라"고 말하면 요리사가 실제로 그렇게 하는 것과 같습니다.

결과
이 팀은 컴퓨터 시뮬레이션과 실제 로봇 팔로 이를 테스트했습니다.

시뮬레이션에서: 블록 수를 점점 늘려 분류하도록 요청했을 때, 기존 모델들은 빠르게 실패했습니다. 반면 HDP 는 계속 개선되어 훨씬 더 복잡한 작업을 처리할 수 있었습니다.
실제 세계에서는: 실제 로봇에 적용했을 때, HDP 는 충돌하거나 혼란을 겪지 않고 작업을 완료하는 데 훨씬 더 성공적이었습니다. 기존 모델들은 종이 위에서는 괜찮아 보이지만 물리적으로 실행 불가능한 계획을 자주 세웠습니다.

요약
이 논문은 로봇에게 긴 복잡한 작업을 계획하도록 가르치는 방법을 소개합니다. 이는 로봇이 '댄스 동작' (연속적 운동) 을 배우는 동시에 '할 일 목록' (상징적 계획) 을 작성하도록 가르치는 것입니다. 이 두 부분이 서로를 도우도록 함으로써 로봇은 훨씬 더 똑똑해지고, 신뢰할 수 있으며, 제어하기 쉬워집니다. 많은 물체를 분류하거나 도구를 사용하는 것과 같은 어려운 작업에서도 마찬가지입니다.

"Hybrid Diffusion for Simultaneous Symbolic and Continuous Planning" 논문의 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

본 논문은 모방 학습을 활용한 **장기적 로봇 계획 (long-horizon robotic planning)**의 과제를 다룹니다. 확산 모델 (Diffusion Models) 은 연속적인 로봇 궤적 모델링 (예: Diffuser) 에서 최첨단 성능을 보이지만, 복잡하고 장기적인 작업에 적용될 때 다음과 같은 중대한 한계에 직면합니다:

모드 혼란 (Mode Confusion): 순수 확산 모델은 장기 시간 범위 내에서 일관된 의사 결정을 유지하는 데 어려움을 겪으며, 종종 서로 다른 행동 모드를 혼동합니다 (예: 성공적인 시연을 보임에도 불구하고 특정 순서로 블록을 분류하지 못함).
투명성 부재: 연속 계획기는 블랙박스처럼 작동하여 계획 과정을 고수준에서 안내하거나 개입하기 어렵습니다.
비효율성: 기존 작업 및 운동 계획 (TAMP) 방법은 효과적이지만, 심볼릭 술어, 행동 스키마, 전이 모델을 정의하는 등 광범위한 수동 엔지니어링을 요구하여 시연만으로 학습하여 새로운 작업에 적응하는 능력을 제한합니다.

핵심 문제는 무거운 엔지니어링 오버헤드 없이 견고하고 해석 가능하며 제어 가능한 장기적 행동을 달성하기 위해, 확산 기반 연속 계획의 유연성과 심볼릭 계획의 구조적 엄격함을 어떻게 결합할 것인가입니다.

2. 방법론: 하이브리드 확산 계획기 (HDP)

저자들은 **하이브리드 확산 계획기 (HDP)**를 제안합니다. 이는 결합된 확산 과정을 사용하여 **연속 행동 궤적 ( $A_c$ )**과 **이산 심볼릭 계획 ( $A_d$ )**을 동시에 생성하는 프레임워크입니다.

핵심 아키텍처

이중 확산 과정: HDP 는 단일 신경망 내에서 병렬로 실행되지만 결합된 두 가지 다른 확산 과정을 사용합니다:
1. 연속 확산 (DDPM): 표준 디노이징 확산 확률 모델 (Denoising Diffusion Probabilistic Models) 을 사용하여 연속적인 로봇 궤적 (위치, 속도, 그리퍼 상태) 을 모델링합니다.
2. 이산 확산 (마스크 확산 - MD4): 토큰이 완전히 마스크된 상태에서 점진적으로 마스크가 해제되는 마스크 확산을 사용하여 심볼릭 계획 (예: "블록 A 집기", "슬롯 1 에 놓기") 을 모델링합니다.
연합 모델링: 통합된 Transformer 기반 디노이징 네트워크 ( $D_\theta$ ) 는 노이즈가 있는 연속 궤적, 부분적으로 마스크된 심볼릭 시퀀스, 그리고 환경 관찰 ( $O$ ) 을 입력으로 받습니다. 이 네트워크는 연속 부분에 대한 노이즈와 이산 부분에 대한 로짓을 동시에 예측합니다.
학습 목적 함수: 모델은 손실의 가중 합으로 학습됩니다:
- 연속 디노이징 작업을 위한 평균 제곱 오차 (MSE).
- 이산 마스크 토큰 예측을 위한 교차 엔트로피 손실.
- 독립적인 오염 수준: 중요하게도, 학습 중 노이즈 수준 (연속용 $k_c$ , 이산용 $k_d$ ) 은 독립적으로 샘플링됩니다. 이는 모델이 다른 모달리티의 정보를 사용하여 한 모달리티를 디노이징하도록 강제합니다 (예: 깨끗한 심볼릭 계획을 사용하여 노이즈가 있는 궤적의 디노이징을 안내하거나 그 반대의 경우).

추론 및 조건부 설정

연합 샘플링: 모델은 연속 궤적을 디노이징하고 심볼릭 토큰의 마스크를 해제하는 과정을 반복하여 두 가지 계획을 동시에 생성합니다.
유연한 조건부 설정 (인페인팅): 심볼릭 계획이 마스크 확산을 통해 모델링되므로, HDP 는 조건부 샘플링을 지원합니다. 사용자는 부분적이거나 완전한 심볼릭 계획 (예: "블록 A 는 반드시 먼저 놓여야 함") 을 고정하고, 모델이 이러한 제약을 엄격히 준수하는 연속 궤적을 생성하도록 할 수 있습니다. 이는 역확산 과정에서 조건부 토큰의 노이즈 수준을 0 으로 설정함으로써 달성됩니다.

3. 주요 기여

새로운 모방 학습 벤치마크: 저자들은 에이전트가 사전 정의된 시퀀스를 제공받는 대신 하위 작업의 순서 자체를 추론해야 하는 **장기적, 다중 모달 의사 결정 (분류, 배열, 도구 사용)**에 초점을 맞춘 새로운 작업 세트를 소개합니다.
하이브리드 확산 계획기 (HDP): 이산 (마스크) 과 연속 (DDPM) 확산 과정을 결합한 새로운 아키텍처입니다. 이를 통해 모델은 고수준 심볼릭 논리와 저수준 모터 제어 간의 대응 관계를 데이터에서 직접 학습할 수 있습니다.
유연한 제어 가능성: 이 방법은 세밀한 조건부 계획을 가능하게 합니다. 전체 문장이 필요한 전통적인 언어 조건부 설정과 달리, HDP 는 사용자가 심볼릭 계획의 특정 부분을 "인페인팅"하여 생성된 궤적이 해당 제약을 준수하도록 보장할 수 있습니다.

4. 실험 결과

저자들은 표준 Diffuser, 계층적 Diffuser, 심볼릭 데이터를 단순히 연결하거나 별도의 확산 모델을 사용하는 변형 등을 포함한 베이스라인 대비 HDP 를 평가했습니다.

시뮬레이션 성능:
- 성공률: HDP 는 모든 베이스라인을 크게 능가했습니다. "X-Arm 분류" 작업에서 HDP 는 **86%**의 성공률을 기록한 반면, 표준 Diffuser 는 **46%**였습니다.
- 확장성: 작업 복잡도가 증가함에 따라 (예: 더 많은 블록 분류), 베이스라인 성능은 단조롭게 저하되었습니다. HDP 는 견고성을 유지하며 성능이 미미하게만 감소했습니다.
- 학습 효율성: HDP 는 표준 Diffuser 보다 훨씬 빠르게 수렴했습니다.
조건부 준수:
- 특정 블록을 마지막에 놓도록 조건부 설정되었을 때, HDP 는 **93%**의 비율로 제약을 준수했습니다. 베이스라인 (Joint Diffuser, Separate Diffuser) 은 약 32% 만 준수하여, 단순 연결 방식이 심볼릭 제약을 강제하지 못함을 보여주었습니다.
실제 환경 배포:
- 이미지 기반 관찰을 가진 Franka Emika 로봇에서 테스트되었습니다. HDP 는 높은 성공률 (분류 70%, 도구 사용 60%) 을 유지한 반면, 베이스라인은 크게 감소했습니다 (예: Diffuser 는 분류 작업에서 20% 로 하락).
- 실패 모드: 베이스라인은 종종 "무효한 계획" (시퀀스의 논리적 오류) 으로 실패한 반면, HDP 의 실패는 주로 "부정확한 운동" (운동학적 오류) 으로 발생하여 고수준 논리는 타당했음을 나타냈습니다.

5. 중요성과 영향

격차 해소: HDP 는 전통적인 TAMP 시스템의 무거운 엔지니어링 없이 학습 기반 연속 계획기의 유연성과 심볼릭 계획의 구조적 보장을 성공적으로 연결합니다.
해석 가능성: 궤적과 함께 심볼릭 계획을 생성함으로써 로봇의 의도가 투명해져 디버깅과 인간의 감독이 용이해집니다.
제어 가능성: 부분 심볼릭 계획을 기반으로 조건부 설정을 할 수 있는 능력은 인간 - 로봇 상호작용의 새로운 길을 열어주며, 운영자가 저수준 행동 대신 고수준 제약을 지정하여 복잡한 작업을 안내할 수 있게 합니다.
확장성: 이 방법은 모델 아키텍처가 이러한 작업에 내재된 이산 의사 결정 구조를 명시적으로 고려한다면, 시연 학습이 복잡하고 장기적인 작업으로 확장될 수 있음을 보여줍니다.

결론적으로, 본 논문은 하이브리드 확산을 통한 심볼릭 및 연속 계획의 동시 생성이 순수 연속 확산 모델이 lacking 하는 견고성, 해석 가능성, 제어 가능성을 제공하는 장기적 로봇 계획에 있어 우월한 접근법임을 입증합니다.