🤖 machine learning

Diffusion ReRoll: Revisable Denoising for Robotic Sequential Prediction

이 논문은 국소적으로 안정적인 영역의 선택적 재노이징을 통해 반복적인 교차 호라이즌 수정을 가능하게 함으로써 장기 호라이즌 계획, 정책 학습 및 통합 비디오-액션 모델링에서 기존 방법들을 크게 능가하는 새로운 확산 기반 로봇 순차 예측 프레임워크인 Diffusion ReRoll을 제안한다.

원저자: Seonsoo Kim, Seongil Hong, Jun-Gill Kang

게시일 2026-07-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Seonsoo Kim, Seongil Hong, Jun-Gill Kang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 복잡한 미로를 탐색하거나 컵을 쌓는 것과 같은 섬세한 작업을 가르치고 있다고 상상해 보십시오. 이를 위해 로봇은 한 번에 한 단계씩 움직이는 것이 아니라, 미래의 움직임 전체 시퀀스를 한꺼번에 예측해야 합니다. 인공지능의 세계에서 이러한 예측을 수행하기 위한 인기 있는 도구는 "디퓨전 모델(diffusion model)"이라고 불립니다. 디퓨전 모델을 노이즈와 정적(static)으로 가득 찬 진흙 덩어리에서 시작하는 조각가라고 생각해 보십시오. 조각가는 노이즈를 한 단계씩 천천히 깎아내며 로봇의 미래 경로라는 매끄럽고 완벽한 조각상을 드러냅니다. 보통 이 과정은 일방향입니다. 조각가는 시퀀스의 시작부터 끝까지 노이즈를 제거하며, 한 부분이 매끄러워지면 다시는 그 부분을 건드리지 않습니다.

이러한 "한 번에 끝내는(one-and-done)" 방식의 문제는 만약 조각가가 초기에 작은 실수를 한다면, 예를 들어 벽을 잘못된 위치에 깎아 놓는다면, 그 실수를 그대로 안고 가야 한다는 점입니다. 다시 돌아갈 수 없기 때문에 나머지 조각상이 무너지거나, 로봇이 막다른 길로 곧장 향하는 경로를 계획할 수도 있습니다. 이는 로봇 공학에서 매우 중요한 문제입니다. 자신의 잘못된 추측을 스스로 수정할 수 없는 로봇은 위험하고 비효율적이기 때문입니다. 과학자들은 이러한 AI 모델이 전체 시퀀스의 구조를 잃지 않으면서도, 진행 과정에서 자신의 실수를 "되돌리고(undo)" 계획을 다듬을 수 있는 방법을 찾아내기 위해 노력해 왔습니다.

여기서 **디퓨전 리롤(Diffusion ReRoll)**이라는 새로운 방법이 등장합니다. 이 논문의 저자들인 국방과학연구소(Agency for Defense and Development) 연구진은 표준적인 조각 과정에 영리한 변주를 제안합니다. 전체 조각상을 처음부터 끝까지 한 번에 매끄럽게 만드는 대신, 조각가가 잠시 멈추어 완성된 부분들을 살펴보고 "잠깐, 이 벽이 좀 이상한데"라고 깨닫게 합니다. 이때가 되면 조각가는 그 부분을 그냥 무시하는 것이 아니라, 해당 특정 구역을 다시 노이즈가 가득한 진흙 상태로 되돌린 다음, 이번에는 전체 조각상의 맥락을 활용하여 다시 매끄럽게 다듬기 시작합니다.

이 논문은 이 과정을 "리롤(ReRoll)"이라고 부릅니다. 당신이 이야기를 쓰고 있다고 상상해 보십시오. 기존 방식에서는 첫 번째 장을 쓰고 나서 두 번째 장을 쓰며, 일단 첫 번째 장을 마치면 그 내용이 이후의 결말을 망치더라도 다시는 수정하지 않습니다. 하지만 디퓨전 리롤 방식에서는, 이야기를 써 내려가다가 초반의 내용이 방금 상상한 결말과 잘 맞지 않는다는 것을 깨달을 수 있습니다. 그래서 당신은 그 도입부를 "리롤"합니다. 즉, 그 단어들을 다시 엉망인 초안 상태로 되돌려 놓은 뒤, 이제 이야기의 결말을 알게 된 상태에서 다시 써 내려가는 것입니다. 이를 통해 로봇의 계획은 유연성을 유지할 수 있습니다. 만약 로봇이 국지적으로는 좋아 보이지만 전체적으로는 좋지 않은 움직임을 예측한다면, 시스템은 그 특정 움직임을 "리롤"하여 전체 시퀀스가 조화를 이룰 때까지 다듬을 수 있습니다.

연구진은 이 아이디어를 실제 로봇 작업처럼 설계된 컴퓨터 게임 세계와 같은 여러 시뮬레이션 환경에서 테스트했습니다. 그들은 이 새로운 "리롤" 방식과 표준적인 "일방향" 디퓨전 모델 및 다른 기존 기술들을 비교했습니다. 결과는 유망했습니다. 장거리 미로 탐색 작업에서 리롤 방식은 선행 기술인 디퓨전 포싱(Diffusion Forcing)보다 약 21%, 또 다른 방식인 디퓨저(Diffuser)보다 23% 더 높은 성공률을 보였습니다. 로봇이 물체를 조작하는(예: 머그컵을 집어 올리는) 일련의 동작을 학습해야 하는 작업에서는 개선 효과가 더욱 극적이었습니다. 표준 디퓨전 폴리시(Diffusion Policy) 대비 성공률이 **56.5%**나 증가했습니다.

이 논문은 계획의 일부를 선택적으로 "뒤섞고 다듬는(scramble and refine)" 능력이 강력한 도구임을 시사합니다. 이는 로봇이 너무 일찍 잘못된 계획에 고착되는 것을 방지하여, 더 오랫동안 선택지를 열어둘 수 있게 해줍니다. 저자들은 이러한 결과가 아직 실제 물리적 로봇이 아닌 컴퓨터 시뮬레이션에서 나온 것이지만, AI 모델에게 자신의 생각을 수정할 수 있는 방법을 제공하는 것이 훨씬 더 똑똑하고 신뢰할 수 있는 행동으로 이어질 수 있음을 보여준다고 언급했습니다. 이는 로봇이 단순히 경직된 대본을 따르는 것이 아니라, 스스로 생각하고, 실수를 깨닫고, 그 자리에서 바로 수정할 수 있는 단계로 나아가는 발걸음입니다.

기술 요약: Diffusion ReRoll

문제 정의

순차적 예측(Sequential prediction)은 비디오 예측, 장기 계획(long-horizon planning), 정책 학습, 행동 합성 등을 아우르는 로보틱스의 핵심적인 기초 작업입니다. 확산 모델(Diffusion models)은 고차원적이고 시간적으로 상관관계가 있으며 다봉 분포(multimodal)를 가진 출력을 포착하는 능력 덕 인해 이러한 작업의 표준적인 접근 방식으로 자리 잡았으나, 수정 가능성(revisability) 측면에서 결정적인 한계에 직면해 있습니다.

표준적인 전체 시퀀스 확산 모델은 전체 시퀀스가 단일 노이즈 레벨을 공유하는 단조로운 디노이징(denoising) 과정을 수행합니다. 이는 종종 조기 확정(premature commitment) 문제를 야기합니다. 즉, 시퀀스의 초기 세그먼트가 터미널 제약 조건이나 미래의 컨텍스트가 완전히 통합되기 전에 이미 저노이즈(결정론적) 상태에 도달해 버릴 수 있습니다. 만약 초기 예측이 오류라면, 프로세스가 진행되는 동안 이를 수정하기가 매우 어려워집니다. 왜냐하면 "접두사(prefix)"가 이미 고정되었기 때문입니다.

Diffusion Forcing과 같은 선행 연구는 인과적 디노이징(앞선 토큰을 나중 토큰보다 먼저 해결하는 방식)을 가능하게 하기 위해 토큰별 노이즈 레벨을 도입했습니다. 그러나 인과적 구조를 사용하더라도 일단 토큰이 디노이징되면 일반적으로 고정된 상태로 남습니다. 기존의 수정 방법(예: 인페인팅, 마스크 재예측)은 별도의 모듈을 필요로 하거나, 생성 과정 자체에서 어느 부분을 수정해야 할지를 결정하는 방법에 대해 직접적으로 다루지 못합니다. 핵심 과제는 시퀀스의 구조를 버리거나 새로운 모델 아키텍처를 요구하지 않으면서도, 어떻게 반복적인 교차 지평선 수정(iterative cross-horizon revision)—즉, 이전 세그먼트와 이후 세그먼트가 서로를 상호 보완하며 정교화할 수 있도록—할 것인가 하는 점입니다.

방법론: Diffusion ReRoll

저자들은 Diffusion ReRoll을 제안하며, 이 프레임워크는 디노이징 프로세스 자체를 수정 인터페이스(revision interface)로 취급합니다. 단일한 단조적 궤적이 아닌, **선형 청크(linear chunks)**라고 불리는 구간별 선형 노이즈 레벨 패턴을 정의하는 **스케줄 행렬(schedule matrix)**을 사용하여 생성 과정을 조직합니다.

핵심 메커니즘

스케줄 행렬 및 선형 청크:
프레임워크는 스케줄 행렬 $S$ 를 통해 각 디노이징 단계에서 각 토큰에 특정 노이즈 레벨을 할당합니다. 전체 시퀀스 확산(공유 노이즈)이나 표준 인과적 디노이징(단조적인 토큰별 노이즈)과 달리, Diffusion ReRoll은 **가상 선형 청크(virtual linear chunks)**를 구축합니다. 이 청크들은 함께 디노이징되는 지평선 영역을 나타냅니다.
ReRoll 이벤트 (선택적 재노이징):
핵 핵심 혁신은 ReRoll 이벤트입니다. 선형 청크의 선단(leading edge)이 사전 정의된 **재설정 노이즈 레벨( $k_{reset}$ )**에 도달하면, 해당 토큰 영역은 재노이징(re-noised)(최대 노이즈 레벨 $K$ 까지 노이즈 주입)됩니다.

이를 통해 재노이징된 영역은 시퀀스의 나머지 부분으로부터 업데이트된 컨텍스트를 사용하여 다시 정교화될 수 있습니다.
일부 영역이 디노이징을 계속하는 동안 다른 영역은 높은 노이즈 상태로 돌아감으로써, 잘못된 예측에 조기에 확정되는 것을 방지합니다.
이는 최종 시퀀스가 생성되기 전, 이전 세그와 이후 세그가 서로를 수정할 수 있는 반복적인 교차 지평선 수정을 가능하게 합니다.

무작위 선형 청크를 이용한 학습:
이러한 구조화된 디노이징 스케줄을 지원하기 위해, 모델은 무작위 선형 청크를 사용하여 학습됩니다. Diffusion Forcing처럼 토큰별 노이즈 레벨을 독립적으로 샘플링하는 대신, 학습 과정에서 다음을 샘플링합니다:

청크의 개수 ( $N_{chunk}$ ).
각 청크 내의 노이즈 프로파일 기울기(slope).
각 청크의 시작 노이즈 레벨.
양방향 학습을 위한 마스킹 전략(예: 양방향 스케줄에서 만나는 지점 마스킹).
이를 통해 모델은 구조화된, 구간별 선형 확률성을 경험하며, 훈련 분포를 배포 스케줄과 일치시킵니다.

양방향 스케줄:
프레임워크는 디노이징 파동이 지평선의 시작과 끝 양쪽에서 발생하는 양방향 스케줄 행렬을 지원합니다. 두 가지 변형이 제안됩니다:

Meeting Matrix (만남 행렬): 순방향 및 역방향 파동이 만나서 양방향에서 계속 수정 작업을 수행합니다.
Taking Over Matrix (탈취 행렬): 역방향 파동이 초기 컨텍스트를 제공하지만, 결국 순방향 인과적 파동에 의해 덮어씌워져 인과적 최종 구조를 보존합니다.

구현 세부 사항

아키텍처: Diffusion ReRoll은 새로운 백본을 요구하지 않습니다. 토큰별 노이즈 레벨 컨디셔닝을 사용하는 표준 트랜스포머 또는 U-Net 아키텍처를 활용합니다. 각 토큰은 고유한 노이즈 레벨 임베딩을 받습니다.
추론: 디노이징 프로세스는 스케줄 행렬을 따르며, 하향 전이(디노이징)에는 DDIM 업데이트를 사용하고, ReRoll 전이(노이즈 리셋)에는 명시적인 순방향 노이징을 사용합니다.

주요 기여

Diffusion ReRoll 프레임워크: 가상 선형 청크와 선택적 재노이징을 활용하여 수정 가능한 로봇 시퀀스 생성을 위한 스케줄 행렬 기반 프레임워크를 제시합니다.
프로그래밍 가능한 수정 인터페이스: 스케줄 행렬은 기본 모델 아키텍처를 변경하지 않고도 특정 수정 및 정보 흐름 패턴(예: 순방향, 역방향 또는 양방향)을 유도할 수 있는 제어 가능한 인터페이스 역할을 합니다.
실증적 검증: 세 가지 뚜렷한 도메인(장기 계획, 정책 학습, 통합 비디오-액션 모델링)에서 개선 사항을 입증했습니다.

실험 결과

저자들은 OGBench PointMaze & AntMaze, LIBERO-10 & RoboCasa, 그리고 UWM 벤치마크에서 Diffusion ReRoll을 전체 시퀀스 확산(Diffuser), 인과적 디노이징(Diffusion Forcing), 표준 확산 정책(Diffusion Policy)과 비교 평가했습니다.

1. 장기 계획 (OGBench PointMaze & AntMaze)

가이드 기반 재계획(Guidance-based Replanning): Diffusion ReRoll은 평균 성공률 **88.1%**를 달성하여, Diffusion Forcing(72.8%) 대비 21%의 상대적 이득을 기록했습니다.
목표 인페인팅(Goal Inpainting): **90.8%**의 성공률을 달성하여, Diffuser(73.8%) 대비 23%의 상대적 이득을 얻었습니다.
관찰 결과: ReRoll은 전체 시퀀스 확산이 유효하지 않은 경로로 확정되게 만든 초기 계획 오류로부터 효과적으로 회복했습니다.

2. 정책 학습 (LIBERO-10 & RoboCasa)

LIBERO-10 멀티태스크: 다양한 관측 이력과 예측 지평선에 걸쳐, Diffusion ReRoll은 평균 성공률을 Diffusion Policy의 **40.1%**에서 **62.7%**로 개선하여 56.5%의 상대적 이득을 보였습니다.
RoboCasa 싱글태스크: 개선이 관찰되었으나 멀티태스크 설정만큼 일관되지는 않았으며, 이는 교차 지평선 수정의 이점이 다양한 시간적 컨텍스트를 가진 작업에서 가장 두드라짐을 시사합니다.

3. 통합 비디오-액션 모델링 (UWM)

성능: LIBERO-10에서 ReRoll은 OOD(분포 외) 공동 정책 성공률을 **57.2%**에서 **71.0%**로 향상시켰습니다.
일관성: **제로 액션 에러(zero-action error)**가 가장 낮았습니다 (UWM의 0.324m 대비 0.301m). 이는 특히 분포 외(OOD) 조건에서 생성된 액션과 시각적 역학 사이의 우수한 일관성을 나타냅니다.

의의 및 주장

본 논문은 **구조화된 재노이징(structured re-noising)**이 수정 가능한 로봇 시퀀스 생성을 위한 효과적인 메커니즘이라고 주장합니다. 디노이징을 단순한 노이즈 제거가 아니라 반복적인 교차 지평선 수정이 가능한 프로세스로 취급함으로써, Diffusion ReRoll은 모델이 미래의 컨텍스트를 사용하여 초기 오류를 수정할 수 있게 합니다.

저자들은 다음을 강조합니다:

이 성과는 선택적 재노이징 메커니즘에 의해 주도되며, 이는 잘못된 접두사에 대한 조기 확정을 방지합니다.
스케줄 행렬은 유연한 설계 인터페이스 역할을 하여, 모델 아키텍처를 다시 훈련하지 않고도 정보 흐름(인과적 vs 비인과적)을 제어할 수 있게 합니다.
이 접근 방식은 시간적 의존성이 복잡하여 초기 세그먼트의 오류가 치명적으로 전파될 수 있는 장기(long-horizon) 및 멀티태스크 시나리오에서 특히 효과적입니다.

이 연구는 모든 실험이 현재 시뮬레이션에서 수행되었고, 새로운 작업에 대해 스케줄 튜닝(기울기, 리셋 레벨, 이벤트 수)이 필요하다는 점을 언급하며 그 범위를 겸허하게 설정하고 있습니다. 그러나 이 작업은 확산 스케줄을 견고한 로봇 계획 및 정책 학습을 위한 제어 가능한 메커니즘으로 사용하는 새로운 패러다임을 구축했습니다.