💻 computer science

DiscreteRTC: Discrete Diffusion Policies are Natural Asynchronous Executors

본 논문은 물리 AI 를 위한 효율적이고 파인튜닝이 필요 없는 비동기 실행을 가능하게 하기 위해 이산 확산 정책의 네이티브 언마스킹 능력을 활용하는 DiscreteRTC 라는 프레임워크를 제안하며, 이는 기존 흐름 기반 접근법과 비교하여 훨씬 높은 성공률과 더 낮은 추론 비용을 달성합니다.

원저자: Pengcheng Wang, Kaiwen Hong, Chensheng Peng, Katherine Driggs-Campbell, Masayoshi Tomizuka, Chenfeng Xu, Chen Tang

게시일 2026-04-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pengcheng Wang, Kaiwen Hong, Chensheng Peng, Katherine Driggs-Campbell, Masayoshi Tomizuka, Chenfeng Xu, Chen Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 논문 "DiscreteRTC: Discrete Diffusion Policies are Natural Asynchronous Executors"를 쉬운 언어와 일상적인 비유로 설명한 내용입니다.

큰 문제: "생각하기 vs 행동하기" 딜레마

컴퓨터와 테니스 경기를 하는 것처럼 빠른 템포의 비디오 게임을 한다고 상상해 보세요.

로봇의 임무: 로봇은 공을 쳐야 합니다.
문제: 로봇의 뇌 (AI) 는 완벽한 스윙을 계산하는 데 잠시 시간이 걸립니다. 로봇이 "생각"하는 동안 공은 계속 날아갑니다.
옛 방식 (동기식): 로봇은 멈추고, 생각하며, 계산한 뒤 그리고 나서 스윙합니다. 스윙할 때가 되면 공은 이미 지나간 뒤입니다. 이는 역동적인 작업에 치명적입니다.
더 나은 방식 (비동기식): 로봇은 이미 움직이고 있는 동안 생각해야 합니다. 마지막 생각에 기반하여 계속 스윙하면서도 다음 스윙을 계산해야 합니다.

현재 해결책: "실시간 청킹 (Real-Time Chunking, RTC)"

이를 해결하기 위해 엔지니어들은 **실시간 청킹 (RTC)**이라는 방법을 사용합니다.

비유: 로봇이 한 번에 10 단어씩 조각으로 이야기를 쓴다고 상상해 보세요.
1. 1~10 단어를 씁니다.
2. 11~~20 단어를 쓰는 동안 1~~10 단어를 실행하기 시작합니다.
3. 결함: 로봇이 첫 번째 조각에서 두 번째 조각으로 전환할 때, 전환이 거칠 수 있습니다. 마치 작가가 문장 중간에 갑자기 필체를 바꾸는 것과 같습니다. 로봇은 새로운 계획이 이전 계획과 완벽하게 일치하지 않기 때문에 팔을 갑자기 뒤틀 수 있습니다.

이 거침을 해결하기 위해 현재 가장 좋은 방법 ( Flow-Matching 사용) 은 전환 구간을 "덮어 그리는" 시도를 합니다. 이미 쓴 단어를 고정하고 나머지 문장을 매끄럽게 만들기 위해 "인페인팅 (inpainting, 채우기)"을 시도합니다.

단점: 이 "인페인팅"은 화가가 여전히 물감을 섞는 도중 그림을 고치라고 요청하는 것과 같습니다. AI 가 이전과 새로운 것을 어떻게 혼합할지 알려주는 특수하고 복잡한 가이드 (휴리스틱) 가 필요합니다. 이는 느리고, 추가 학습이 필요하며, 종종 어색하게 느껴집니다.

새로운 해결책: DiscreteRTC

저자들은 DiscreteRTC라는 새로운 방식을 제안합니다. 로봇의 "뇌" (정책) 를 **이산 확산 정책 (Discrete Diffusion Policy)**으로 교체합니다.

비유: "빈칸 채우기" 게임
로봇이 처음부터 이야기를 쓰는 것이 아니라, "빈칸 채우기" 게임 (매드 립스나 십자말풀이와 유사) 을 한다고 상상해 보세요.

작동 원리: 로봇은 일부 단어가 가려진 (마스킹된) 문장을 보고 누락된 단어가 무엇인지 추측하도록 훈련받습니다.
마법: 로봇이 이미 누락된 단어를 추측하는 데 능숙하기 때문에, 전환을 "인페인팅"하기 위한 특별한 기술을 배울 필요가 없습니다. 로봇은 태어날 때부터 해오던 대로 하면 됩니다.

논문에 따르면 이 새로운 방법이 게임 체인저인 이유는 다음과 같습니다.

1. 추가 학습 불필요 (파인튜닝 프리)

옛 방식: 이미 훈련된 로봇에게 "전환 기술"이라는 특별한 기술을 가르쳐야 했으며, 이는 어렵고 위험했습니다.
새 방식: 로봇은 이미 빈칸 채우기를 하도록 훈련되어 있습니다. 청크를 전환할 때 전환을 새로운 "빈칸 채우기" 퍼즐로 취급할 뿐입니다. 별도의 학습 없이 바로 완벽하게 작동합니다.

2. 자연스러운 안내 (복잡한 규칙 불필요)

옛 방식: 엔지니어들은 AI 에게 이전과 새로운 행동을 어떻게 혼합할지 알려주기 위해 복잡하고 수동적인 규칙 (휴리스틱) 을 작성해야 했습니다. 마치 운전자에게 운전하는 법을 매뉴얼로 알려주는 것이지, 운전하게 내버려 두는 것이 아니었습니다.
새 방식: 로봇은 전환을 자연스럽게 처리하는 법을 알고 있습니다. 새로운 청크의 앞부분 단어를 이미 파악했다면, 거기서 멈추고 다음 생각을 기다리기만 하면 됩니다. "마스킹 해제된" 단어들이 매뉴얼 없이도 다음 단계를 자연스럽게 안내합니다.

3. 빠르고 저렴함 (추론 비용 절감)

옛 방식: "덮어 그리기" 방식은 로봇이 원래 계획을 계산하는 것 더하기 수정 작업을 두 배로 해야 하므로 느렸습니다.
새 방식: 로봇은 아직 파악하지 못한 단어만 "마스킹 해제 (공개)"하면 되므로, 이미 완료한 작업을 건너뜁니다. 마치 책을 읽을 때 페이지를 넘길 때마다 전체 책을 다시 읽는 것이 아니라, 아직 보지 않은 페이지만 읽는 것과 같습니다.
- 결과: 기존 방법보다 약 30% 빠릅니다 (계산량 0.7 배).

결과: 실제로 작동할까요?

저자들은 두 가지 방법으로 이를 테스트했습니다.

시뮬레이션 세계 (Kinetix): 움직이는 표적이 있는 디지털 놀이터.
- 결과: 새로운 방식은 기존 방식보다 작업을 더 자주 해결했고, 지연을 훨씬 잘 처리했습니다.
실제 로봇 (실제 세계): 움직이는 물체를 집어 움직이는 플랫폼에 올려놓으려는 물리적 로봇 팔.
- 결과: 기존 방식은 가장 어려운 움직이는 작업에서 완전히 실패했습니다 (성공률 0%). 반면 새로운 방식은 **95~100%**의 성공률을 보였습니다.
- 속도: 새로운 방식은 실시간 실행에서도 더 빨랐습니다.

한 문장으로 요약

DiscreteRTC는 로봇이 움직이는 동안 생각할 수 있는 새로운 방식으로, 행동 계획을 "빈칸 채우기" 게임처럼 취급하여 기존에 어색했던 방식에 비해 자연스럽게 더 매끄럽고 빠르며 추가 학습이 전혀 필요하지 않게 합니다.

이것은 논문 **"DiscreteRTC: Discrete Diffusion Policies are Natural Asynchronous Executors"**에 대한 상세한 기술 요약입니다.

1. 문제 제기

물리 AI 시스템 (로봇) 은 세계가 연속적으로 진화하는 동적 환경에서 작동합니다. 챗봇이나 이미지 생성기와 달리 로봇은 정책이 계산하는 동안 실행을 중단할 수 없습니다.

병목 현상: 최신 비전 - 언어 - 행동 (VLA) 모델은 안정성을 높이기 위해 종종 액션 청킹 (Action Chunking)(한 번에 미래 액션 시퀀스를 생성) 을 사용합니다. 그러나 표준 동기식 실행은 다음 청크가 생성되는 동안 청크 간에 강제적인 정지를 요구합니다.
결과: 동적 작업 (예: 이동하는 물체 추적) 에서 이러한 청크 간 정지는 로봇이 세계가 움직이는 동안 유휴 상태가 되어 실패로 이어집니다.
현재 해결책 및 한계: **Real-Time Chunking (RTC)**은 청크 전환을 인페인팅 (inpainting) 문제로 간주하여 이전 청크에서 확정된 액션을 고정하고 나머지 부분을 생성하여 매끄러움을 보장함으로써 이를 해결하려 시도합니다.
- 현재 RTC 구현은 Flow-Matching 정책에 의존합니다.
- Flow-Matching RTC 의 치명적 결함:
  1. 사전 훈련 불일치: Flow-matching 모델은 일관된 노이즈 수준으로 사전 훈련되지만, 인페인팅 (고정된 접두사 + 노이즈가 있는 미래) 에 필요한 혼합 노이즈 패턴과는 다릅니다. 사전 훈련을 확장해도 비동기 성능은 향상되지 않습니다.
  2. 파인튜닝 오버헤드: 좋은 인페인팅을 달성하려면 특정 노이즈 패턴과 손실 함수를 사용한 전용 파인튜닝이 필요하며, 이는 계산 비용이 많이 들고 기본 생성 품질을 저하시킬 위험이 있습니다.
  3. 휴리스틱 가이드: RTC 는 고정된 접두사를 향해 생성을 유도하기 위해 외부 수동 제작 가이드 스케줄 (예: $\Pi$ GDM) 이 필요합니다. 이러한 가이드는 유연성이 부족하고 튜닝이 필요합니다.
  4. 지연 시간 페널티: Flow-matching 의 외부 보정 항은 단계당 추론 비용을 약 2 배 증가시켜, RTC 가 숨기려던 지연 시간을 역설적으로 증가시킵니다.

2. 방법론: DiscreteRTC

저자들은 DiscreteRTC를 제안하며, 이는 Flow-Matching 액션 헤드를 Discrete Diffusion Policy로 대체하는 프레임워크입니다. 핵심 통찰은 이산 확산 정책 (Discrete Diffusion Policies) 이 **반복적 언마스크 (iterative unmasking)**를 고유한 연산으로 수행하므로 인페인팅 요구 사항과 완벽하게 일치하여 "자연스러운 비동기 실행기"가 된다는 점입니다.

주요 메커니즘

사전 훈련을 통한 네이티브 인페인팅:
- 이산 확산 모델은 무작위로 마스킹된 토큰 시퀀스를 재구성하도록 사전 훈련됩니다.
- RTC 에서 이전 청크의 "고정된" 액션은 언마스크된 토큰으로, 미래 액션은 마스킹된 토큰으로 간주됩니다.
- 모델은 단순히 미래 토큰을 언마스크하기 위해 순전파 (forward pass) 만 수행합니다. 모델이 사전 훈련 중에 이 정확한 작업을 이미 학습했으므로 외부 보정이나 파인튜닝이 필요하지 않습니다.
조기 종료 (Early Stopping) 를 통한 자연스러운 가이드:
- 연속 확산에서는 과정이 끝날 때까지 출력이 유효하지 않은 것과 달리, 이산 확산은 언마스크되는 즉시 유효한 의미론적 토큰을 생성합니다.
- 시스템은 필요한 수의 액션 (실행 지평선) 이 언마스크되면 추론을 **조기 종료 (early-exit)**할 수 있습니다.
- 현재 추론에서 남은 부분적으로 마스킹된 토큰은 다음 추론 주기를 위한 자연스럽고 적응적인 가이드 신호로 작용하여 휴리스틱 가중치 스케줄의 필요성을 제거합니다.
감소된 추론 비용:
- 모델은 중간 상태 (부분적으로 언마스크됨) 에서 시작하여 남은 미래 토큰만 언마스크하면 되므로, 처음부터 전체 청크를 생성하는 것에 비해 추론당 총 언마스크 단계 수가 크게 줄어듭니다.
- 이는 무거운 보정 비용을 추가하는 Flow-Matching RTC 에 비해 계산 오버헤드를 낮춥니다.

3. 주요 기여

구조적 통찰: 인페인팅이 이산 확산 정책의 고유 연산이므로, 비동기 실행에 있어 Flow-Matching 보다 구조적으로 우월함을 규명했습니다.
DiscreteRTC 프레임워크: 비동기 인페인팅 로직을 위한 코드 0 줄로 비동기 실행을 달성하는 방법을 제안했습니다 (기본 정책의 순전파에만 의존).
오버헤드 제거: 다음 요소들의 필요성을 제거했습니다:
- 인페인팅 전용 파인튜닝.
- 휴리스틱 가이드 스케줄 ( $\Pi$ GDM).
- 보정을 위한 추가 추론 계산.
성능 향상: DiscreteRTC 가 최첨단 Flow-Matching RTC 보다 더 빠르고 (낮은 지연 시간) 더 정확하며 (높은 성공률) 있음을 입증했습니다.

4. 실험 결과

A. 시뮬레이션 벤치마크 (Kinetix)

설정: 다양한 추론 지연 ( $d$ ) 을 가진 동적 물리 작업에서 평가.
지표: 해결률 (Solve Rate) 및 처리량 (Throughput).
결과:
- DiscreteRTC 는 모든 지연 설정에서 ContinuousRTC (Flow-Matching) 및 기타 베이스라인 (Naive, Bidirectional Decoding) 을 일관되게 능가했습니다.
- 효율성: DiscreteRTC 는 ContinuousRTC 보다 정책당 필요한 반복 단계 수가 적었습니다.
- 파인튜닝: DiscreteRTC 는 명시적 파인튜닝이 필요했던 "Training-time Continuous RTC"보다 더 높은 성공률을 달성하여 "파인튜닝 없는" 접근법의 유효성을 입증했습니다.

B. 실제 세계 동적 조작

설정: Robotiq 그리퍼가 장착된 UR5e 로봇이 Dynamic Pick(이동하는 물체 집기) 과 Dynamic Place(이동하는 플랫폼에 놓기) 수행.
베이스라인: Flow-Matching 과 Discrete Diffusion 을 모두 사용하는 동기식 (Sync) 및 RTC 변형.
주요 발견 (표 1):
- 성공률: 동기식 방법은 완전히 실패했습니다 (0%). DiscreteRTC 는 Dynamic Place 에서 100%, Dynamic Pick 에서 **95%**를 달성하여 ContinuousRTC(Dynamic Pick 에서 45%) 를 크게 능가했습니다.
- 추론 지연 시간:
  - ContinuousRTC 는 $\Pi$ GDM 보정으로 인해 추론 시간을 약 1.7 배 증가시켰습니다 (151ms 에서 256ms 로).
  - DiscreteRTC 는 언마스크해야 할 토큰 수가 적어 추론 시간을 약 0.7 배 감소시켰습니다 (303ms 에서 206ms 로).
- 결론: DiscreteRTC 는 실제 세계 시나리오에서 Flow-Matching RTC 보다 더 빠르고 더 정확합니다.

5. 의의

패러다임 전환: 이 논문은 실시간 제어용 VLA 액션 헤드에서 Flow-Matching 의 지배력을 도전하며, 동적 작업에 대한 더 나은 대안으로 Discrete Diffusion 을 제안합니다.
실용적 배포: 복잡한 엔지니어링 (커스텀 손실 함수 없음, 휴리스틱 튜닝 없음, 추가 컴퓨팅 없음) 이 없이 실시간 로봇 공학을 위한 "플러그 앤 플레이" 솔루션을 제공합니다.
확장성: 비동기 실행을 위해 사전 훈련을 직접 활용함으로써, 비싼 파인튜닝 없이 성능 한계에 부딪히는 Flow-Matching RTC 와 달리 더 큰 모델과 데이터셋과 함께 자연스럽게 확장됩니다.
향후 방향: 저자들은 시간 인식을 가진 토크나이저 개발과 통합된 이산 - 확산 VLA 를 통해 추가적인 향상을 달성할 수 있음을 강조하지만, 현재 방법만으로도 비동기 실행에 대한 새로운 최첨단 (state-of-the-art) 을 확립했습니다.

요약하자면, DiscreteRTC는 정책 아키텍처 (Discrete Diffusion) 와 실행 요구 사항 (비동기 인페인팅) 을 정렬함으로써 기존 Flow-Matching 기반 접근법보다 우수한 성능, 낮은 지연 시간, 그리고 더 간단한 구현을 달성할 수 있음을 보여줍니다.