🤖 machine learning

Dynin-Robotics: Omnimodal Unified Diffusion Vision-Language-Action Model

Dynin-Robotics는 언어, 시각, 행동을 이산 토큰으로 취급하여 목표 예측, 역학 모델링, 행동 생성을 공동으로 학습함으로써 공유된 궤적 모델링과 테스트 시간 스케일링을 통해 여러 벤치마크에서 경쟁력 있는 성능을 달나 성취하는 옴니모달 통합 확산 모델을 소개한다.

원저자: Hoeun Lee, Jaeik Kim, Jusang Oh, Jinhyeok Kim, Geon Choi, Hyeonggeun Kim, Jaeyoung Do

게시일 2026-09-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hoeun Lee, Jaeik Kim, Jusang Oh, Jinhyeok Kim, Geon Choi, Hyeonggeun Kim, Jaeyoung Do

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 오랫동안 인간처럼 세상을 이해하는 데 어려움을 겪어 왔습니다. 기계는 팔을 특정 좌표로 움직이도록 프로그래밍될 수는 있지만, "포장을 자를 만한 것을 건네줘"와 같은 모호한 지시를 이해해야 하는 작업에서는 종종 실패하곤 합니다. 이를 해결하기 위해 연구자들은 언어, 시각, 그리고 물리적 움직임을 하나의 뇌로 연결하는 시스템을 구축하고 있습니다. 비전-언어-행동(vision-language-action) 모델이라고 불리는 이 시스템들은 단순히 물체가 무엇인지 배우는 것을 넘어, 그 물체가 어떻게 행동하고 어떻게 조작되는지를 배우고자 합니다. 지금까지의 과제는 대부분의 현재 접근 방식들이 이러한 기술들을 별개로 취급해 왔다는 점입니다. 즉, 시스템의 한 부분은 단어를 이해하고, 다른 부분은 이미지를 인식하며, 세 번째 부분은 운동 명령을 계산하는 식입니다. 이러한 분리는 실제 환경이 변하거나 지시가 예상치 못한 방식으로 표현될 때 로봇을 혼란에 빠뜨리곤 합니다.

서울대학교의 한 연구팀은 이러한 분리된 기술들을 하나의 응집된 모델로 통합하는 'Dynin-Robotics'라는 새로운 접근 방식을 선보였습니다. 로봇의 뇌를 서로 다른 작업을 위한 여러 모듈로 구축하는 대신, 그들은 한 번에 여러 방식으로 미래를 예측하는 법을 배우는 단일 시스템을 만들었습니다. 예를 들어, 어떤 작업을 수행할 때 단순히 다음 동작을 계산하는 것이 아니라, 그 동작 이후의 장면이 어떻게 보일지, 최종 목표 상태는 어떠해야 하는지, 그리고 그 작업을 말로 어떻게 설명할 것인지를 함께 상상하는 로봇을 떠올려 보십시오. 이 단일 모델이 이 모든 예측을 동시에 처리하도록 훈련함으로써, 연구진은 로봇이 훈련받은 것과 다른 방식으로 지시가 내려지더라도 훨씬 더 잘 따르게 된다는 것을 발견했습니다.

이 시스템의 핵심은 '마스크 확산(masked diffusion)'이라 불리는 방법입니다. 간단히 말해, 이는 모델에게 작업의 비디오, 서술된 지시문, 로봇의 움직임과 같은 정보의 시퀀스를 보여주되, 그 시퀀스의 일부를 숨기거나 '마스킹(masking)'하는 학습 과정입니다. 모델의 임무는 보이는 부분을 보고 숨겨진 부분이 무엇이어야 하는지 추측하는 것입니다. 예를 들어, 컵의 사진과 "컵을 집어라"라는 문구는 보이지만 움직임 데이터가 숨겨져 있다면, 모델은 올바른 동작을 예측해야 합니다. 또 다른 시나리오에서는 움직임과 지시문은 보이지만 컵을 손에 쥐고 있는 최종 모습이 숨겨져 있다면, 모델은 그 결과를 예측해야 합니다. 130만 개 이상의 로봇 궤적 데이터셋을 통해 이러한 다양한 유형의 추측 게임을 연습함으로써, 모델은 언어, 시각, 행동이 어떻게 연결되어 있는지에 대한 깊은 이해를 학습하게 됩니다.

이 접근 방식이 독특한 점은 동일한 모델이 즉각적으로 이러한 다양한 역할들 사이를 전환할 수 있다는 것입니다. 이 모델은 다음 동작을 결정하는 정책(policy)이 될 수도 있고, 동작 후 카메라에 무엇이 보일지 예측하는 세계 모델(world model)이 될 수도 있으며, 최종 성공 상태를 시각화하는 목표 예측기(goal predictor), 또는 로봇이 작업하는 영상을 보고 원래의 지시를 재구성하는 교사(teacher)가 될 수도 있습니다. 이러한 유연성 덕분에 시스템은 자신의 예측을 사용하여 성능을 개선할 수 있습니다. 예를 들어, 로봇은 팔을 어떻게 움직일지 결정하기 전에 먼저 목표 상태가 어떤 모습일지 예측할 수 있습니다. 그런 다음 예측된 목표를 가이드로 삼아 행동 계획을 정교하게 다듬습니다. 이처럼 앞을 내다보고 실시간으로 계획을 조정하는 과정은 꽃을 꽃병에 꽂거나 블록을 특정 순서대로 쌓는 것과 같이 정밀한 정렬이 필요한 복잡한 작업을 처리하는 데 도움을 줍니다.

연구진은 이 시스템이 다른 선도적인 로봇 모델들과 비교하여 얼마나 잘 수행되는지 확인하기 위해 다양한 벤치마크에서 테스트를 진행했습니다. 표준 시뮬레이션 작업에서 이 모델은 98.1%의 성공률을 달-성하며 해당 분야의 최상위권에 올랐습니다. 더욱 중요한 것은, 지시 사항이 더 간접적이거나 추상적으로 바뀌었을 때의 테스트에서도 이 시스템이 뛰어난 적응력을 보여주었다는 점입니다. 한 실험 세트에서 모델은 "사과를 집어라"와 같은 직접적인 명령 대신 "자연스럽게 달콤하고 즙이 많은 것"과 같은 묘사를 바탕으로 과일을 선택해야 하는 과제를 수행했습니다. 다른 모델들이 이러한 언어적 변화에 어려움을 겪는 동안, Dynin-Robotics는 특정 문구를 암기한 것이 아니라 작업의 근본적인 개념을 학습했음을 입증하며 높은 성공률을 유지했습니다.

이 시스템은 실제 환경에서도 효과적임을 입증했습니다. 연구진은 이 모델을 '프랑카 리서치 3(Franka Research 3)'라는 물리적 로봇 팔에 배치했습니다. 과일을 집거나, 색깔별로 큐브를 분류하고, 특정 순서로 쌓는 등의 일련의 실제 테스트에서, 로봇은 네 가지 조작 조건에 걸쳐 평균 78.4%의 성공률을 기록했습니다. 이 성능은 특히 사용자가 지정한 색상 순서에 따라 큐브를 쌓는 것과 같이 단계별 순서를 따라야 하는 작업에서 강력한 모습을 보였습니다. 목표와 중간 단계를 시각화하는 능력 덕분에 로봇은 실수를 했을 경우 경로를 수정할 수 있었는데, 이는 단순한 시스템에서는 흔히 볼 수 없는 기능입니다.

이 모델은 로봇 제어를 넘어, 묘사를 이해하고 생성하는 놀라운 능력도 보여주었습니다. 로봇이 작업을 수행하는 영상을 보여주면, 시스템은 "집다", "놓다", "접다"와 같은 동사를 사용하고 색상과 위치로 물체를 식별하며 무슨 일이 일어나고 있는지 정확하게 설명할 수 있었습니다. 반대로, 작업 설명을 주면 최종 장면이 어떻게 보일지에 대한 시각적 예측을 생성할 수 있었습니다. 이러한 능력은 모델이 단순한 운동 제어를 넘어 물리적 세계에 대한 풍부하고 내부적인 표현을 구축했음을 시사합니다.

실시간 사용이 가능할 정도로 시스템을 빠르게 만들기 위해, 연구진은 모델을 실행하는 특화된 방법도 개발했습니다. 이 모델은 추측을 반복적으로 정교화하는 방식으로 작동하기 때문에, 매 단계를 하나씩 처리해야 한다면 속도가 느려질 수 있습니다. 연구팀은 모델이 여러 단계의 움직임을 동시에 예측하고 확정할 수 있는 기술을 개발했습니다. 이 최적화는 모델의 의사결정 속도를 표준 방식보다 거의 30배 빠르게 만들어, 물리적 로봇의 속도에 맞춰 따라갈 수 있는 하드웨어에서 복잡한 모델을 실행하는 것을 가능하게 했습니다.

이 연구의 결과는 로봇 학습을 통합된 예측 문제로 다루는 것이 강력한 전략임을 시사합니다. 언어를 이해하고, 시각적 변화를 예측하며, 행동을 생성하는 능력을 하나의 프레임워크로 결합함으로써, 연구진은 이전 모델들보다 더 견고하고 적응력이 뛰어난 시스템을 만들어냈습니다. Dynin-Robotics의 성공은 로봇이 미래를 상상하고 작업의 맥락을 이해할 수 있을 때, 현실 세계의 예측 불가능한 성격을 훨씬 더 잘 다룰 수 있음을 보여줍니다. 아직 더 길고 복잡한 일련의 동작으로 기능을 확장하는 등의 과제가 남아 있지만, 이 접근 방식은 진정으로 환경을 이해하고 상호작용할 수 있는 로봇을 향한 유망한 길을 제시합니다.

기술 요약: Dynin-Robotics: Omnimodal Unified Diffusion Vision-Language-Action Model

문제 정의

Vision-Language-Action (VLA) 모델은 자연어 지시와 시각적 관찰을 로봇 행동으로 연결하는 것을 목표로 합니다. 그러나 기존의 접근 방식은 작업 의미론(언어), 시각적 역학(장면 변화), 그리고 물리적 실행(행동)을 별개의 구성 요소로 취급하거나 서로 다른 아키텍처 백본에 의존하는 경우가 많습니다. VLABench에 대한 최근 진단 연구에 따르면, 서로 다른 정책 아키텍처는 언어 입력과 작업 성능 프로필에 대해 다양한 민감도를 보입니다. 예를 들어, 어떤 모델은 특정 지시 트랙에 크게 의존하는 반면, 다른 모델은 의미론적 변화에는 더 강건하지만 대상 선택의 정밀도는 떨어질 수 있습니다. 더욱이, 많은 통합 모델은 단일하고 일관된 프레임워크 내에서 정책 실행, 월드 모델링(미래 상태 예측), 목표 예측, 그리고 작업 이해를 동시에 지원하는 데 어려움을 겪습니다. 핵심 과제는 지시, 관찰, 목표, 행동을 공유된 표현 내의 변수로 취급하여, 모델이 상호 보완적인 목적을 학습하고 제어 과정에서 그 예측들을 합성할 수 있도록 로봇 학습을 정식화하는 것입니다.

방법론

통합 옴니모달 아키텍처 (Unified Omnimodal Architecture)

Dynin-Robotics는 옴니모달 마스크드 디퓨전(masked-diffusion) 백본인 Dynin-Omni를 기반으로 구축되었습니다. 이 모델은 언어, 시각적 관찰(이미지/비디오), 목표 상태, 그리고 로봇 행동을 단일 공유 궤적 시퀀스 내의 이산 토큰으로 표현합니다.

토큰화 (Tokenization): 텍스트는 표준 언어 토크나이저를 사용합니다. 시각 자료는 공유된 MAGViT-v2 토크나이저를 사용합니다. 로봇 행동은 결정론적인 차원별 균등 빈닝(uniform binning, 학습된 액션 토크나이저 미사용)을 통해 이산화되어 예약된 토큰 블록에 매핑됩니다. 선택적인 센서 스트림(예: 힘/토크) 또한 타입형 토큰 인터페이스를 통해 통합될 수 있습니다.
백본 (Backbone): 단일 양방향 트랜스포머가 이러한 토큰들의 인터리브된(interleaved) 시퀀스를 처리합니다. 모델은 가시적인 컨텍스트로부터 마스킹된 타겟 스팬을 재구성하는 범주형 마스크드 디퓨전 목적 함수를 학습합니다.

통합 학습 목적 함수 (Unified Training Objectives)

모델은 로봇 궤적의 공유 코퍼스(약 48개의 Open X-Embodiment 데이터셋에서 추출한 133만 개의 궤적)를 사용하여 학습되며, 가시적인 컨텍스트와 마스킹된 타겟을 정의하는 목적 토큰에 의해 선택되는 네 가지 조건부 디노이징 작업을 수행합니다.

정책 ( $o_{PO}$ ): 현재 시각적 상태, 지시 사항, 그리고 선택적인 목표/센서 컨텍스트가 주어졌을 때 액션 청크(action chunks)를 예측합니다.
월드 모델링 ( $o_{WM}$ ): 현재 상태, 지시 사항, 그리고 액션 청크를 조건으로 다음 시각적 상태( $s_{t+1}$ )를 예측합니다.
목표 상태 예측 ( $o_{GP}$ ): 초기 상태와 지시 사항이 주어졌을 때, 지시된 목표에 해당하는 종단 시각 상태를 예측합니다.
작업 이해 ( $o_{TU}$ ): 샘플링된 궤적 프레임으로부터 작업 지시 사항을 재구성합니다.

학동은 노출 비율(exposure ratios)과 손실 가중치가 적용된 이러한 목적 함수들의 혼합을 사용하여 학습됩니다. 두 단계의 학습 레시피가 사용됩니다:

1단계: 공유 궤적 표현을 학습하기 위해 대규모 OXE 혼합 데이터셋에서 지속적 사전 학습(Continual pretraining)을 수행합니다.
2단계: 공유 인터페이스를 유지하면서 특정 도메인 분포에 모델을 적응시키기 위한 도메인 특화 사후 학습(예: LIBERO, VLABench, 실제 세계의 Franka 작업)을 수행합니다.

구성적 추론 (Compositional Inference)

공유 인터페이스는 다양한 추론 구성을 지원하며, 이를 통해 서로 다른 예측 작업에 계산량을 할당함으로써 테스트 타임 스케일링(test-time scaling)을 가능하게 합니다:

액션 전용 디코딩 (Action-Only Decoding): 표준 정책 추론입니다.
목표 가이드 정책 (Goal-Guided Policy): 모델이 먼저 목표 상태를 예측한 후, 이를 후속 액션 생성을 위한 가시적 컨텍스트로 사용하는 2단계 프로세스입니다.
결합 디노이징 (Joint Denoising): 동일한 컨텍스트 하에서 액션 스팬과 다음 상태 시각 스팬을 동시에 디노이징합니다.
후보 재순위화 (Candidate Reranking): 정책에 의해 생성된 액션 후보들을 월드 모델링 목적 함수를 사용하여 점수화하고 재순위화하며, 후보가 월드 모델 에너지와 결합된 순위 점수를 모두 개선하는 경우에만 수락합니다.

가속화 (Acceleration)

반복적인 마스크드 디퓨전의 레이턴시 문제를 해결하기 위해, 저자들은 블록 병렬 디코딩(block-parallel decoding) 전략과 최적화된 추론 스택인 dInfer를 구현했습니다. 이 접근 방식은 마스킹된 액션 위치를 병렬로 예측하고 신뢰도가 높은 토큰을 점진적으로 확정(commit)합니다. 또한 디노이징 단계 전반에 걸쳐 고정된 시각-언어-목표 컨텍스트에 대한 계산을 재사용함으로써, 액션 청크당 필요한 백본 평가 횟수를 크게 줄입니다.

주요 기여 (Key Contributions)

통합 로봇 궤적 모델링: 본 논문은 옴니모달 마스크드 디퓨전 백본을 로봇 액션 토큰으로 확장하여, 정책, 월드 모델링, 작업 이해, 목표 상태 예측을 공유 궤적 표현에 대한 조건부 디노이징 쿼리로 정식화합니다.
구성적 및 가속화된 추론: 공유 인터페이스는 목표 예측과 액션 후보 평가를 통해 테스트 타임 스케일링을 지원합니다. 제안된 블록 병렬 디코딩은 기본 구현 대비 모델 측 액션 디코딩 속도를 최대 29.2배까지 가속화합니다.
진단 및 통제된 평가: 저자들은 $\pi0.5$ 와 Mimic-Video를 비교하여 작업 성능과 지시 민감도의 차이를 보여주는 두 가지 작업 VLABench 진단을 제공합니다. 또한 시뮬레이션 벤치마크 및 물리적 로봇에 대한 평가와 더불어 로봇 사전 학습, 목적 함수 감독, 추론 구성에 대한 절제 연구(ablation studies)를 수행합니다.

결과 (Results)

정책 성능

LIBERO: Dynin-Robotics는 네 가지 스위트(Spatial, Object, Goal, Long)에서 **98.1%**의 매크로 평균 성공률을 달 기록하며, 이는 X-VLA와 유사하고 ABot-M0보다는 약간 낮은 수준의 최상위 성능 정책임을 보여줍니다.
LIBERO-Plus (Zero-Shot): 변형된 조건(카메라, 로봇, 언어 등)에서 모델은 **73.0%**의 매크로 평균을 달성합니다. 언어 변형에는 높은 강건성(85.0%)을 보이지만, 카메라 및 로봇 변형에는 민감함을 나타냅니다.
VLABench: SelectFruit 및 InsertFlower 작업에서 모델은 강력한 적응력을 보여줍니다. 절제 연구에 따르면, 로봇 지속적 사전 학습은 고정된 2단계 스텝 예산 내에서 기본 Dynin-Omni 모델로부터 직접 초기화하는 것보다 적응력을 유의미하게 향상시킵니다. 또한, 전체 목적 함수 혼합(월드 모델링 및 목표 예측 포함)은 정책 전용 사후 학습보다 시프트된 지시(shifted-instruction) 성공률을 높입니다.
실제 세계 (Franka Research 3): 모델은 네 가지 조작 조건(Fruit PnP, Cube Sort, Cube Stack, Color-Ordered Stack)에서 **78.4%**의 평균 성공률을 달성하며, Color-Ordered Stack 작업에서 다른 통합 및 VLM 기반 모델들을 능가합니다.

월드 모델링 및 예측

시각적 예측: DROID 검증 세트에서, (DROID 특화 사후 학습을 거치지 않은) 1단계 체크포인트는 액션 조건부 차기 상태 예측을 위한 학습된 예측기 중 가장 높은 PSNR(20.79)과 SSIM(0.573)을 달성했습니다. 다만, 정적 지표에서는 프레임 복사(frame copying) 모델보다 뒤처집니다.
목표 상태 예측: 모델은 작업 조건을 충족하는 종단 시각 상태를 생성하지만, 인접 미래 예측에 비해 종단 상태 생성 지표에서의 성능은 낮습니다.
작업 이해: 질적 결과에 따르면, 모델은 궤적 프레임으로부터 정확한 작업 설명을 생성할 수 있으며, 동작 동사, 객체 속성 및 공간 관계를 포착할 수 있습니다.

가속화

최적화된 블록 병렬 구현(BL35)은 기본 디코더(9.221 TPS) 대비 **268.834 effective tokens per second (TPS)**를 달성하여 29.15배의 속도 향상을 보였습니다.
이러한 가속화는 재구성 충실도에서의 미세한 트레이드오프(토큰 정확도가 ~99.75%에서 ~99.46%로 감소)와 LIBERO-Goal 성공률의 약간의 감소(97.8%에서 97.2%로)를 동반합니다.

의의 및 주장 (Significance and Claims)

본 논문은 공유 궤적 모델링이 보완적인 로봇 목적(제어, 역학, 목표, 이해)을 학습하고 제어 중에 그 예측들을 합성하기 위한 공통 인터페이스 역할을 한다고 주장합니다.

추론 구성: 시각적 예측(목표 및 다음 상태)의 이점은 그것들이 어떻게 구성되느냐에 따라 크게 달라짐을 결과가 보여줍니다. 구체적으로, 목표 가이딩과 결합된 액션-다음 상태 디노이징을 결 조합하는 것이 액션 전용 디코딩보다 시프트된 지시 성공률을 높이는 반면, 두 구성 요소 중 하나만을 단독으로 사용하는 것은 그렇지 않습니다.
사전 학습의 필요성: 로봇 지속적 사전 학습이 동일한 적응 예산 하에서 사전 학습 없이 초기화된 모델보다 다운스트림 성공에 크게 기여하는 주요 요인임을 확인했습니다.
효율성: 본 연구는 최적화된 디코딩 전략을 통해 마스크드 디퓨전 모델이 실시간 로봇 제어를 위해 실용적으로 만들어질 수 있음을 입증하며, 현저히 낮은 레이턴시로 경쟁력 있는 성능을 달성했습니다.

저자들은 현재의 정식화가 높은 정책 성공률과 멀티모달 생성을 지원하지만, 향-미래 작업(future work)으로서 더 긴 호라이즌에 대한 시각적 역학 평가를 확장하고, 궤적-언어 정확도를 정량화하며, 추가적인 임보디먼트(embodiment) 및 센서 모달리티를 탐색해야 한다고 결론지었습니다.