기존의 로봇들이 "소금을 집어라"라는 명령을 받으면, 머릿속으로 생각할 겨를도 없이 바로 손부터 움직이는 '반사적인 운동선수' 같았다면, BagelVLA는 아주 신중하고 똑똑한 **'베테랑 요리사'**와 같습니다.
요리사가 복잡한 요리를 할 때 머릿속에서 일어나는 3단계를 이 로봇도 똑같이 수행합니다.
언어적 계획 (Linguistic Planning) → "레시피 읽기"
상황: "빨강, 노랑, 파랑 블록을 순서대로 쌓아줘"라는 복잡한 명령을 받습니다.
로봇의 생각: "음, 일단 빨간 블록부터 찾아야겠군. 그다음은 노란색, 마지막은 파란색 순서야." (말을 통해 할 일을 잘게 쪼갭니다.)
시각적 예측 (Visual Forecasting) → "머릿속으로 상상하기"
상황: 빨간 블록을 집어 올리기 직전입니다.
로봇의 생각: (눈을 감고 상상하듯) "내가 이 블록을 집어서 여기 놓으면, 화면이 이렇게 변하겠지?" (실제로 움직이기 전에 결과물을 미리 '이미지'로 그려봅니다.)
행동 생성 (Action Generation) → "실제로 손 움직이기"
상황: 상상이 끝났습니다.
로봇의 생각: "상상한 모습대로 만들려면, 내 팔을 이 각도로, 이 속도로 움직여야 해!" (상상한 그림과 계획을 바탕으로 정교하게 움직입니다.)
✨ 이 논문의 핵심 '치트키': RFG (잔차 흐름 가이드)
그런데 문제가 하나 있습니다. 로봇이 매번 "상상(이미지 생성)"을 하려면 시간이 너무 오래 걸립니다. 요리사가 매 동작마다 머릿속으로 완벽한 고화질 사진을 그리느라 요리 속도가 느려지면 손님들이 화를 내겠죠?
여기서 연구진은 RFG라는 아주 영리한 기술을 도입했습니다.
비유: "스케치 위에 색칠하기"
처음부터 백지에 완벽한 그림을 그리는 게 아니라, **지금 눈앞에 보이는 장면(현재 상태)**을 밑그림으로 깔아둡니다.
그리고 그 위에 **"바뀔 부분(차이점)"**만 아주 빠르게 슥슥 그려 넣는 방식입니다.
덕분에 로봇은 엄청나게 빠른 속도로 "미래를 상상"하면서도, 실제 움직임은 멈추지 않고 부드럽게 이어갈 수 있습니다.
🏆 결과: 무엇이 달라졌나요?
이 '생각하고 상상하는' 능력을 갖춘 BagelVLA는 기존 로봇들과 비교했을 때 압도적인 차이를 보였습니다.
복잡한 미션 수행: "숫자 블록을 가져와서 2+3=5라는 식을 만들어봐" 같은, 수학적 사고와 정교한 움직임이 동시에 필요한 어려운 숙제도 척척 해냅니다.
처음 보는 상황에서도 당황하지 않음: 학습할 때 보지 못했던 새로운 물건이나 색깔이 나타나도, "아, 이건 이렇게 생긴 거니까 이렇게 다루면 되겠구나"라고 스스로 추론해서 대처합니다.
📝 요약하자면...
BagelVLA는 로봇에게 **"말(계획) - 눈(상상) - 손(행동)"**을 하나로 묶어준 기술입니다. 로봇이 단순히 명령을 수행하는 기계를 넘어, **"다음에 무슨 일이 일어날지 미리 그려보고 움직이는 지능형 에이전트"**가 되도록 만든 것입니다!
[기술 요약] BagelVLA: 인터리브형 시각-언어-행동 생성을 통한 장기 작업 조작 능력 향상
1. 문제 정의 (Problem Statement)
최근의 시각-언어-행동(VLA) 모델들은 로봇의 일반화 능력을 높이기 위해 노력해 왔으나, 다음과 같은 핵심적인 한계점을 가지고 있습니다:
기능의 분절화: 기존 모델들은 언어적 계획(Linguistic Planning)과 시각적 예측(Visual Forecasting)을 별개의 모듈로 처리하거나, 둘 중 하나에만 집중합니다. 이로 인해 복잡하고 단계가 많은 **장기 작업(Long-horizon tasks)**에서 논리적 추론과 정밀한 제어를 동시에 수행하는 데 어려움을 겪습니다.
추론과 제어의 간극: 고수준의 언어 계획 능력과 저수준의 연속적 동작 제어 사이의 정렬(Alignment)이 부족하여, 복잡한 명령을 받았을 때 물리적 결과를 예측하며 실행하는 능력이 떨어집니다.
추론 지연(Latency) 문제: 시각적 예측(이미지 생성)을 동작 생성 과정에 통합할 경우, 계산 비용이 급증하여 실시간 로봇 제어에 필요한 높은 주파수를 유지하기 어렵습니다.
2. 핵심 방법론 (Methodology)
BagelVLA는 언어 계획, 시각적 예측, 동작 생성을 하나의 통합된 트랜스포머 프레임워크 내에서 인터리브(Interleaved, 교차) 방식으로 결합한 모델입니다.
2.1 인터리브 계획 (Interleaved Planning)
모델은 단순히 명령을 동작으로 바로 매핑하는 것이 아니라, 다음과 같은 인과적 체인을 명시적으로 모델링합니다:
언어적 계획 (Linguistic Planning): 전체 명령(Global Instruction)을 분석하여 현재 단계에서 수행해야 할 세부 작업(Subtask, lt)을 텍스트로 생성합니다.
시각적 예측 (Visual Forecasting): 세부 작업에 근거하여, 작업이 완료된 후의 미래 상태(Keyframe, vt+k)를 이미지로 예측합니다.
동작 생성 (Action Generation): 텍스트 계획과 예측된 시각적 목표를 모두 조건(Condition)으로 삼아 실제 로봇의 동작(at)을 생성합니다.
2.2 모델 아키텍처: Mixture of Transformers (MoT)
BagelVLA는 세 가지 전문화된 전문가(Expert)를 가진 MoT 구조를 채택합니다:
Understanding Expert (7B): 언어적 계획 및 시각적 이해 담당.
Generation Expert (7B): 미래 키프레임 이미지 생성 담당.
Action Expert (2B): 로봇의 고주파 동작 제어 담당 (경량화를 통해 실시간성 확보).
2.3 Residual Flow Guidance (RFG) - 핵심 기술
시각적 예측의 높은 계산 비용을 해결하기 위해 제안된 기술입니다.
기존 방식: 처음부터 이미지를 생성해야 하므로 시간이 오래 걸림.
RFG 방식: 현재 관찰값(Current Observation)을 강력한 구조적 사전 정보(Prior)로 사용합니다. 즉, 배경 등 변하지 않는 부분은 유지하고, 현재 이미지에 노이즈를 섞은 뒤 단 한 번의 디노이징(Single-step denoising)을 통해 변화된 부분(Residual)만을 예측합니다. 이를 통해 매우 낮은 지연 시간으로 시각적 예측 기능을 동작 생성에 활용할 수 있습니다.
2.4 2단계 학습 전략 (Two-stage Training)
1단계 (Pretraining): 일반 멀티모달 데이터와 로봇 데이터를 결합하여 언어 계획 및 시각적 역학(Visual Dynamics) 학습에 집중합니다.
2단계 (Finetuning): 동작 라벨이 포함된 데이터를 사용하여 언어, 시각, 동작의 세 가지 모달리티를 완전히 결합(Coupling)합니다.
3. 주요 기여 (Key Contributions)
통합 프레임워크 제안: 언어 계획, 시각 예측, 동작 생성을 단일 아키텍처 내에서 인터리브 방식으로 통합하여 장기 작업 수행 능력을 극대화했습니다.
RFG 메커니즘 개발: 단일 단계 디노이징과 잔차(Residual) 학습을 통해 시각적 예측의 계산 효율성을 획기적으로 높였습니다.
대규모 하이브리드 데이터셋 구축: 일반 멀티모달 데이터와 로봇 데이터를 결합하여 모델의 일반적 추론 능력과 로봇 특화 능력을 동시에 전이시켰습니다.
4. 실험 결과 (Results)
시뮬레이션 (Calvin, Robotwin): 기존의 강력한 베이스라인 모델인 π0, RDT, UP-VLA 등을 모든 벤치마크에서 압도하는 성능을 보였습니다. 특히 명령이 복잡해지는 Randomized 설정에서 탁월한 강점을 보였습니다.
실제 로봇 실험 (Aloha-AgileX):
기본 작업: 미학습 객체(Unseen objects)에 대한 일반화 능력이 매우 뛰어났습니다.
장기 계획 작업: "지정된 순서대로 큐브 쌓기", "산술 계산 후 블록 배치"와 같은 고난도 작업에서 높은 성공률과 계획 정확도(Planning Accuracy 약 90%)를 기록했습니다.
효율성: RFG를 통해 단일 RTX 5090 GPU에서 초당 40Hz(비동기 실행 시 72Hz)의 높은 동작 주파수를 달성했습니다.
5. 의의 (Significance)
BagelVLA는 로봇이 단순히 동작을 따라 하는 것을 넘어, "무엇을 해야 할지 생각하고(Text), 어떤 모습이 될지 상상하며(Vision), 그에 맞춰 움직이는(Action)" 인간과 유사한 인지-행동 루프를 구현할 수 있음을 증명했습니다. 이는 범용 로봇(General-purpose robots)이 복잡하고 비정형화된 환경에서 자율적으로 임무를 수행하기 위한 중요한 기술적 이정표를 제시합니다.