💻 computer science

TS-Mask VLA: 2D Temporal-Spatial Masking for Vision-Language-Action Model with Effective Bridging

본 논문은 자기회귀적 토큰 예측의 한계를 극복하기 위해 브릿지 어텐션(Bridge Attention) 및 시공간 2D 마스킹 전략과 결합된 이산 확산 행동 전문가(Discrete Diffusion Action Expert)를 통합함으로써 시각-언어-행동 모델을 향상시키는 로봇 조작 프레궤임워크인 TS-Mask VLA를 제안하며, 이를 통해 장기 horizon 작업에서 높은 효율성과 함께 최첨단 성능을 달성한다.

원저자: Shengzhuo Yang, Ronghao Yu, Chuanjie Lv, Linpeng Peng, Hang Yu, Jie Ren, Jiajun Lv, Yong Liu

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shengzhuo Yang, Ronghao Yu, Chuanjie Lv, Linpeng Peng, Hang Yu, Jie Ren, Jiajun Lv, Yong Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 저녁 식사 요리를 가르치고 있다고 상상해 보세요. 당신은 로봇에게 레시피(언어)를 주고 주방(시각)을 보여줍니다. 이제 로봇은 음식을 썰고, 젓고, 접시에 담기 위해 팔을 정확히 어떻게 움직여야 할지 결정해야 합니다. 오랫동안 가장 똑똑한 로봇들은 이 과정을 마치 책을 한 단어씩 읽는 것처럼 아주 작은 단계 하나하나를 해결하려고 노력했습니다. 그들은 "왼쪽으로 이동", "위로 이동", "잡기"와 같이 하나씩 차례대로 명령을 내렸습니다.

하지만 여기에 문제가 있습니다. 로봇은 단순히 단어의 직선 형태로 움직이지 않습니다. 로봇은 시간과 방향이라는 2D 격자 위에서 움직입니다. 만약 한 번에 한 단계씩만 본다면, 오후 2시에 하는 "잡기" 동작이 오후 2시 1분의 "들어 올리기" 동작과 어떻게 완벽하게 맞물려야 하는지를 놓칠 수 있습니다. 예전 방식은 마치 다른 발의 리듬과 움직임은 무시한 채, 한 번에 한 발의 움직임만 보고 춤을 배우려는 것과 같았습니다.

여기, 로봇에게 움직임을 단순한 텍스트의 직선이 아닌 거대한 2D 퍼즐처럼 다루도록 가르치는 새로운 방법인 TS-Mask VLA가 등장했습니다.

핵심 아이디어: "눈을 가린 퍼즐"

레시피를 한 단어씩 읽는 대신, 이 새로운 방식은 로봇에게 전체 춤 동작을 한꺼번에 보게 하되, 약간의 반전을 줍니다. 바로 대부분의 동작을 가리개(또는 "마스크")로 덮어버리는 것입니다.

이것은 마치 "월리를 찾아라!" 게임과 같습니다. 다만 페이지 전체가 로봇의 미래 동작이 되는 것이죠.

설정: 로봇은 주방과 레시피를 봅니다.
마스크: 시스템은 격자 위에 있는 미래 동작의 90%를 가려버립니다. 이 격자는 시간(언제 움직일 것인가)을 위한 행과 방도(어느 방향으로 움직일 것인가)를 위한 열로 구성됩니다.
추측: 로봇은 가리개 아래에 무엇이 있는지 추측해야 합니다. 로봇은 단 하나의 동작만 추측하는 것이 아니라, 전체 동작의 패턴을 한꺼번에 추측합니다.
정교화: 만약 로봇이 어떤 추측에 확신이 없다면, 시스템은 그것을 다시 가리고 다른 추측을 시도하도록 요청합니다. 이 과정은 전체 춤 동작이 드러날 때까지 점점 더 명확해지며 반복됩니다.

이것을 **이산 확산(Discrete Diffusion)**이라고 부릅니다. 시작부터 완벽한 선을 그리려고 애쓰는 대신(이는 흔들리거나 엉망이 될 수 있습니다), 로봇은 빈 캔버스에서 시작하여 세부 사항을 천천히 채워 넣어 완벽한 그림을 완성해 나갑니다.

예전 방식이 충분하지 않았던 이유

논문은 기존의 "단어별(autoregressive)" 방식이 마치 청사진을 확인하기 위해 뒤로 물러나 전체를 보는 일 없이, 벽돌을 한 번에 하나씩 쌓으며 집을 짓는 것과 같다고 주장합니다. 이 방식은 벽돌들이 시간의 흐름에 따라 어떻게 서로 맞물리는지에 대한 큰 그림을 놓칩니다.

또한 저자들은 로봇의 움직임을 단순히 매끄럽고 연속적인 선(비디오 스트림처럼)으로 취급하는 것은 어렵다고 말합니다. 왜냐하면 여러 신체 부위가 함께 움직이는 특정한 "도약"과 "연결"을 모델링하기 어렵기 때문입니다. 그들은 움직임을 특정 "토큰"(레고 블록 같은 것)으로 분해하고 이를 2D 격자에 배치하는 것이 비결이라고 믿습니다.

"브릿지(Bridge)"와 "마스크(Mask)"

로봇은 매우 잘하기 위해 두 가지 특별한 기술을 사용합니다.

브릿지(The Bridge): 로봇에게 언어와 시각을 이해하는 뇌와 팔을 제어하는 별도의 뇌가 있다고 상상해 보세요. 보통 이 두 뇌는 다소 어색하게 소통합니다. TS-Mask VLA는 "브릿지 어텐션(Bridge Attention)" 메커니즘이라는 초고속 고속도로를 구축하여, 언어 뇌가 팔의 뇌가 들어야 할 내용을 층별로 정확하게 속삭여 줄 수 있게 합니다. 이를 통해 로봇은 단순히 무엇을 할 것인가를 넘어, 얼마나 정밀하게 어떻게 해야 하는지를 이해하게 됩니다.
2D 마스크(The 2D Mask): 이것이 주인공입니다. 시스템은 단순히 무작위로 동작을 숨기는 것이 아니라, 시간의 덩어리(예: 춤의 한 구간 전체를 숨김)를 숨기거나 특정 방향(예: "왼쪽"으로 가는 동작만 숨김)을 숨깁니다. 이는 로봇이 시간과 방향이 어떻게 연결되어 있는지를 학습하도록 강제합니다. 로봇은 지금 팔을 왼쪽으로 움직인다면, 나중에 팔을 위로 올려야 한다는 것을 배우게 됩니다.

실제로 효과가 있었나요?

연구진은 이 방식을 두 가지 주요 로봇 시뮬레이션 환경인 LIBERO와 CALVIN에서 테스트했습니다.

결과: LIBERO 테스트에서, 이 아주 작은 로봇 뇌(매개변수 단 0.5십억 개—다른 모델들에 비해 매우 작음)는 **95.7%**의 성공률을 달enc성했습니다. 이는 엄청난 결과입니다! 이 모델은 19배나 더 강력한 지능을 가진 훨씬 크고 무거운 모델들을 이겼습니다.
장기 수행 능력: 일련의 작업들을 연속적으로 수행해야 하는 CALVIN 테스트에서, 이 방식은 평균 4.19 단계의 연속 동작을 완수하며 7십억 개의 매개변수를 가진 거대 모델들조차 앞질렀습니다.
실제 환경: 연구진은 여기서 멈추지 않고, 실제 세계에서 사과 놓기, 티슈 뽑기, 팬 뒤집기 등의 작업을 수행하도록 로봇을 투입했습니다. 실제 실험에서도 이 새로운 방식은 다른 최상위 로봇들을 지속적으로 능가하며, 실제 세계의 무질서하고 예측 불가능한 상황을 처리할 수 있음을 보여주었습니다.

이 논문이 말하지 않는 것

이 논문이 주장하지 않는 바를 아는 것도 중요합니다. 저자들은 자신들이 특정 자원 제한 조건(단일 고성능 그래픽 카드 사용) 하에서만 테스트했음을 주의 깊게 밝히고 있습니다. 이 방식이 세상의 모든 로봇 문제를 해결하는 최종 정답이라고 주장하는 것이 아닙니다. 또한, 아직 방대한 양의 무제한 학습 데이터를 사용하여 테스트하지 않았으므로, 더 많은 자원을 투입했을 때 어떻게 성능이 변할지에 대해서는 여전히 탐구할 여지가 남아 있습니다.

하지만 현재까지의 증거는 로봇의 움직임을 단순한 단어의 직선이 아닌 2D 퍼즐로 다루는 것이, 작은 로봇을 크고 똑똑한 로봇처럼 행동하게 만드는 강력한 방법이라는 점을 시사합니다. 이는 로봇에게 "하나, 둘, 셋" 하고 숫자를 세며 춤을 가르치는 것이 아니라, 전체 안무를 보여주고 빈칸을 채우도록 가르치는 것과 같습니다.

기술 요약: TS-Mask VLA

문제 정의

Vision-Language-Action (VLA) 모델은 체화된 에이전트(embodied agents)가 자연어 지시와 시각적 관찰을 이해하여 실행 가능한 동작을 생성할 수 있도록 하는 것을 목표로 한다. 최근의 발전은 자기회귀(autoregressive) 토큰 기반 생성과 연속적 확산(continuous diffusion) 방식을 통해 발전을 이끌어왔으나, 다음과 같은 중대한 한계점이 남아 있다:

자기회귀 패러다임: 동작 생성을 다음 토큰 예측으로 취급하는 방식은 동작 시퀀스의 시공간적 구조를 명시적으로 모델링하지 못하며, 시각-언어 표현과 동작 제어 정책 간의 분리(disentangle)에 실패하는 경우가 많다.
연속적 확산: 연속적인 궤적을 위해 반복적인 디노이징(denoising)을 사용하는 방식은 긴 호라이즌(long horizons)에서 불안정성을 겪을 수 있으며, 로봇 동작에 내재된 시간-공간적 상관관계를 명시적으로 모델링하는 데 어려움을 겪는다.
확장성 대 성능: 기존의 고성능 모델들은 종종 대규모 파라미터 규모(예: 7B–8.5B)를 요구하며, 이는 자원이 제한된 환경에서의 효율성과 배포 가능성에 대한 우려를 낳는다.

저자들은 효과적인 VLA 모델이 (i) 시각-언어 표현과 더 명확한 조건부 결합(conditional decoupling)을 연결하는 전용 동작 전문가(action expert)를 필요로 하며, (ii) 견고한 일반화를 위해 구조적 의존성을 명시적으로 모델링하는 동작 이산화(action discretization)가 필요하다고 주장한다.

방법론: TS-Mask VLA

제안된 TS-Mask VLA는 2D 시공간 마스킹 전략과 효과적인 시각-언어 조건부 결합을 통합한 이산형(discrete) VLA 프레임워크이다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있다:

1. 멀티모달 VLM 인코딩

시스템은 시각적 관찰(제3자 시점 및 손목 카메라로부터)과 텍el 지시를 인코딩하기 위해 경량 VLM 백본(Qwen2.5-0.5B)을 활용한다.

특징 추출: 시각적 특징은 DINOv2와 SigLIP를 사용하여 추출되며, MLP를 통해 언어 임베딩 공간으로 투영된다.
계층 정렬 조건부 결합(Layer-Aligned Conditioning): 최종 레이어에만 의존하는 대신, 모든 $L$ 개의 트랜스포머 레이어에서 은닉 상태(hidden states)를 추출한다. 이러한 특징들은 학습 가능한 동작 쿼리(Action Query, AQ) 토큰과 함께 동작 전문가에게 주입되어, 미세한 공간적 세부 사항부터 고수준의 의미론에 이르는 다단계 가이드를 제공한다.

2. 이산 확산 동작 전문가 (Discrete Diffusion Action Expert)

전용 모듈은 다층 VLM 은닉 상태를 조건으로 하여 이산 동작 토큰을 생성한다.

브릿지 어텐션 (Bridge Attention): 세 가지 정보 스트림을 융합하는 새로운 어텐션 메커니즘을 사용한다:
- Self tokens: 동작 내부의 시간적 의존성을 모델링하는 현재 동작 표현.
- AQ tokens: VLM으로부터 오는 동작 중심의 조건부 신호.
- Task tokens: 외부 작업 제약을 제공하는 시각-언어 특징.
- 학습 가능한 게이팅 스칼라(gating scalar)가 초기 학습 단계에서 과도한 조건부 결합을 방지하기 위해 태스크 브랜치를 조절한다.
균등 양자화 토크나이제이션 (Uniform Quantized Tokenization): 연속적인 동작은 VQ-VAE 대신 균등 양자화(256개 빈)를 사용하여 토큰으로 이산화된다. 이는 VQ-VAE에서 흔히 발견되는 시간적 의존성 및 차원 간 결합의 강한 압축을 피하여, 미세한 시공간 정보를 보존한다.

3. 시공간 2D 마스킹 전략

기존의 1D 랜덤 마스킹과 달리, TS-Mask VLA는 이산화된 동작 토큰을 $T \times D$ 2D 그리드(시간 단계 $\times$ 동작 차원)로 구성하고 2단계 마스킹 전략을 적용한다:

시간적 마스킹 (Temporal Masking): 전체 시간 프레임을 무작위로 선택하고 그 안의 모든 동작 차원을 마스킹하여, 모델이 시간 간 의존성을 포착하도록 유도한다.
공간적 마스킹 (Spatial Masking): 마스킹되지 않은 나머지 프레임 내에서 동작 토큰의 무작위 하 subset을 마스킹하여, 미세한 구조적 섭동(perturbations)을 도입하고 동작 내부의 모델링을 강화한다.
학습 및 추론:
- 학습: 모델은 시각-언어 조건부 결합 하에서 크로스 엔트로피 손실을 통해 마스킹된 토큰을 복구하는 법을 배운다. 학습과 테스트 간의 불일치를 완화하기 위해 백필(backfilled) 시퀀스 상에서 재예측을 수행하는 "스텝 언롤(Step Unroll)" 손실이 도입된다.
- 추론: 완전히 마스킹된 2D 그리드에서 시작한다. 모델은 토큰 분포를 반복적으로 예측하고, 신뢰도가 높은 예측은 유지하면서 낮은 신뢰도의 예측은 다시 마스킹하는 ReMask 절차를 적용한다. 이를 통해 동작 시퀀스가 완전히 결정될 때까지 점진적 정밀화(coarse-to-fine refinement) 과정을 거친다.

주요 기여

이산 확산 동작 전문가: VLM으로부터 계층적으로 정렬된 다층 조건부 결합을 주입하는 브릿지 어텐션 메커니즘을 갖춘 모듈을 통해, 더욱 효과적이고 안정적인 동작 생성을 가능하게 한다.
시공간 2D 마스킹: 이산 동작 토큰을 위한 새로운 전략으로, 시간 간 의존성과 차원 간 결합을 명시적으로 강화하여 구조적으로 일관된 동작 시퀀스를 생성한다.
효율적 성능: 이 프레임워크는 최첨단 베이스라인들에 비해 현저히 작은 모델 규모(0.5B 파라미터)를 사용하여 다양한 벤치마크에서 높은 성공률을 달 Achieves 한다.

실험 결과

저자들은 두 가지 표준 시뮬레이션 벤치마크(LIBERO 및 CALVIN)와 실제 환경 작업에서 TS-Mask VLA를 평가하였다.

LIBERO 벤치마크: TS-Mask VLA는 단 0.5B 파라미터만으로 평균 성공률 **95.7%**를 달성했다. 이는 FlowVLA (8.5B, 88.1%) 및 OpenVLA (7B, 76.5%)를 포함한 훨씬 더 큰 모델들을 크게 능가하며, 강력한 3B 베이스라인인 $\pi_0$ (94.2%)보다도 높다.
CALVIN 벤치마크: 모델은 모든 7B 규모 모델(예: OpenVLA-OFT, 4.10)을 앞지르는 4.19의 최고 평균 시퀀스 길이를 기록했다. 또한, 5개 작업 완료율을 OpenVLA의 43.5%에서 66.9%로 높이며 우수한 장기 호라이즌(long-horizon) 성능을 입증했다.
실제 환경 작업: 사과 놓기, 티슈 당기기, 팬 뒤집기 등의 작업을 수행하는 UR5e 암을 이용한 물리적 실험에서, TS-Mask VLA는 목표 위치 변화 및 배경 변화 상황에서도 OpenVLA-OFT 및 $\pi_0$ 를 지속적으로 능가하며 강력한 일반화 능력을 보여주었다.
절제 연구 (Ablation Studies):
- 2D 마스킹 전략은 장기 호라이즌 데이터셋인 LIBERO-Long에서 1D 마스킹 대비 성공률을 6.6% 향상시켰다.
- 최적의 Step Unroll 강도( $\lambda=0.5$ )는 언롤을 적용하지 않았을 때보다 성능을 4.6% 개선했으나, 과도한 언롤( $\lambda=1.0$ )은 오히려 성능을 저하시켰다.

의의

본 논문은 파라미터 효율성과 구조적 모델링이 단순한 모델 규모보다 우선될 수 있음을 TS-Mask VLA를 통해 입증한다. 이산 확산과 2D 마스킹을 통해 동작의 시공간적 구조를 명시적으로 모델링함으로써, 이 프레임워크는 "작은" 백본을 사용하여 장기 호라이즌 및 복잡한 시나리오에서 최첨단 성능을 달성한다. 저자들은 로봇 제어의 본질과 구조적으로 정렬된 동작 생성 패러다임이 제공된다면, 거대한 파라미터 수에 의존하지 않고도 견고한 로봇 조작을 달성할 수 있음을 보여줌으로써 실질적인 배포 가능성을 향한 진전을 제시한다.