🤖 machine learning

DAM-VLA: Decoupled Asynchronous Multimodal Vision Language Action model

이 논문은 동기식 구조의 주파수 제한을 극복하기 위해 각 양상(modality)을 고유의 센서 속도로 처리하는 분리된 비동기식 시각-언어-행동 모델인 DAM-VLA를 소개하며, 이는 100Hz의 반응형 제어를 유지하면서 접촉이 빈번한 실제 환경의 조작 작업에서 강력한 베이스라인 모델들보다 두 배 이상의 성공률을 달성하였다.

원저자: Pankhuri Vanjani, Zhuoyue Li, Jakub Suliga, Moritz Reuss, Gianluca Geraci, Xinkai Jiang, Rudolf Lioutikov

게시일 2026-06-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pankhuri Vanjani, Zhuoyue Li, Jakub Suliga, Moritz Reuss, Gianluca Geraci, Xinkai Jiang, Rudolf Lioutikov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 로봇에게 스카프를 접거나, 버튼을 누르거나, 손을 씻는 것과 같은 섬세한 작업을 수행하도록 가르치려 한다고 상상해 보세요. 이를 위해 로봇은 세상을 "보고", 무엇을 만지고 있는지 "느끼고", 당신의 지시를 "들어야" 합니다.

이 논문은 DAM-VLA라는 새로운 로봇 두뇌를 소개합니다. 여기에는 이 모델이 왜 만들어졌는지, 그리고 어떻게 작동하는지에 대한 이야기를 일상적인 비유를 사용하여 쉽게 설명해 두었습니다.

문제점: "하나의 크기로 통일된" 시계

현재 대부분의 로봇 두뇌는 모든 연주자에게 정확히 같은 속도로 연주하도록 강요하는 엄격한 오케스트라 지휘자처럼 작동합니다.

눈 (시각): 로봇의 카메라는 세상이 천천히 변하는 것을 봅니다. 영화를 보는 것과 같습니다. 장면이 매 밀리초마다 바뀌지는 않습니다.
손 (힘/촉각): 로봇의 센서는 압력과 접촉을 느낍니다. 이것들은 초당 수백 번 발생하는 드럼 비트처럼 매우 빠르게 변화합니다. 만약 단 한 번의 비트를 놓친다면, 달걀을 으깨거나 비누를 미끄러뜨릴 수도 있습니다.
귀 (언어): 지시 사항("손을 씻어라")은 수행되는 동안 계속 동일하게 유지됩니다.

불일치: 현재의 로봇 모델은 이 모든 서로 다른 감각들을 (카메라의 속도와 같은) 동일하고 느린 속도로 업데이트하도록 강제합니다.

결과: 로토는 방금 본 시각적 정보에 과도하게 몰두하여 에너지를 낭비하는 동시에, 갑작스러운 접촉이나 미끄러짐에는 너무 느리게 반응하게 됩니다. 이는 마치 무겁고 느릿한 슬로 모션 안경을 쓴 채 날아가는 총알을 잡으려는 것과 같습니다.

해결책: DAM-VLA ( "분리된" 두뇌)

저자들은 로봇의 두뇌를 생각하는 새로운 방식을 제안합니다: 각각의 감각이 자신만의 자연스러운 시계에 따라 작동하게 하는 것입니다.

DAM-V-LA를 한 사람이 모든 일을 한꺼번에 처리하려는 것이 아니라, 스마트한 주방 팀이라고 생각해 보세요:

시각 셰프 (느리고 꾸준함): 이 팀원은 장면이 실제로 변할 때만 방의 "정신적 지도"를 업데이트합니다. 매 밀리초마다 업데이트를 외칠 필요가 없습니다.
촉각 조수 (빠르고 반응적임): 이 팀원은 높은 경계 태세를 유지하며, 초당 수백 번의 진동과 압력 변화를 느낍니다. 무언가 잘못되었다고 느껴지면 즉시 소리칩니다.
매니저 (액션 헤드): 이것은 실제로 로봇의 팔을 움직이는 부분입니다. 매니저는 시각 셰프가 느린 보고를 마칠 때까지 기다리는 대신, 즉각적인 안전 점검을 위해 촉각 조수의 목소리에 끊임없이 귀를 기울이며 시각 셰프의 지도를 뒷주머니에 넣어두고 활용합니다.

어떻게 작동하는가 (마법 같은 기술들)

이 논문은 이 방식이 작동하게 만드는 세 가지 주요 "기술"을 강조합니다:

별도의 공책 (잠재 버퍼 - Latent Buffers):
모두가 동시에 글을 쓰는 하나의 거대한 공책 대신, 각 감각은 자신만의 공책을 가집니다. 카메라는 4초마다 새 페이지를 쓰고, 힘 센서는 매 밀리초마다 한 줄을 씁니다. 로봇의 두뇌는 다른 감각들이 따라잡기를 기다리지 않고도 필요할 때 언제든 이 공책들을 읽을 수 있습니다.
"스마트 게이트" (게이트형 교차 주의 - Gated Cross-Attention):
로봇은 어떻게 혼란 없이 이 서로 다른 속도들을 섞을 수 있을까요? 클럽 입구의 보안 요원을 상상해 보세요.

로봇이 주변을 둘러보고 있을 때는 "시각 게이트"가 열려 시각적 기억이 들어오도록 허용합니다.
로봇이 무언가를 만지면 "힘 게이트"가 즉시 열려 압력 데이터가 들어오도록 합니다.
결정적으로, 이 게이트는 스마트합니다. 로봇은 언제 정보를 받아들이고 언제 무시해야 할지 알고 있으며, 따라서 정보 과부하에 빠지지 않습니다. 이 게이트는 새로운 정보를 전체 계획을 처음부터 다시 쓰는 것이 아니라, 기존 계획에 대한 "수정 사항"으로 추가합니다.

더 이상의 "버벅임" 없음:
기존의 로봇들은 다음 행동을 결정하기 위해 느린 카메라 업데이트를 기다리느라 멈추거나 덜컥거렸습니다. DAM-VLA는 초당 100회(100 Hz)로 부드럽게 작동하며, 큰 그림을 이해하면서도 촉각에 즉각적으로 반응합니다.

결과: 실제로 효과가 있는가?

연구진은 스카프 접기, 화이트보드 닦기, 레고 조각 끼우기 등 촉각이 필요한 7가지 실제 작업에서 이를 테스트했습니다.

기존 방식 (동기식): 가장 뛰어났던 이전의 로봇은 성공률이 **41%**에 불과했습니다. 정밀한 터치가 필요한 작업(버튼 누르기나 손 씻기 등)에서 목표를 놓치거나 물체를 으깨는 등 자주 실패했습니다.
새로운 방식 (DAM-VLA): 새로운 로봇은 **95%**의 성공률을 보였습니다.
- 단순히 쉬운 작업에서 좋아진 것이 아니라, 기존 로봇들이 완전히 실패했던 어렵고 접촉이 많은 작업들을 완벽히 수행했습니다.
- 기존 모델의 덜컥거리거나 주춤거리는 움직임 없이 부드럽고 빠르게 움직였습니다.

핵심 요약

이 논문은 로봇이 모든 감각을 동일한 느린 박자에 맞춰 행진하게 만드는 것을 멈추고, 대신 각 감각이 자신만의 리듬에 맞춰 춤추게 함으로써 훨씬 더 신뢰할 수 있고, 빠르며, 섬세한 물리적 작업을 더 잘 다룰 수 있게 된다고 주장합니다.

요약하자면: DAM-VLA는 방을 보는 것과 촉감을 느끼는 것이 서로 다른 속도로 일어난다는 점을 마침내 이해하고, 그 차이를 존중하여 의사 결정 과정을 구축한 로봇의 두뇌입니다.

기술 요약: DAM-VLA (Decoupled Asynchronous Multimodal Vision Language Action)

1. 문제 정의

현재의 시각-언어-행동(VLA) 모델은 시각-언어 사전 학습 기반으로부터 물려받은 **동기식 처리 클록(synchronous processing clock)**의 한계를 가지고 있습니다. 이러한 모델에서는 모든 센서 모달리티(시각, 힘-토크, 고유 수용 감각, 언어)가 단일한 고정 타임스텝에서 함께 인코딩되고 처리됩니다. 저자들은 이러한 아키텍처가 물리적 로봇 상호작용과 근본적인 불일치를 생성한다고 주장합니다. 물리적 상호작용에서 센서는 매우 다른 속도와 시간 지평(temporal horizons)을 가집니다:

속도 불일치(Rate Mismatch): 힘-토크(100–500 Hz)와 같은 고주파 신호는 언더샘플링되는 반면, RGB 시각(3–10 Hz)과 같은 저주파 신호는 오버샘플링됩니다.
시간 지평 불일치(Temporal Horizon Mismatch): 접촉 과도 현상(contact transients)과 같은 빠른 신호는 밀리초 단위로 유효하지만, 장면의 레이아웃은 초 단위로 안정적입니다. 동기식 모델은 이러한 뚜렷한 지평을 존중하지 못합니다.
지연 및 중복성(Latency and Redundancy): 동기식 아키텍처는 값비싼 VLM 인코더가 매 단계마다 의미론적으로 동일한 프레임을 다시 처리하도록 강제하여 계산 자원을 낭비합니다. 또한, 행동 생성은 가장 느린 모달리티의 도착에 의해 제한되어, 유효 제어 빈도를 낮추고 지연 시간을 증가시킵니다.

본 논문은 이질적인 센서들을 하나의 통합된 토큰 스트림으로 강제하는 것이 중복된 계산, 교차 모달 속도 불일치, 높은 추론 지연을 초래하며, 결과적으로 접촉이 빈번한 조작 작업에서의 성능을 제한한다고 상정합니다.

2. 방법론: DAM-VLA 아키텍처

저자들은 각 모달리티를 자연스러운 센서 속도에 맞춰 처리하면서도 연속적인 제어 루프를 유지하도록 설계된 디커플링된 비동기 아키텍처인 DAM-VLA를 제안합니다.

핵심 아키텍처 원칙

모달리티별 잠재 버퍼(Per-Modality Latent Buffers): 단일 동기화된 관측 번들 대신, DAM-VLA는 각 모달리티를 위한 독립적인 잠재 버퍼( $Z_m$ )를 유지합니다.
- 시각(Vision): 정적인 장면의 중복 처리를 피하기 위해 주기적으로(예: 4번의 추론 단계마다) 인코딩됩니다. 희소한 업데이트 사이의 문맥을 보존하기 위해 최근의 시각적 임베딩을 담은 롤링 버퍼가 유지됩니다.
- 고주파 모달리티(힘/고유 수용 감각): 전체 제어 빈도(예: 100 Hz)로 업데이트됩니다. 힘 신호는 지수 이동 평균을 통해 평활화(smoothing)된 후, GRU(Gated Recurrent Unit)에 의해 인코딩되어 잠재 토큰 시퀀스로 압축됩니다.
- 언어(Language): 에피소드당 한 번 정적인 지시문으로 인코딩됩니다.
연속적 행동 헤드(Continuous Action Head): 행동 헤드는 제어 빈도(예: 100 Hz)에서 모든 잠재 버퍼로부터 지속적으로 데이터를 읽습니다. 이는 특정 모달리티의 업데이트 주기에 의해 차단되지 않습니다. 만약 특정 모달리티가 업데이트되지 않았다면, 캐싱된 잠재 표현이 재사용됩니다.
게이트형 교차 주의(Gated Cross-Attention, GCA) 통합: 사전 학습된 VLM 백본을 손상시키지 않으면서 새로운 고주파 모달리티를 통합하기 위해, DAM-VLA는 단순한 토큰 결합을 피합니다. 대신, 특정 트랜스포머 블록에 삽입된 병렬 GCA 경로를 사용합니다:
- 시각 메모리 경로(Visual Memory Pathway): 압축된 시각 메모리 토큰을 잔차(residual)로 주입하기 위해 글로벌 게이트(제로 초기화된 스칼라)를 사용합니다. 이를 통해 모델은 사전 학습된 가중치를 방해하지 않으면서 시각적 문맥을 점진적으로 학습할 수 있습니다.
- 추가 모달리티 경로(예: 힘): 평균 풀링된 힘 토큰에 조건화된 입력 의존형 게이트(시그모이드 함수)를 사용합니다. 이를 통해 네트워크는 명시적인 접촉 감지 없이도 힘이 정보가 풍부한 시점(예: 접촉 중)을 학습할 수 있습니다.
- 직교성(Orthogonality): 힘 경로는 메모리 업데이트 전에 행동 토큰을 쿼리하여, 힘 신호가 순수한 가산적 델타(additive delta)를 제공하고 교차 모달 간의 엉킴을 방지하도록 합니다.

학습 및 추론

학습(Training): 모달리티들은 행동 라벨링을 위해 공통 타임라인에 정렬되지만, 시각적 관측은 희소한 센서 속도를 모사하기 위해 스트라이드(stride)를 두어 샘플링되는 반면, 힘은 연속적으로 샘플링됩니다.
추론(Inference): 시스템은 비동기적으로 작동합니다. 시각은 희소하게 업데이트되는 반면, 힘과 고유 수용 감각은 매 제어 단계마다 업데이트됩니다. 행동 헤드는 모든 버퍼로부터 최신 가용 토큰을 지속적으로 읽습니다.

3. 주요 기여

비동기 멀티모달 아키텍처: 각 모달리티가 자신의 자연스러운 센서 속도에 맞춰 업데이트되고 정보를 보유하며, 신호의 유의미한 지평에 맞춘 시간적 문맥 윈도우를 갖는 디커플링된 설계를 도입했습니다.
비동기 표현을 통한 성능 향상: 센서의 자연스러운 정보 구조를 보존하는 것이 성공률 측면에서 동기식 베이스라인을 크게 능가하는 멀티모달 표현을 생성함을 입증했습니다.
추론 지연 감소: 느린 모달리티 업데이트 주기(예: 주기적인 VLM 재인코딩)로부터 행동 생성을 분리함으로써, 정책이 100 Hz의 높은 제어 빈도로 연속적으로 동작할 수 있게 하여 엔드 투 엔드 지연을 줄였습니다.

4. 실험 결과

저자들은 Franka Emika 암을 사용하여 7가지 접촉 집약적 실제 조작 작업(스카프 접기, 화이트보드 닦기, 버튼 누르기, 손 씻기, 소켓 삽입, 쓸기, 레고 배열)에 대해 DAM-VLA를 평가했습니다. 백본으로는 X-VLA가 사용되었습니다.

성능 이득: DAM-VLA는 평균 **95.2%**의 성공률을 달 기록했으며, 이는 가장 강력한 동기식 베이스라인인 X-VLA25(40.95%)보다 두 배 이상 높은 수치입니다.
주파수 스케일링: 단순 주파수 스케일링(디커플링 없이 시각을 100 Hz로 업샘플링한 X-VLA100)은 성능이 21.9%로 저하되었으며, 이는 높은 주파수 자체가 충분하지 않으며 중복 프레임 편향으로 인해 오히려 해로울 수 있음을 확인시켜 줍니다.
절제 연구(Ablation Studies):
- 디커플링 단독 적용 (DAM-VLA/F/M): 단순 스케일링으로 인한 성능 저하를 회복(40.0% vs 21.9%)함으로써 비동기 처리의 아키텍처적 이점을 증명했습니다.
- 모달리티 기여도: 힘을 추가(DAM-VLA/F)하거나 시각 메모리를 추가(DAM-VLA/M)하는 것 각각이 디커플링 베이스라인보다 성능을 개선했습니다. 두 가지를 모두 결합한 전체 모델이 가장 높은 성공률을 달성했습니다.
- 통합 메커니즘: 토큰 결합을 사용하는 베이스라인(X-VLAAF M)은 54.3%에 그쳐 DAM-VLA(95.2%)보다 현저히 낮았습니다. 이는 게이트형 교차 주의(Gated Cross-Attention) 메커니즘이 사전 학습된 표현을 손상시키지 않고 새로운 모달리티를 통합하는 데 결정적임을 보여줍니다.
제어 부드러움: DAM-VLA는 100 Hz에서 부드럽고 반응적인 제어를 유지한 반면, 동기식 베이스라인은 높은 주파수에서 끊기는 동작을 보이거나 실행이 붕괴되었습니다.

5. 의의 및 주장

본 논문은 모달리티별로 시간적 처리를 분리하는 것이 언어 사전 학습에서 물려받은 동기식 클록을 따르는 것보다 멀티모달 로봇 학습을 위한 더 우월한 아키텍처 원칙임을 주장합니다.

실용적 가치: 각 센서가 공유된 속도를 강요받는 대신 자신의 속도에 맞춰 업데이트되도록 하는 것이, 특히 정밀한 접촉과 높은 반응성이 필요한 작업에서 견고한 조작 정책을 구축하는 실용적인 방법임을 결과로 보여줍니다.
효율성: 이 접근 방식은 느린 모달리티를 위한 중복 계산을 제거하는 동시에 고주파 센서를 위한 빠른 역학(dynamics)을 포착합니다.
한계에 대한 겸허한 인정: 저자들은 현재 DAM-VLA가 표현을 구축하는 데 힘을 사용하지만, 이를 통해 � de chunk 내의 행동을 '수정'하는 데까지는 사용하지 못한다는 점(소켓 삽입과 같이 정렬에 극도로 민감한 작업에서 성능을 제한함)을 인정합니다. 또한 비전 측면이 이벤트 기반이 아닌 타이머 기반으로 부분적으로만 디커플링되어 있음을 언급했습니다. 향후 연구는 칟 chunk 중간의 수정을 위해 힘을 사용하고, 장면 변화에 따라 VLM 업데이트를 트리거하는 것을 목표로 합니다.

요약하자면, DAM-VLA는 센서 데이터의 물리적 특성을 존중하는 비동기적 디커플링 아키텍처를 도입함으로써 VLA 모델의 "동기식 불일치" 문제를 해결하였으며, 이를 통해 실제 환경 조작에서 훨씬 높은 성공률과 부드러운 제어를 달성했습니다.