💻 computer science

Latency-Tolerant Cloud-Edge Collaborative Vision-Language-Action Models via Emergent Representational Specialization

이 논문은 클라우드 인코더가 견고하고 느리게 변화하는 태스크 특징을 생성하도록 훈련시키고 경량화된 에지 헤드가 이를 실시간 로컬 관측값과 통합하게 함으로써, 기존 방식들이 실패하는 상당한 네트워크 지연 상황에서도 높은 성공률을 달성하여 시각-언어-행동(Vision-Language-Action) 모델의 지연 시간-제어 갈등을 해결하는 클라우드-에지 협업 프레임워크인 CloudEdgeVLA를 소개한다.

원저자: Daojie Peng, Fulong Ma, Bingtao Wang, Sheng Wang, Jun Ma

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Daojie Peng, Fulong Ma, Bingtao Wang, Sheng Wang, Jun Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 단순히 서투른 금속 상자가 아니라, 당신의 목소리를 이해하고, 인간처럼 세상을 보며, 실제로 우리를 위해 무언가를 할 수 있는 유능한 동반자가 되는 세상을 상상해 보세요. 이것이 바로 '시각-언어-행동(Vision-Language-Action, VLA)' 모델의 꿈입니다. 이 모델들을 당신의 방대한 지식 창고(언어), 날카로운 눈(시각), 그리고 손(행동)이 결합된 로봇의 두뇌라고 생각해보세요. 문제는 이 두뇌들이 너무나 거대하다는 점입니다. 너무 크고 무거워서 배터리로 작동하는 작은 로봇 안에 담을 수가 없습니다. 그래서 과학자들은 이 두뇌를 나누려고 시도합니다. 무거운 사고 과정은 멀리 떨어진 강력한 '클라우드' 컴퓨터에서 수행하고, 로봇은 자신의 몸체에 작고 빠른 반사 신경 시스템을 유지하는 방식입니다.

하지만 여기 문제가 있습니다. 클라우드는 너무 멀리 있고, 메시지를 주고받는 데는 시간이 걸립니다. 만약 로봇이 클라우드로부터 "컵을 집어라"라는 명령이 올 때까지 기다린다면, 그 사이 컵은 이미 떨어졌거나 로봇은 이미 움직여 버렸을지도 모릅니다. 이는 마치 컨트롤러가 지구 반대편의 서버에 연결된 비디오 게임을 하는 것과 같습니다. 당신의 '점프' 명령이 도착했을 때, 당신은 이미 절벽 아래로 떨어졌을 것입니다. 여기서 핵심적인 질문은 이것입니다: 어떻게 하면 로봇이 거대한 클라우드 두뇌를 사용하면서도, 멈춰 서지 않고 현실 세계에 빠르게 반응할 만큼 민첩하게 만들 수 있을까요?

이것이 바로 CloudEdgeVLA를 개발한 연구진이 해결하고자 했던 과제입니다. 그들은 기존의 로봇 두뇌 분할 시도들이 실패했던 이유를 깨달았습니다. 기존 방식들은 클라우드와 로봇이 완벽하게 동기화되도록 강제하려 했기 때문인데, 인터넷이 느리거나 불안정한 상황에서는 그것이 불가능하기 때문입니다. 대신 그들은 로봇의 두뇌가 지연 현상에 '대응하며 함께 작동하도록' 가르치기로 했습니다.

이들의 새로운 시스템이 어떻게 작동하는지 간단한 비유를 들어 설명하겠습니다. 로봇이 배달 기사이고, 클라우드가 멀리 떨어진 탑에 앉아 있는 현명하고 노련한 내비게이션 전문가라고 상상해 보세요. 기존 방식에서는 기사가 매 초마다 전문가가 외치는 새로운 방향 지시를 기다려야 했습니다. 만약 바람이 전문가의 목소리를 흩뜨려 놓으면(네트워크 지연), 기사는 그냥 가만히 서서 기다리거나 오래된 지시에 근거해 엉뚱한 추측을 하며 움직이게 됩니다.

CloudEdgeVLA는 이 관계를 변화시킵니다. 클라우드 전문가는 "지금 당장 왼쪽으로 돌아"와 같은 시간 민감한 구체적인 명령을 외치지 않습니다. 대신 전문가는 "곰 인형을 상자 안에 넣으려고 한다"와 같이 천천히 변하는 '미션 브리프(임무 요약)'를 보냅니다. 이 미션 브리프는 몇 초 늦게 확인하더라도 크게 변하지 않는 지도와 같습니다. 한편, 로봇 기사는 '지금 이 순간'의 세상을 보는 자신만의 눈(에지 시스템)을 가지고 있습니다. 기사는 클라우드로부터 받은 미션 브리프를 보고 목표를 파악하지만, 물웅덩이나 움직이는 장애물을 피하기 위해 손을 어떻게 움직일지는 자신의 신선한 눈을 통해 스스로 결정합니다.

이 팀이 학습하는 방식에서 마법이 일어납니다. 연구진은 단순히 로봇에게 명령을 따르는 법을 가르친 것이 아니라, '오래된(stale)' 정보를 다루는 법을 가르쳤습니다. 훈련 과정에서 그들은 로봇에게 어떤 장면의 사진을 보여준 뒤, 몇 초 후의 똑같은 장면을 보여주면서, '과거 사진의 지시'를 사용하여 '현재 순간'의 행동을 수행하도록 했습니다. 이는 마치 음악이 지연되는 상황에서 춤을 연습하는 것과 같습니다. 당신은 리듬(클라우드의 계획)을 일정하게 유지하면서도, 발(로봇의 로컬 시각)을 이용해 실제 바닥의 질감에 즉각적으로 적응하는 법을 배우는 것입니다.

결과는 인상적입니다. 블록을 쌓거나 물체를 옮기는 등 다양한 작업을 수행해야 하는 LIBERO 테스트 시리즈에서, 이 새로운 시스템은 클라우드 신호가 무려 40스텝(또는 프레임)이나 뒤처지는 상황에서도 계속 작동했습니다. 완벽한 동기화를 시도했던 다른 시스템들이 거의 0%에 가까운 성공률로 무너졌던 반면, CloudEdgeVLA는 63.8%에서 78.0% 사이의 성공률을 유지했습니다. 지연 시간이 엄청나더라도 로봇은 멈추지 않았습니다. 그저 자신이 가진 최신 미션 브리프를 활용하며 자신의 눈으로 상황을 조절했습니다.

연구진은 컴퓨터 시뮬레이션뿐만 아니라 실제 로봇 팔을 통해서도 이를 테스트했습니다. 연결에 1000밀리초(1초)의 지연을 추가했을 때, 기존 시스템들은 완전히 실패했지만 CloudEdgeVLA는 여전히 **70%에서 80%**의 성공률을 보였습니다. 이는 지연을 해결해야 할 버그가 아니라 하나의 '학습 문제'로 취급함으로써, 우리는 매우 똑똑하면서도 놀라울 정도로 빠른 로봇을 만들 수 있음을 시사합니다.

요약하자면, 이 논문은 똑똑한 로봇을 만들기 위해 더 빠른 인터넷을 기다릴 필요가 없다는 것을 보여줍니다. 우리는 단지 로봇이 클라우드로부터 장기적인 계획을 경청하면서도, 현재의 순간에 눈을 크게 뜨고 있도록 가르치기만 하면 됩니다. 이는 로봇이 슈퍼컴퓨터에 묶여 있지 않고도, 지능적이면서 동시에 유능하게 작동할 수 있는 미래를 향한 실질적인 진전입니다.

기술 요약: CloudEdgeVLA

문제 정의
수십억 개의 파라미터를 가진 시각-언어-행동(Vision-Language-Action, VLA) 모델을 모바일 로봇에 배포하는 것은 근본적인 시스템적 충돌 문제를 야기한다: 즉, 시맨틱 추론은 클라우드 기반의 GPU 가속으로부터 이득을 얻지만, 폐쇄 루프 제어(closed-loop control)는 저지연의 로컬 응답을 필요로 한다는 점이다. 클라우드 로보틱스는 비용이 많이 드는 인지 및 계획 과정을 오프로딩할 수 있지만, 이는 네트워크 지연(latency), 지터(jitter), 패킷 손실을 유발한다. 기존의 계층적 또는 비동기식 정책(예: 액션 청킹, 다중 속도 실행)은 대개 고정된 주파수 비율, 명시적인 지연 큐(delay cues), 또는 상태 재구성(state reconstruction)에 의존한다. 이러한 방식은 "느린" 경로(클라우드 특징)가 "빠른" 경로(로컬 실행)에 비해 오래된(stale) 상태로 도착할 때 어려움을 겪으며, 이는 액션이 클라우드의 계획 맥락과 더 이상 일치하지 않는 장면에서 실행되는 시간적 불일치(temporal mismatch)를 초래한다. 핵심 과제는 클라우드가 로컬 제어 루프를 차단하지 않으면서도, 가변적이고 알 수 없는 지연에도 불구하고 유용하게 유지될 수 있는 고수준의 태스크 컨텍스트를 제공하는 제어 인터페이스를 설계하는 것이다.

방법론
저자들은 시간적 불일치를 스케줄링 문제가 아닌 표현 학습(representation-learning) 문제로 취급하는 클라우드-엣지 정책인 CloudEdgeVLA를 제안한다. 시스템 아키텍처는 System 1/System 2 비유를 따른다:

시스템 아키텍처:
- 클라우드 측 (System 2): LoRA를 통해 적응된 대규모 VLA 백본( $f_\theta$ )이 시각적 관측값과 언어 지시어를 처리하여 고수준 계획 특징( $h$ )을 생성한다. 결정적으로, 이 백본은 '언제' 할 것인가가 아니라 '무엇을' 할 것인가(태스크 목표, 객체 시맨틱)를 인코딩하도록 설계되어 시간적 불변성(temporal invariance)을 목표로 한다.
- 엣지 측 (System 1): 경량화된 고정형 비전 인코더( $v_\psi$ )가 현재 관측값으로부터 실시간 시각 특징( $z_t$ )을 추출한다. 액션 헤드( $g_\phi$ )는 잠재적으로 오래된 클라우드 특징( $h_{t-k}$ )을 신선한 로컬 비전( $z_t$ )과 융합하여 연속적인 액션을 예측한다. 엣지는 결코 차단되지 않는다; 항상 가장 최근에 수신된 클라우드 특징을 현재의 로컬 비전과 결합하여 사용한다.
쌍 프레임 이중 경로 학습 (Paired-Frame Dual-Path Training):
추론 시 명시적인 지연 메타데이터 없이 가변적인 지연을 처리하도록 시스템을 학습시키기 위해, 저자들은 쌍 프레임 학습 전략을 도입한다:
- 데이터 구축: 주어진 타임 스텝 $t$ 에 대해, 시스템은 "현재" 프레임( $o_t$ )과 "지연된" 프레임( $o_{t-d}$ )을 구성하며, 여기서 $d$ 는 지연 윈도우 내에서 균등하게 샘플링된다.
- 이중 순전파 (Dual Forward Pass): 두 프레임 모두 클라우드 백본을 통과하여 "신선한" 특징( $h_{fresh}$ )과 "오래된" 특징( $h_{stale}$ )을 생성한다.
- 융합 및 감독 (Fusion and Supervision): 두 특징 세트는 동일한 실시간 로컬 비전( $z_t$ )과 융합되어 액션을 예측한다. 두 예측 모두 동일한 지면 진실(ground-truth) 액션 $a_t$ 에 대해 감독된다.
- 손실 함수: 전체 손실은 신선한 경로 손실( $L_{fresh}$ )과 오래된 경로 손실( $L_{stale}$ )을 결합한다. 커리큘럼 학습 방식을 사용하여 오래된 경로의 가중치를 점진적으로 높임으로써, 클라우드 백본이 시간 단계 전반에 걸쳐 태스크 수준의 정보를 보존하는 표현을 학습하도록 강제하고, 동시에 액션 헤드가 상태별 불일치를 교정하기 위해 로컬 비전에 의존하도록 유도한다.

주요 기여

비차단 인터페이스 (Non-Blocking Interface): 클록이나 주파수 정렬을 요구하지 않고, 최신 클라우드 특징을 현재 엣지 비전과 융합하는 경량 비전 증강 액션 헤드를 통한 비동기식 클라우드-엣지 제어의 정식화.
쌍 프레임 이중 경로 학습: 신선한 특징과 지연된 특징을 동일한 액션에 대해 공동으로 감독하는 새로운 학습 목적 함수. 이는 명시적인 불변성 손실 함수 없이도, 클라우드는 태스크 불변적 특징을 학습하고 엣지는 상태 민감적 교정을 학습하는 "창발적 표현 특화(emergent representational specialization)"를 촉진한다.
포괄적 평가: 최대 40 스텝의 균등 관측 지연 조건 하에서 LIBERO 벤치마크(4개 제품군: Spatial, Object, Goal, Long)에 대한 엄격한 평가 및 실제 로봇 검증 수행.

결과

지연 강건성 (Delay Robustness): LIBERO 벤치마크에서 CloudEdgeVLA는 40 스텝( $d_{max}=40$ )의 균등 지연 윈도우에 대해 네 가지 제품군 모두에서 **63.8%에서 78.0%**의 성공률을 유지한다. 반면, 가장 강력한 베이스라인인 VLASH는 최대 **6.4%**를 기록했으며, 단일 경로 베이스라인(OpenVLA, UniVLA)은 **0%**에 가깝게 떨어진다.
절제 연구 (Ablation Studies): 현재 엣지 비전 인코더를 제거하면 지연 상황에서의 성공률이 95.1%에서 31.6%로 급감하며, 이는 실시간 시각적 그라운딩(visual grounding)이 결정적인 요소임을 확인시켜 준다. 이중 경로 학습(신선함 + 오래됨)은 오래된 특징만 사용하는 학습보다 5.9%의 이득을 제공하며, 이는 지연된 특징에 대한 노출이 강건성을 유도함을 입증한다.
실제 로봇 파일럿: 에뮬레이션된 네트워크 지연(최대 1000ms)이 있는 Franka pick-and-place 작업에서, CloudEdgeVLA는 VLASH보다 현저히 우수한 성능을 보인다. 1000ms 지연 시, CloudEdgeVLA는 동적/정적 태스크에서 70~80%의 성공률을 유지하는 반면, VLASH는 완전히 실패한다(0%).
메커니즘 분석: 정량적 분석 결과, CloudEdgeVLA는 20 스텝의 지연에서 표준 OpenVLA-OFT와 비교했을 때 백본 표현 드리프트(representation drift)를 59.2%, 액션 드리프트 전이(action drift transfer)를 72.7% 감소시킨다.

의의 및 주장
본 논문은 CloudEdgeVLA가 클라우드 모델의 성장과 엣지 컴퓨팅 및 네트워크 지연의 제약을 분리함으로써, 확장 가능한 VLA 배포를 위한 실질적인 경로를 제공한다고 주장한다. 지연 허용 능력을 스케줄링 문제가 아닌 학습된 인터페이스 속성으로 프레이밍함으로써, 이 설계는 클라우드 모델이 확장되는 동안 엣지는 경량화되고 반응성을 유지할 수 있게 한다. 저자들은 이 방식이 월드 모델(world models)처럼 현재 상태를 재구성하는 것이 아니라, 엣지에 직접적인 시각 경로를 남겨두어 클라우드가 보완적인 태스크 컨텍스트를 제공할 수 있도록 하는 것이라고 강조한다. 본 연구는 고수준 계획 특징이 표현 학습을 통해 가변적인 지연에 강건하게 만들어질 수 있음을 입증하며, 이를 통해 네트워크ed 로보틱스에서 비차단 제어 루프를 가능하게 한다. 저자들은 테스트된 지연 분포에 대해 강건성이 확립되었으며, 실제 로봇 결과는 광범위한 하드웨어 벤치마크라기보다는 타당성 파일럿임을 언급하며 겸허한 태도를 유지한다.

유사한 논문