RAPID: Redundancy-Aware and Compatibility-Optimal Edge-Cloud Partitioned Inference for Diverse VLA models

본 논문은 시각적 노이즈와 물리적 연속성 문제를 해결하여 다양한 VLA 모델의 추론 속도를 최대 1.73 배 향상시키고 오버헤드를 5~7% 로 최소화하는 새로운 엣지 - 클라우드 협력 추론 프레임워크 RAPID 를 제안합니다.

핵심

🤖 배경: 로봇은 왜 느릴까? (문제 상황)

상상해 보세요. 로봇이 "바나나를 집어서 파란 그릇에 넣어라"라는 명령을 받았습니다.
이때 로봇의 뇌 (VLA 모델) 는 매우 거대하고 복잡한 두뇌를 가지고 있습니다. 이 두뇌는 **시각 (눈)**과 **언어 (명령)**를 이해하고 **행동 (손 움직임)**을 결정합니다.

하지만 이 거대한 두뇌를 로봇 몸체 (에지 디바이스) 에 모두 넣으면, 계산이 너무 느려서 로봇이 명령을 받자마자 멈칫거리게 됩니다. 반면, 모든 계산을 먼 곳에 있는 슈퍼컴퓨터 (클라우드) 에 맡기면, 데이터가 오가는 통신 시간 때문에 로봇이 너무 늦게 반응합니다.

기존 기술들은 **"눈 (시각)"**을 보고 "이게 위험해 보이니 클라우드에 물어보자"라고 결정했습니다. 하지만 이 방법은 **시각적 잡음 (빛 반사, 배경의 다른 물체 등)**에 너무 민감해서, 실제로는 아무 일도 없는데도 불필요하게 클라우드에 연락을 자주 해서 로봇이 자꾸 멈추는 (Stutter) 문제가 있었습니다.

💡 RAPID 의 핵심 아이디어: "눈" 대신 "몸의 느낌"을 쓰자!

저자들은 로봇의 **눈 (시각)**이 아닌, 로봇의 **몸이 느끼는 감각 (운동 감각)**을 기준으로 클라우드와 로봇 몸체 사이에서 작업을 나누기로 했습니다.

1. 비유: "요리사 (로봇) 와 요리사 보좌관 (클라우드)"

이 시스템을 거대한 식당에 비유해 볼까요?

• 기존 방식 (눈에 의존): 요리사가 "저기 배경에 사람이 지나가네?"라고 놀라면, 바로 보좌관 (클라우드) 에게 "이거 어떻게 하지?"라고 물어봅니다. 하지만 그 사람은 그냥 지나가는 손님일 뿐인데도, 요리사가 계속 멈칫거리며 보좌관에게 연락을 하니까 요리가 느려집니다.
• RAPID 방식 (몸의 감각): 요리사는 손에 들린 접시의 무게나 팔의 움직임을 봅니다.
  • 부드러운 이동 (높은 중복성): 요리사가 빈 접시를 테이블로 가져갈 때는 팔이 부드럽게 움직입니다. 이때는 **로봇 몸체 (에지)**가 혼자서도 충분히 잘 처리할 수 있습니다. (클라우드에 연락 안 함)
  • 중요한 상호작용 (낮은 중복성): 요리사가 바나나를 집거나 그릇에 넣을 때는 손에 힘이 들어가고, 팔의 토크 (회전력) 가 갑자기 변합니다. 이때는 **보좌관 (클라우드)**이 와서 "이제 어떻게 해야 할지" 정밀하게 계산해 줍니다.

2. 핵심 기술 두 가지

① 환경에 상관없는 '안정감' (Compatibility-Optimal)

• 비유: 눈이 어지러워도 (시각적 잡음), 관절의 가속도와 **힘 (토크)**은 변하지 않습니다.
• RAPID 는 로봇이 갑자기 멈추거나 방향을 틀거나, 물체와 부딪힐 때 발생하는 관절의 가속도 변화를 감지합니다. 이는 빛이나 배경과 상관없이 로봇의 실제 상태만 반영하므로, 어떤 환경에서도 안정적으로 작동합니다.

② 불필요한 작업을 아끼는 '효율성' (Redundancy-Aware)

• 비유: 로봇이 "가까이 다가가는" 단계는 지루하고 반복적인 작업입니다. (높은 중복성) 이 때는 클라우드에 물어볼 필요 없이 로봇이 알아서 합니다.
• 하지만 "물건을 잡는" 단계는 매우 중요한 순간입니다. (낮은 중복성) 이때만 클라우드의 힘을 빌립니다.
• RAPID 는 관절의 힘 (토크) 변화를 통해 "지금 중요한 순간인가?"를 실시간으로 판단하여, 불필요한 클라우드 통신을 줄입니다.

🚀 RAPID 가 어떻게 작동할까? (동적 분업 시스템)

RAPID 는 로봇의 속도에 따라 두 가지 감지 방식을 섞어서 사용합니다.

1. 빠르게 움직일 때 (공중 이동): 로봇이 빠르게 이동할 때는 **가속도 (급정거나 급회전)**를 주로 봅니다.
2. 천천히 움직일 때 (작업 수행): 로봇이 천천히 물건을 잡을 때는 **토크 (힘의 변화)**를 주로 봅니다.

이 두 가지를 섞어서 **"Action Importance Score (행동 중요도 점수)"**를 매깁니다. 점수가 높으면 클라우드에, 낮으면 로봇이 직접 처리합니다. 이 모든 과정은 로봇이 멈추지 않고 실시간으로 계산합니다.

📊 결과: 얼마나 빨라졌을까?

실험 결과, RAPID 는 기존 방식보다 최대 1.73 배 더 빨라졌습니다.

• 속도: 로봇이 명령을 받고 움직이기까지 걸리는 시간이 크게 단축되었습니다.
• 비용: 클라우드에 보내는 데이터 양은 줄였지만, 정확도는 오히려 15.8% 향상되었습니다.
• 부담: 로봇 몸체에 추가된 계산 부담은 **5~7%**에 불과하여, 기존 로봇에도 쉽게 적용할 수 있습니다.

📝 한 줄 요약

RAPID는 로봇이 "눈"으로 주변 소음을 보고 당황하는 대신, **"몸이 느끼는 힘과 가속도"**를 통해 **"지금 중요한 순간인가?"**를 정확히 판단합니다. 중요한 순간에만 클라우드의 힘을 빌리고, 평상시에는 로봇 스스로 빠르게 움직이게 하여 로봇의 속도와 정확도를 동시에 잡은 혁신적인 기술입니다.

기술 요약

1. 문제 정의 (Problem)

시각 - 언어 - 행동 (VLA, Vision Language Action) 모델은 embodied intelligence(구체적 지능) 의 핵심이지만, 방대한 파라미터로 인해 엣지 디바이스에서의 추론 속도가 느려 로봇 제어의 실시간 요구사항을 충족하지 못합니다. 이를 해결하기 위해 엣지 - 클라우드 협업 (ECC, Edge-Cloud Collaborative) 추론이 제안되었으나, 기존 방식은 VLA 모델에 적합하지 않은 두 가지 주요 한계를 가집니다.

1. 시각적 노이즈에 대한 취약성 (Compatibility Issue): 기존 동적 분할 전략은 주로 시각적 특징 (예: 행동 분포의 엔트로피) 을 기반으로 클라우드 오프로딩을 결정합니다. 그러나 환경의 시각적 노이즈나 방해 요소가 발생하면 오프로딩이 불필요하게 자주 트리거되어 통신 오버헤드가 증가하고, 물리적 행동의 연속성이 깨지는 문제가 발생합니다.
2. 단계별 중복성 (Step-wise Redundancy) 무시: embodied 작업은 '접근 단계 (smooth approach)'와 '중요한 상호작용 단계 (critical interaction)'로 나뉩니다. 접근 단계에서는 행동이 상대적으로 중복적 (redundant) 이고 중요도가 낮으나, 기존 방식은 이를 고려하지 않아 엣지에서 불필요한 계산을 수행하거나 클라우드를 과도하게 호출하여 시스템 효율성을 저하시킵니다.

2. 방법론 (Methodology)

저자들은 RAPID라는 새로운 ECC 추론 프레임워크를 제안합니다. 이 프레임워크는 시각적 입력 대신 운동학적 (Kinematic) 특징을 활용하여 엣지와 클라우드 간의 작업을 동적으로 분할합니다.

핵심 설계 요소:

• 운동학적 기반 분할 (Kinematic-based Partitioning):

  • 호환성 최적화 (Compatibility-Optimal): 시각적 노이즈에 영향을 받지 않는 **관절 가속도 (Joint Acceleration)**를 사용하여 비선형적인 운동 변화 (급정거, 방향 전환, 충돌 회피 등) 를 감지합니다. 이를 통해 작업 전환 시점을 정확히 파악합니다.
  • 중복성 인식 (Redundancy-Aware): **관절 토크 (Joint Torque)**의 변동을 분석합니다. 부드러운 접근 단계에서는 토크 변화가 작아 (고중복성) 엣지에서 실행하고, 중요한 물리적 상호작용 (그립, 접촉 등) 단계에서는 토크가 급격히 변해 (저중복성) 클라우드에서 처리하도록 분할합니다.
  • 통찰: 운동학적 특징은 시각적 노이즈에 면역이며, 행동의 중요도 (Attention weight) 와 높은 상관관계를 가집니다.

• 동적 이중 임계값 융합 메커니즘 (Dynamic Dual-Threshold Fusion):

  • 단순히 가속도나 토크 임계값을 넘으면 분할하는 것이 아니라, 로봇의 **실시간 상태 (속도)**에 따라 두 지표의 가중치를 동적으로 조절합니다.
  • 고속 이동 시: 가속도 (Kinematic mutation) 가 중요하므로 가속도 기반 점수에 높은 가중치를 부여합니다.
  • 저속 조작 시: 토크 (Kinetic interaction) 가 중요하므로 토크 기반 점수에 높은 가중치를 부여합니다.
  • 이를 통해 Action Importance Score를 산출하고, 이를 기반으로 엣지/클라우드 분할을 결정합니다.

• 시스템 최적화:

  • 비동기 멀티 레이트 처리: 저수준 센서 (500Hz) 와 고수준 추론 (20Hz) 을 분리하여 오버헤드를 최소화합니다.
  • 조작 및 쿨다운 (Preemption & Cooldown): 클라우드 오프로딩이 트리거되면 현재 캐시된 행동 조각을 폐기하고 새로운 것을 요청하며, 네트워크 폭주를 방지하기 위해 쿨다운 타이머를 적용합니다.

3. 주요 기여 (Key Contributions)

1. 운동학적 특징의 강건성 규명: 시각적 노이즈에 민감한 기존 방식과 달리, 운동학적 특징 (가속도, 토크) 이 환경 변화에 강건하며 행동의 단계별 중복성과 높은 상관관계를 가진다는 것을 실험적으로 증명했습니다.
2. RAPID 프레임워크 제안: 위 통찰을 바탕으로, 운동학적 특징을 분할 트리거로 활용하고 동적 가중치 조절을 통해 최적의 엣지 - 클라우드 협업 전략을 구현한 시스템을 개발했습니다.
3. 성능 검증: 다양한 시뮬레이션 및 실제 물리적 환경 (LIBERO 벤치마크 등) 에서 기존 방식 (Edge-Only, Cloud-Only, Vision-based 분할) 대비 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

• 추론 속도 향상: 기존 비전 기반 분할 방식 (SAFE/ISAR) 대비 최대 1.73 배 (약 1.73×) 의 추론 속도 향상을 달성했습니다.
  • 실제 환경에서 총 지연 시간 (Latency) 을 414.1ms (기존 비전 기반) 에서 239.7ms로 단축했습니다.
• 정확도 및 안정성: 시각적 노이즈 환경에서도 행동 중단 (Interruption) 이 거의 발생하지 않아 정확도가 최대 15.8% 향상되었습니다.
• 낮은 오버헤드: 동적 분할을 위한 추가 계산 및 메모리 오버헤드는 전체 시스템의 **5% ~ 7%**에 불과하여 엣지 디바이스의 리소스 부담을 최소화했습니다.
• 리소스 분배: 엣지 디바이스의 메모리 부하를 2.4GB 수준으로 유지하면서도 클라우드의 처리 능력을 효과적으로 활용했습니다.

5. 의의 및 결론 (Significance)

RAPID 는 embodied AI 시스템의 실시간 제어 문제를 해결하기 위해 시각적 입력에 의존하지 않는 새로운 패러다임을 제시합니다.

• 환경 적응성: 시각적 노이즈가 심한 실제 환경에서도 로봇의 물리적 상태 (운동학) 에 기반하여 안정적으로 작동합니다.
• 효율성: 작업의 중요도에 따라 계산 부하를 지능적으로 분배하여, 엣지 디바이스의 제한된 자원을 효율적으로 사용하면서도 클라우드의 강력한 연산 능력을 적재적소에 활용합니다.
• 미래 연구 방향: 본 연구는 VLA 모델의 엣지 - 클라우드 분할에 있어 '운동학적 (Kinematic)' 지표의 중요성을 부각시켰으며, 향후 더 복잡한 embodied 작업에 대한 최적화 연구의 기초를 마련했습니다.

요약하자면, RAPID 는 시각적 노이즈에 강인하고, 작업 단계별 중복성을 고려한 운동학적 기반의 동적 분할 전략을 통해 로봇 제어의 실시간성과 효율성을 획기적으로 개선한 혁신적인 프레임워크입니다.