KineVLA: Towards Kinematics-Aware Vision-Language-Action Models with Bi-Level Action Decomposition

1. 문제 정의 (Problem)

기존의 비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델들은 주로 목표 지향적 (Goal-oriented) 인 로봇 조작에 중점을 두어 왔습니다. 즉, "병을 서랍에 넣는다"와 같은 고수준의 작업 목표를 달성하는 데는 탁월한 성능을 보이지만, 자연어 명령에 포함된 미세한 운동학적 (Kinematic) 세부 사항 (방향, 궤적, 자세, 상대적 변위 등) 에는 둔감한 한계가 있었습니다.

• 핵심 문제: 기존 모델은 동일한 작업 목표 (예: 와인병을 선반에 놓기) 에 대해 다양한 운동학적 제약 (라벨이 앞/뒤/좌/우를 향하게 하기, 특정 각도로 잡기 등) 이 주어지더라도 이를 구별하지 못하고 고정된 궤적을 생성하는 경향이 있습니다.
• 필요성: 실제 인간 - 로봇 상호작용에서는 목표는 동일하더라도 실행 궤적과 끝단 (End-effector) 의 운동 방식이 명확한 운동학적 지시에 따라 달라져야 합니다. 이를 해결하기 위해 목표 불변성 (Goal Invariance) 과 운동학적 가변성 (Kinematics Variability) 을 동시에 처리할 수 있는 새로운 패러다임이 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 KineVLA라는 새로운 프레임워크를 제안하며, 이는 이중 레벨 행동 분해 (Bi-Level Action Decomposition) 와 이중 레벨 추론 토큰 (Bi-Level Reasoning Tokens) 을 핵심으로 합니다.

A. 이중 레벨 행동 표현 (Bi-Level Action Representation)

기존의 단일 레벨 벡터 양자화 (Vector Quantization) 방식의 한계를 극복하기 위해, 로봇 행동을 두 개의 상호 보완적인 잠재 공간으로 분해합니다.

1. 목표 레벨 (Goal-level, Coarse-grained): 저주파수 구조와 작업의 전반적인 목표를 포착하는 코드북 (Codebook).
2. 운동학적 레벨 (Kinematics-level, Fine-grained): 방향, 거리, 속도, 접촉 시점 등 정밀한 운동 매개변수와 고주파수 보정을 인코딩하는 코드북.

• 구현: 잔차 벡터 양자화 변이 오토인코더 (RVQ-VAE) 를 기반으로 한 이중 레벨 RVQ-VAE를 학습합니다. 1 단계에서는 광범위한 데이터로 목표 레벨을 학습하고, 2 단계에서는 운동학적 세부 사항이 풍부한 데이터로 운동학적 레벨을 미세 조정 (Fine-tuning) 하여 정밀한 제어를 가능하게 합니다.

B. 이중 레벨 추론 토큰 (Bi-Level Reasoning Tokens)

언어 명령과 행동 간의 정렬을 명확히 하기 위해 체인 오브 씽킹 (Chain-of-Thought, CoT) 스타일의 추론 토큰을 도입합니다.

• 구조: 모델은 텍스트 추론과 행동 토큰을 동시에 생성합니다.
  • Coarse Reasoning: 일반적인 작업 목표 설명.
  • Fine Reasoning: 운동학적 제약 조건 (예: "병의 목을 잡기", "라벨이 왼쪽을 향하게 하기") 을 명시.
• 목적: 추론 토큰은 단순한 계획이 아니라, 언어 명령의 운동학적 세부 사항을 행동 생성에 명시적으로 연결하는 지도된 중간 변수 (Supervised Intermediate Variables) 역할을 합니다.

C. 상호 정보 정규화 (Mutual Information Regularization)

생성된 추론 텍스트와 실제 행동 간의 일관성을 보장하기 위해 조건부 상호 정보 (Conditional Mutual Information) 를 최대화하는 정규화 항을 손실 함수에 추가합니다. 이는 추론이 실제 운동 의도를 올바르게 반영하도록 강제하여 실행 오차를 줄입니다.

3. 주요 기여 (Key Contributions)

1. 새로운 작업 정의: 목표는 동일하지만 운동학적 실행 궤적이 다양한 운동학적 풍부 (Kinematics-Rich) 조작 작업을 정의하고, 이를 위한 데이터셋을 구축했습니다.
2. KineVLA 모델 개발: 목표와 운동학을 분리하여 학습할 수 있는 이중 레벨 벡터 양자화 행동 표현과 이중 레벨 추론 토큰을 포함한 VLA 모델을 제안했습니다. 이는 해석 가능하고 운동학적에 민감한 제어를 가능하게 합니다.
3. 대규모 데이터셋 구축: 시뮬레이션 (LIBERO) 과 실제 로봇 (Realman-75) 환경에서 수집된 3 개의 새로운 데이터셋 (총 378K 프레임) 을 공개했습니다. 이 데이터셋은 객체 부분, 행동 제약, 목표 관계 등을 세밀하게 주석 (Annotation) 한 운동학적 풍부 명령과 이중 레벨 추론 텍스트를 포함합니다.

4. 실험 결과 (Results)

LIBERO 벤치마크와 Realman-75 실제 로봇을 이용한 실험을 통해 다음과 같은 결과를 도출했습니다.

• 성능 우위: 기존 VLA 모델 (OpenVLA, $\pi$0.5, VQ-VLA 등) 과 비교하여, 운동학적 성공률 (Kinematics Success Rate) 에서 KineVLA 가 압도적으로 높은 성능을 보였습니다. 기존 모델들은 목표 달성률은 비슷했으나, 미세한 운동 지시를 따르는 데 실패하는 경향이 있었습니다.
• 추론 토큰의 중요성: 추론 토큰을 무작위로 치환하거나 제거하는 인터벤션 실험에서 운동학적 성공률이 급격히 하락 (약 20~25%p 감소) 하여, 추론 토큰이 운동학적 제약 조건을 행동에 연결하는 데 필수적임을 입증했습니다.
• 효율성: 이중 레벨 설계는 추가적인 디코딩 단계를 거치지 않고 토큰 수준에서 작동하므로, 추론 속도가 기존 모델과 유사하게 유지되어 실시간 적용에 유리합니다.

5. 의의 및 의의 (Significance)

이 연구는 로봇 조작 분야에서 자연어 명령의 운동학적 정밀도를 높이는 중요한 전환점을 제시합니다.

• 개인화된 조작: 사용자의 구체적인 요구 (예: 특정 각도로 물건을 놓기, 특정 부분으로 잡기) 를 정밀하게 반영할 수 있어, 복잡한 일상 작업 및 맞춤형 서비스 로봇 구현에 필수적입니다.
• 해석 가능성: 이중 레벨 추론 토큰을 통해 모델이 왜 특정 행동을 선택했는지 언어적으로 설명 가능해져, 로봇의 의사결정 과정을 투명하게 이해할 수 있습니다.
• 확장성: 제안된 이중 레벨 프레임워크는 단순한 테이블 조작을 넘어, 전체 신체 조작 (Whole-body manipulation) 이나 더 복잡한 물리 상호작용이 필요한 작업으로 확장될 수 있는 잠재력을 가지고 있습니다.

요약하자면, KineVLA는 로봇이 단순히 "무엇을 할지 (What)"뿐만 아니라 "어떻게 할지 (How)" 를 자연어 지시를 통해 정밀하게 이해하고 실행할 수 있도록 하는 차세대 VLA 모델입니다.