기술 요약: 실제 환경의 UR5 플랫폼 상에서의 시각-언어-행동(VLA) 모델 연구

문제 정의

본 프로젝트는 최근의 시각-언어-행동(Vision-Language-Action, VLA) 모델을 통제된 연구 벤치마크에서 실제 세계의 로봇 플랫폼, 구체적으로는 UR5e 매니퓰레이터로 전이하는 것의 타당성을 조사한다. VLA 모델은 인지, 추론, 제어를 단일한 엔드 투 엔드(end-to-end) 프레임워크로 통합할 것을 약속하지만, 이들의 실제 배포는 오프라인 성능과 물리적 시스템에서의 불안정한 폐쇄 루프(closed-loop) 동작 사이의 상당한 간극에 직면해 있다. 본 연구는 오픈 소스 기반의 미세 조정 가능한 VLA 모델(특히 OpenVLA 및 OpenVLA-OFT)이 실제 환경 조건에서 조작 작업을 안정적으로 수행할 수 있는지, 아니면 그 실패가 모델 아키텍처의 한계 때문인지, 혹은 데이터 표현, 제어 인터페이스 및 파이프라인 통합의 시스템적 문제 때문인지를 판별하는 것을 목표로 한다.

방법론

본 연구는 제어된 오프라인 검증에서 실제 세계의 배포로 단계적으로 이동하며 실패의 원인을 격리하기 위해 설계된 구조화된 4단계 실험 워크플로우를 채택한다:

1. 하드웨어 및 소프트웨어 설정:

   • 플랫폼: Robotiq 2F-140 그리퍼가 장착된 UR5e 협동 로봇.
   • 인지: 제3자 시점의 "third-eye" 카메라(Intel RealSense D435)와 손목 장착형 "hand-eye" 카메라(Logitech 웹캠)로 구성된 듀얼 카메라 시스템.
   • 제어: 외부 클라이언트-서버 아키텍처를 사용하며, 클라이언트는 ur_rtde 라이브러리를 통해 로봇 제어를 관리하고, 원격 서버(NVIDIA A100 GPU가 탑재된 클러스터)는 모델 추론을 처리한다.

2. 데이터 획득 및 엔지니어링:

   • 획득 모드: 데이터는 두 가지 방식, 즉 스크립트 기반 획득(노이즈와 변동성이 주입된 웨이포인트 기반 궤적)과 프리드라이브(freedrive) 획득(인간의 수동 가이드)을 통해 수집되었다.
   • 데이터셋 버전: 작업의 다양성, 시점 변화, 노이즈 주입 등의 복잡성을 점진적으로 증가시키고, 스크립트 방식에서 인간 가이드 방식으로 전환한 다섯 가지 데이터셋 버전(V0–V5)을 생성하였다.
   • 포맷팅: 모든 데이터는 OpenVLA 훈련 파이프라인과의 호환성을 보장하기 위해 강화 학습 데이터셋(RLDS) 형식으로 변환되었다. 전처리 과정에는 액션 계산(시간적 차이), 그리퍼 이산화, 그리고 시간적 동기화가 포함되었다.

3. 모델 선택 및 미세 조정:

   • OpenVLA: DINOv2 + SigLIP 인코더와 LLaMA 2 백본을 사용하는 VLM 아키텍처 기반의 7B 파라미터 모델로, 이산적 액션 토큰(256개 빈)과 자기회귀 디코딩을 사용한다. LoRA를 사용하여 미세 조정되었다.
   • OpenVLA-OFT: 병렬 액션 디코딩, 연속적 액션 표현(MLP 헤드 활용), L1 회귀 손실, 다중 뷰 입력을 특징으로 하는 OpenVLA의 개선 모델이다.
   • 베이스라인: 데이터 및 파이프라인 문제를 격리하기 위해 동일한 데이터셋에서 ResNet18 백본과 MLP 헤드를 사용하는 더 단순한 지도 학습 기반 모방 학습(behavior cloning) 베이스라인을 훈련시켰다.

4. 평가 프로토콜:

   • 오프라인 건전성 체크: Berkeley UR5 데이터셋을 사용하여 추론 일관성을 검증한다.
   • 제로샷 배포: 미세 조정 없이 실제 로봇에 대한 일반화 능력을 테스트한다(In-distribution 및 Out-of-distribution 모두 포함).
   • 미세 조정 평가: 작업 특화 적응 및 폐쇄 루프 안정성을 평가한다.
   • 강건성 테스트: 시각적 민감도를 테스트하기 위해 가우시안 노이즈와 휘도 변화를 주입한다.

주요 결과

1. 오프라인 vs. 폐쇄 루프 불일치

• 오프라인 성능: 통제된 오프라인 설정에서 OpenVLA와 OpenVLA-OFT 모두 지면 진실(ground-truth) 궤적의 일반적인 형태와 일치하는 구조적으로 일관된 예측을 생성했다.
• 폐쇄 루프 실패: 실제 세계의 폐쇄 루프 실행 시, 모든 모델(모방 학습 베이스라인 포함)은 점진적인 궤적 드리프트(drift), 정체 또는 불안정성을 보였다.
• 제로샷 동작: 미세 조정 없이는 로봇이 안정적이지만 불변하는 동작을 생성하였으며, 이는 환경 변화나 물체의 위치에 적응하지 못하고 짧은 시간 후 정체되는 결과를 초래했다.

2. 모델별 관찰 사항

• OpenVLA (이산형): 이 모델은 빠른 훈련 수렴을 보였으나, 시각적 입력에 둔감한 퇴보된 솔루션을 생성했다. 강건성 테스트 결과, 예측은 작업 관련 특징보다는 저수준의 통계적 특성(예: 전역 휘도)에 의존하는 것으로 나타났다. 후처리 정렬을 적용하더라도, 액션 이산화로 인해 모델은 운동 진폭을 약 30–40% 과소평가하는 체계적인 오류를 보였다.
• OpenVLA-OFT (연속형): 이 모델은 더 안정적인 훈련 역학을 보여주었으며, 시간적으로 일관된 국소적 예측을 생성했다. 그러나 재귀적 실행 중 장기 호라이즌(long-horizon) 불안정성 문제를 여전히 겪었으며, 이는 연속적 액션 표현만으로는 폐쇄 루프 드리프트를 해결할 수 없음을 시사한다.
• 모방 학습 베이스라인: 더 단순한 베이스라인이 동일한 데이터에서 VLA 모델보다 더 안정적인 궤적을 생성했다. 이는 불안정성이 단순히 VLA 아키텍처만의 문제가 아니라, 데이터-파이프라인-제어 루프 자체에 내재된 문제임을 시사한다.

3. 데이터 및 파이프라인 민감도

• 전처리 불일치: 데이터셋 구축 시의 전처리와 추론 파이프라인 간의 불일치가 성능을 크게 저하시켰다.
• 액션 표현: 좌표계의 모호함과 정규화/역정규화 컨벤션이 결정적인 실패 지점으로 식별되었다.
• 데이터셋 커버리지: 성공적인 스크립트 궤적에 치중된 데이터셋은 회복(recovery) 동작이 부족하여, 실행 중 편차를 수정하는 모델의 능력을 제한했다.

주요 기여

본 프로젝트는 시뮬레이션을 넘어 실제 로봇 환경에서 학습 기반 조작 시스템을 평가하기 위한 재현 가능한 프레임워크를 구축하며, 다음 네 가지 기초 자산을 제공한다:

1. UR5e 플랫폼을 위한 완전한 실제 로봇 데이터 획득 파이프라인.
2. RLDS 표준에 부합하는 데이터셋 변환 워크플로우.
3. VLA 모델(OpenVLA 및 OpenVLA-OFT)을 위한 초기 미세 조정 및 추론 인프라.
4. 실제 로봇 실험에 근거한 구조화된 실험적 관찰 결과 세트.

의의 및 해석

본 논문은 VLA 기반 로보틱스의 배포 문제를 주로 모델 중심의 도전 과제에서 시스템 레벨의 문제로 재정의한다.

• 모델 용량보다 시스템 통합: 유망한 오프라인 지표와 불안정한 실제 동작 사이의 간극은 모델의 한계보다는 전체 데이터-모델-제어 파이프라인의 정밀한 정렬 문제에 기인한다. 데이터 표현, 좌표계 또는 시간적 정렬의 작은 불일치가 성능을 저하시키고 오류를 전파시킨다.
• 현재 패러다임의 한계: 본 연구는 현재의 VLA 정식화가 (연속형 vs 이산형과 같이) 개선된 액션 표현을 사용하더라도, 폐쇄 루프 역학 하에서 일관성을 강제할 메커니즘이 부족함을 강조한다. 작은 체계적 편향의 누적이 궤적 드리프트를 유발한다.
• 실질적 시사점: 성공적인 배포를 위해서는 학습 알고리즘, 제어 전략, 데이터 획득 프로토콜, 그리고 시뮬레이션 기반 반복 사이의 긴밀한 통합이 필요하다. 저자들은 향후 발전이 단일 단계 예측 지표를 넘어, 폐쇄 루프 동작과 오차 누적을 명시적으로 고려하는 프레임워크로 나아가는 데 달려 있다고 결론짓는다.

이 연구는 VLA 모델이 유연한 작업 명시를 위한 매력적인 패러다임을 제공함에도 불구하고, 실제 환경에서의 실질적인 효과성은 모델의 정교함보다는 시스템 레벨의 통합 과제에 의해 현재 제약받고 있음을 강조한다.