기술 요약: 비전 - 언어 - 행동 모델을 위한 대비적 표현 정규화

문제 정의

비전 - 언어 - 행동 (VLA) 모델은 사전 훈련된 비전 - 언어 모델 (VLM) 에서 풍부한 의미 표현을 활용하여 로봇 조작 분야에서 상당한 잠재력을 입증했습니다. 그러나 중요한 한계가 존재합니다: 범용 VLM 에서 도출된 표현은 종종 로봇 제어에 최적화되지 않습니다. VLM 은 대규모 시각 지시 데이터셋으로 훈련되지만, 로봇 모달리티, 특히 저수준 제어 동작과 고유감각 정보 (예: 관절 위치, 엔드 이펙터 상태) 에 대한 명시적인 노출이 부족합니다.

결과적으로, VLA 모델이 고정된 VLM 표현에 조건부로 의존할 때, 임베딩은 시각적 외관 (예: 장면 배치, 배경 질감) 보다 제어 관련 요인에 의해 지배되는 경향이 있습니다. 이러한 불일치는 로봇의 물리적 상태나 정밀한 동작 예측에 필요한 신호를 포착하지 못하는 표현을 초래하여, 정확한 위치 지정이 필요한 작업에서 성능이 최적화되지 못하게 합니다.

방법론: 로봇 상태 인식 대비 손실 (RS-CL)

VLM 표현과 로봇 신호 간의 불일치를 해결하기 위해, 저자들은 **로봇 상태 인식 대비 손실 (RS-CL)**을 제안합니다. 이는 추가적인 훈련 단계나 큐레이션된 데이터셋 없이 VLM 임베딩과 로봇 고유감각 상태 간의 격차를 해소하도록 설계된 간단하고 효과적인 표현 정규화 기술입니다.

핵심 구성 요소

1. 표현 수준 증강 (뷰 컷오프):
   VLM 을 통한 여러 순전달 (forward passes) 이 필요한 비용이 큰 데이터 수준 증강 대신, 저자들은 "뷰 컷오프"를 도입합니다. 이 연산은 VLM 출력에서 단일 관찰 뷰에 해당하는 특징 슬라이스를 무작위로 마스킹합니다. 이는 최소한의 계산 오버헤드로 표현 수준에서 대체 임베딩을 생성하여, 다양한 대비 쌍을 효율적으로 구성할 수 있게 합니다.

2. 학습 가능한 요약 토큰:
   일반적으로 길이가 긴 전체 VLM 시퀀스에 대비 학습을 적용하는 높은 계산 비용을 처리하기 위해, VLM 출력에 학습 가능한 요약 토큰이 추가됩니다. 어댑터는 이 토큰을 처리하여 대비 학습에 사용되는 컴팩트한 대표 임베딩 ($z$) 을 생성하는 반면, 원래 임베딩 ($h$) 은 동작 디코더를 위해 그대로 유지됩니다.

3. 소프트 가중 대비 목적 함수:
   RS-CL 은 InfoNCE 손실에 기반한 지도 대비 학습 프레임워크를 활용합니다. 모든 부정적 쌍을 동일하게 취급하는 표준 대비 손실과 달리, RS-CL 은 로봇의 고유감각 상태 ($q_i, q_j$) 사이의 유클리드 거리를 기반으로 유사도 점수에 소프트 가중치를 할당합니다.

   • 메커니즘: 고유감각 거리가 작은 상태 쌍 (유사한 물리적 상태) 은 더 높은 가중치를 받아 표현 공간에서 임베딩이 서로 더 가깝도록 유도합니다. 거리가 큰 쌍은 더 낮은 가중치를 받습니다.
   • 공식: 손실은 InfoNCE 의 가중 변형으로 정의됩니다:
     $$\mathcal{L}_{RS-CL} = - \sum_{i,j} w_{ij} \log \frac{\exp(\text{sim}(z_i, \tilde{z}_j)/\tau)}{\sum_k \exp(\text{sim}(z_i, \tilde{z}_k)/\tau)}$$
     여기서 $w_{ij}$는 고유감각 상태 간의 상대적 거리에서 계산됩니다.

4. 훈련 통합:
   RS-CL 은 표준 동작 예측 손실 (예: 흐름 매칭 손실) 과 병행하여 보조 목적 함수로 작동합니다. 전체 목적 함수는 $\mathcal{L} = \mathcal{L}_{FM} + \lambda \mathcal{L}_{RS-CL}$입니다. 가중 계수 $\lambda$는 훈련 과정에서 감쇠되어, 초기 단계에서는 표현 정제를 강조하고 후기 단계에서는 정확한 동작 예측을 강조합니다. 이를 통해 기존 VLA 파이프라인과 호환되는 단일 단계 종단간 훈련이 가능해집니다.

주요 기여

• 새로운 목적 함수: 연속 거리 기반 소프트 감독을 사용하여 VLM 표현을 로봇 고유감각 상태에 명시적으로 정렬하는 RS-CL 도입.
• 효율적인 설계: 추가적인 VLM 순전달 없이 경량화되고 안정적인 대비 학습을 가능하게 하는 표현 수준 증강 전략 ("뷰 컷오프") 개발.
• 호환성: RS-CL 이 추가 데이터 큐레이션이나 다단계 훈련 프로세스 없이 표준 VLA 훈련 파이프라인과 완전히 호환됨을 입증.

실험 결과

저자들은 시뮬레이션 벤치마크와 실제 로봇 실험을 통해 RS-CL 을 평가했습니다.

시뮬레이션 벤치마크

• RoboCasa-Kitchen: RS-CL 은 300 개의 데모를 사용하여 69.7% 의 최첨단 성공률을 달성했으며, 이는 베이스라인 GR00T N1.5(65.7%) 와 $\pi_0$(62.5%) 와 같은 다른 강력한 베이스라인을 능가했습니다. 특히 정밀한 위치 지정이 필요한 픽 앤 플레이스 작업에서 성공률이 30.3% 에서 41.5% 로 11.2%p 향상되는 상당한 개선을 보였습니다.
• LIBERO: RS-CL 은 평균 성공률을 95.7% 에서 **96.4%**로 향상시켜, 다양한 멀티태스크 스위트 전반에 걸친 견고성을 입증했습니다.
• 효율성: Time-Contrastive Networks(TCN) 와 비교하여 RS-CL 은 시간적으로 구조화된 데이터 마이닝과 추가 순전달을 피함으로써 TCN(7.53 $\times 10^{12}$ FLOPs) 보다 훨씬 낮은 계산 오버헤드 (2.91 $\times 10^{12}$ FLOPs) 로 더 높은 성공률을 달성했습니다.

실제 로봇 실험

• 설정: 실험은 Robotiq 2F-85 그리퍼가 장착된 Franka Research 3 암에서 수행되었습니다.
• 성능: 까다로운 조작 작업에서 RS-CL 은 성공률을 **45.0% 에서 58.3%**로 13.3%p 향상시켰습니다.
• 일반화: 이 방법은 시각적 변화, 물리적 속성 변화 (보이지 않는 물체), 조명 조건, 그리고 언어 기반에 대한 개선된 견고성을 보여주었습니다. 또한 뷰 불변 표현에 기인하여 부분 가림 (예: 뚜껑 닫기) 이 있는 작업에서도 성능이 향상되었습니다.

제로베이스 (From-Scratch) 훈련

여러 사전 훈련된 VLM 백본 (Qwen2.5-VL, SigLIP2, GR00T N1.5) 에서 VLA 모델을 제로베이스로 훈련할 때, RS-CL 은 모든 아키텍처에서 일관되게 성능을 향상시켰습니다. 이는 로봇 데이터셋에서 VLM 을 추가로 훈련하는 베이스라인 (예: RoboBrain, VeBrain) 보다 RS-CL 을 통한 명시적 정렬이 일반 도메인 적응 단독보다 더 효과적임을 시사합니다.

중요성과 주장

이 논문은 RS-CL 이 범용 VLM 과 로봇 제어의 특정 요구 사항 간의 "모달리티 격차"를 효과적으로 해결한다고 주장합니다. 표현을 고유감각 상태에 명시적으로 정렬함으로써, 이 방법은 시각적 외관뿐만 아니라 작업 진행 상황과 로봇 자세와 같은 제어 관련 신호를 포착하도록 임베딩 공간을 재구성합니다.

저자들은 이 접근 방식이 경량화되고 매끄럽다고 강조하며, 복잡한 다단계 훈련이나 대규모 큐레이션된 로봇 데이터셋의 필요성을 피한다고 말합니다. 결과는 정밀한 위치 지정이 필요한 작업에서 특히 정확한 동작 예측을 위해 표현 학습 과정에 로봇 상태 신호를 직접 통합하는 것이 중요함을 시사합니다. 이 연구는 VLA 능력을 더욱 발전시키기 위해 다른 센서 신호 (예: 물체 자세, 촉각 피드백) 를 통합하는 향후 연구를 장려합니다.