기술 요약: VLA 초기화를 위한 VLM 표현 재고찰

문제 제기

비전 - 언어 - 행동 (VLA) 모델은 일반적으로 사전 훈련된 비전 - 언어 모델 (VLM) 에서 정책 백본을 초기화하여 비전 - 언어 표현을 계승합니다. 그러나 사전 훈련된 VLM 표현의 어떤 특정 특성이 VLA 작업에 효과적인 초기화를 구성하는지는 여전히 명확하지 않습니다. 최근 연구들은 더 강력한 백본과 행동 모듈을 탐구해 왔지만, 초기화 선택은 종종 통제된 설계 변수라기보다는 기본 단계로 취급됩니다. 본 논문은 다음과 같은 근본적인 질문에 답합니다: 어떤 종류의 사전 훈련된 VLM 표현이 유용한 VLA 초기화를 만드는가?

저자들은 단순히 더 강력한 VLM 을 채택하거나 광범위한 신체화 적응을 적용하는 것이 더 나은 행동 정책을 보장하지 않는다고 주장합니다. 대신, 그들은 VLA 초기화를 제어된 표현 설계 문제로 규정하며, 이는 행동 관련 신호의 주입과 원래의 전이 가능한 VLM 지식의 보존 사이의 균형을 맞춰야 한다고 봅니다.

방법론

본 연구는 2 단계 훈련 파이프라인을 사용하여 VLA 초기화를 세 가지 주요 축을 따라 조사합니다:

1. 1 단계 (표현 형성): 신체화 시각 질문 답변 (VQA) 데이터 또는 로봇 궤적 데이터에 기반 VLM 을 적응시킵니다.
2. 2 단계 (행동 학습): 1 단계 체크포인트에서 VLA 정책을 초기화하고 행동 궤적 데이터로 훈련합니다.

조사의 세 가지 축은 다음과 같습니다:

1. 능력 수준 신체화 VQA 도메인

저자들은 행동 학습에 긍정적으로 전이되는 신호를 테스트하기 위해 신체화 VQA 데이터를 7 가지 능력 지향 도메인으로 구성합니다:

• 공간 (Spatial): 상대적/절대적 관계, 방향, 거리.
• 그라운딩 (Grounding): 공간적 참조, 객체/영역 국소화.
• 계획 및 추론 (Plan & Reasoning): 목표 분해, 전제 조건, 단계 순서.
• 카메라 예측 (Camera Prediction): 내부/외부 파라미터 또는 시점 변화 추정.
• 자기 중심 이해 (Egocentric Understanding): 손/그립퍼 위치, 들고 있는 객체, 도달 가능성.
• 시간적 이해 (Temporal Understanding): 행동 순서, 사건 경계, 인과 관계.
• 행동 다음 토큰 예측 (Action-NTP): 행동 궤적을 언어 토큰으로 간주.

그들은 단일 도메인 적응, 쌍별 조합, 그리고 다중 도메인 조합을 평가합니다.

2. 파라미터 업데이트 전략

본 논문은 1 단계 적응을 위한 두 가지 전략을 비교하여 전문화와 보존 간의 트레이드오프를 분석합니다:

• 전체 미세 조정 (Full FT): 모든 파라미터를 업데이트하여 표현을 공격적으로 재형성합니다.
• LoRA (저랭크 적응): 소수의 어댑터 파라미터만 업데이트하여 원래 VLM 가중치의 대부분을 보존하고 표현 드리프트를 제한합니다.

3. 로봇 데이터 사전 훈련

본 연구는 로봇 궤적 데이터 (AgiBot-World-Beta) 를 사전 훈련 신호로 사용하여 행동 측 감독의 역할을 검토합니다. 다음을 비교합니다:

• 로봇 데이터 전용 사전 훈련.
• 로봇 데이터와 VQA 의 결합 사전 훈련.
• 단계별 사전 훈련 (VQA 적응 후 로봇 데이터 사전 훈련).

실험 설정

• 기반 모델: Qwen3-VL-4B (주요), Qwen3-VL-2B, PaliGemma2-3B.
• 아키텍처: OpenVLA-OFT 스타일 (MLP 헤드) 및 $\pi_0$-스타일 (Diffusion Expert).
• 벤치마크: Libero-10 (장기 테이블탑), SimplerBridge (실제 - 시뮬레이션), RoboCasa GR1 Tabletop (고차원 휴머노이드).
• 지표: 세 가지 평가 시드에서의 평균 성공률.

주요 결과

1. 사전 훈련된 표현의 결정적 역할

사전 훈련된 VLM 에서 초기화하는 것과 비교하여 처음부터 VLA 정책을 훈련하면 모든 벤치마크에서 20% 이상의 성능 저하가 발생합니다. 이는 원래의 사전 훈련된 VLM 표현이 행동 성능의 주요 원천임을 확인시켜 줍니다.

2. 조건부 유용성을 가진 신체화 VQA

신체화 VQA 적응은 균일한 향상을 제공하지 않으며, 그 효과는 하류 병목 현상과 주입된 특정 능력에 따라 달라집니다:

• 벤치마크 의존성: Libero-10 에서는 대부분의 도메인이 성능을 향상시킵니다. SimplerBridge(실제 - 시뮬레이션) 에서는 대부분의 도메인이 Diffusion Expert 하에서 그라운딩만이 약간의 향상을 보인 것을 제외하고는 기준선 대비 성능이 저하됩니다.
• 능력 특이성: 그라운딩, 자기 중심 이해, Action-NTP가 가장 강력한 전이 신호를 제공합니다. 다른 도메인 (예: 공간, 계획 및 추론) 은 벤치마크에 따라 일관성이 없거나 부정적인 전이를 보입니다.
• 비가산성: 도메인을 결합하는 것이 단순히 가산적인 것은 아닙니다. 가장 강력한 개선은 쌍별 조합 **{그라운딩 + 자기 중심 이해}**에서 나옵니다. 더 많은 도메인을 추가하면 (예: 7 개 도메인 균일 조합) 종종 포화 상태에 이르거나 성능이 저하되어, 더 넓은 범위가 유용한 감독을 희석하거나 간섭을 초래할 수 있음을 시사합니다.

3. 보존 vs 전문화 (LoRA vs 전체 미세 조정)

• LoRA 의 우위: LoRA 는 전체 미세 조정 (Full Fine-tuning) 보다 일관되게 더 강력한 VLA 초기화를 제공합니다. 전체 미세 조정은 종종 기준선 이하로 떨어지는데, 이는 VQA 작업을 위해 표현을 공격적으로 재형성하는 것이 하류 행동 학습에 유용한 정보를 덮어쓸 수 있음을 나타냅니다.
• 기반 모델의 강도: LoRA 의 이점은 더 강력한 기반 VLM 에서 더 두드러집니다. 기반 모델이 약해지면 (예: Qwen3-VL-4B 에서 PaliGemma2-3B 로), LoRA 의 이득은 감소하고 전체 미세 조정의 저하는 더 심해집니다. 이는 어댑터 기반 적응이 보존할 고품질의 사전 훈련된 표현이 있을 때 가장 효과적임을 시사합니다.

4. 로봇 데이터 사전 훈련 및 단계별 적응

• 행동 측 신호: 로봇 데이터 사전 훈련은 초기화를 개선하지만, VQA 감독과의 상호작용은 복잡합니다.
• 연합 훈련 내 경쟁: 로봇 데이터와 VQA 를 LoRA 로 연합 훈련하면 로봇 데이터 전용 훈련보다 성능이 낮아질 수 있는데, 이는 제한된 어댑터 용량 내에서의 목적 경쟁 때문일 가능성이 높습니다.
• 단계별 접근법: 가장 좋은 성능은 단계별 경로를 통해 달성됩니다: 먼저 {그라운딩 + 자기 중심 이해} VQA 로 VLM 을 적응시킨 후, LoRA 기반 로봇 데이터 사전 훈련을 계속합니다. 이 접근법은 가장 높은 성공률 (RoboCasa 에서 55.2%) 을 달성하여, 신호의 순차적 주입이 경쟁을 완화하면서 핵심 VLM 표현을 보존함을 시사합니다.

중요성과 주장

본 논문은 VLA 초기화를 기본 백본 선택이나 데이터 확장 단계가 아닌 제어된 표현 설계 문제로 재정의합니다. 저자들은 그들의 발견이 효과적인 VLA 초기화를 구축하기 위한 실용적인 지침을 제공한다고 주장합니다:

1. 신호 주입: 효과적인 초기화는 하류 병목 현상과 정렬된 행동 관련 신호 (특히 그라운딩과 자기 중심 이해) 를 주입해야 합니다.
2. 표현 보존: 행동 학습에 여전히 유용한 사전 훈련된 VLM 표현을 보존하는 것이 중요합니다. 전체 미세 조정을 통해 표현을 과도하게 재형성하는 것은 해롭습니다.
3. 적응 전략: 전문화와 보존 사이의 균형을 맞추기 위해 제약된 어댑터 기반 업데이트 (LoRA) 가 전체 파라미터 업데이트보다 우월합니다.
4. 단계별 훈련: VQA 적응 후 로봇 데이터 사전 훈련을 수행하는 단계별 훈련 파이프라인은 신호 경쟁을 피하고 지각 측 및 행동 측 감독의 강점을 활용하므로 연합 훈련보다 더 효과적입니다.

저자들은 이러한 통찰력이 "더 많은 신체화 데이터"나 "더 강력한 백본"이 자동으로 더 나은 정책으로 이어진다는 가정을 넘어 VLA 초기화 설계 공간에 대한 세밀한 이해를 제공한다고 결론지었습니다.