기술 요약: SemiVLA – 반지도 학습 기반 시각-언어-행동 적응 (Semi-Supervised Vision-Language-Action Adaptation)

1. 문제 정의

본 논문은 행동 라벨이 지정된 데모(demonstrations)가 부족할 때, 새로운 로봇, 환경 및 태스크 분포에 시각-언어-행동(VLA) 모델을 적응시키는 문제를 다룹니다. 대규모 VLA 모델(예: OpenVLA, $\pi_0$, GR00T)은 강력한 일반적 사전 지식(prior)을 보유하고 있지만, 이를 미세 조정(fine-tuning)하려면 텔레오퍼레이션(teleoperation)을 통해 수집하기 매우 까다로운 조밀한 저수준 로봇 행동 라벨이 필요합니다.

저자들은 다음과 같은 **반지도 적응 설정(semi-supervised adaptation setting)**을 정의합니다:

• 소수의 궤적($D_l$)은 완전한 감독 정보를 포함합니다: 시각적 관측($o$), 언어 지시($q$), 그리고 정답 행동($a$).
• 다수의 궤적($D_u$)은 시각적 관측과 언어 지시만을 포함하며, 행동 라벨이 결여되어 있습니다.

핵심적인 어려움은 누락된 감독 신호의 본질에 있습니다. 이미지 분류에서의 표준 반지도 학습(SSL)에서 의사 라벨(pseudo-labels)이 이산적인 클래스인 것과 달리, VLA의 의사 라벨은 **체화된 행동 신호(embodied action signals)**입니다. 이 신호는 반드시 다음을 충족해야 합니다:

1. 관측값에 **시각적으로 접지(visually grounded)**되어야 함.
2. 언어 지시와 **의미론적으로 일치(semantically consistent)**해야 함.
3. 로봇의 행동 공간 내에서 **물리적으로 실행 가능(physically feasible)**해야 함.
4. 궤적 전반에 걸쳐 **시간적으로 안정(temporally stable)**되어야 함.

기존의 SSL(예: 신뢰도 기반 의사 라벨링)을 직접 적용하는 것은 실패할 가능성이 높습니다. 왜냐하면 VLA 모델이 물리적으로 불가능하거나 시각적으로 근거가 없는 행동에 대해 높은 신뢰도를 할당할 수 있으며, 이는 폐루프(closed-loop) 실행 시 누적되는 오류를 초래하기 때문입니다.

2. 방법론: SemiVLA

저자들은 신뢰할 수 있는 의사 행동(pseudo-actions)으로부터 학습하도록 설계된 자가 증류(self-distilled) 교사-학생 프레임워크인 SemiVLA를 제안합니다. 이 방법은 세 가지 주요 구성 요소로 이루어집니다.

A. 훈련 파이프라인

1. 감독 학습 워밍업(Supervised Warm-up): 학생 정책($\pi_\theta$)을 먼저 제한된 라벨 세트($D_l$)로 미세 조정하여 타겟 행동 공간에 대한 안정적인 적응 방향을 설정합니다.
2. 교사 초기화(Teacher Initialization): 교사 정책($\pi_\xi$)은 워밍업된 학생으로부터 초기화됩니다.
3. 자가 증류 의사 행동 학습(Self-Distilled Pseudo-Action Learning):
   • 교사는 "약한(weak)" 관측 뷰를 사용하여 라벨이 없는 궤적($D_u$)에 대한 의사 행동($\hat{a}_t$)을 생성합니다.
   • 학생은 의사 행동이 신뢰할 수 있다고 판단되는 경우에만, "강한(strong)" 뷰(크롭, 지터, 노이즈 등의 섭동이 포함된 뷰)를 사용하여 이 의사 행동을 일치시키도록 학습됩니다.
   • 학생은 감독 손실($D_l$에 대해), 자가 증류 손실(신뢰할 수 있는 $D_u$에 대해), 그리고 정렬/일관성 목적 함수를 결로 결합하여 학습합니다.

B. VLA 특화 신뢰도 컨트롤러 (VLA-Specific Reliability Controller)

노이즈가 섞인 의사 행동을 필터링하기 위해, SemiVLA는 세 가지 상호 보완적인 신호의 곱으로 신뢰도 점수 $r_t$를 계산하는 신뢰도 컨트롤러를 도입합니다:

1. 시각-언어 정렬 ($r^{vl}_t$): 언어 지시 임베딩과 관측 내 관련 시각 토큰 사이의 코사인 유사도를 측정합니다. 이는 행동이 올바른 객체/영역에 접지되었는지 확인합니다.
2. 행동 실행 가능성 ($r^{act}_t$): 물리적 타당성을 평가합니다. 연속적인 행동의 경우, 큰 크기나 급격한 변화(시간적 변동)를 페널티로 부여합니다. 행동 토큰의 경우, 분포 엔트로피와 일관성을 확인합니다.
3. 시간적 전이 일관성 ($r^{temp}_t$): 경량화된 전이 예측기를 사용하여 의사 행동이 $o_t$에서 $o_{t+1}$로의 시각적 전이를 설명할 수 있는지 검증합니다. 높은 점수는 해당 행동이 관찰된 궤적과 역학적으로 일치함을 나타냅니다.

신뢰도 점수가 임계값보다 높은 의사 행동만이 학습에 사용됩니다.

C. 병목 투영 정렬 업데이트 (Bottleneck-Projected Alignment Update)

노이즈가 섞인 학생의 업데이트가 교사에게 전파될 수 있는 표준 지수 이동 평균(EMA) 대신, SemiVila는 병목 투영 정렬 업데이트를 채택합니다.

• 분해(Decomposition): 학습 가능한 파라미터를 의미론적 정렬 그룹(시각 프로젝터, 시각-언어 PEFT)과 행동 정밀도 그룹(행동 헤드, 후기 정책 PEFT)으로 나눕니다.
• 필터링(Filtering):
  • 의미론적 그룹은 시각-언어 서브스페이스가 안정적일 때(섭동에 대한 민감도가 낮을 때)만 업데이트됩니다.
  • 행동 그룹은 의사 행동이 실행 가능하고 시간적으로 일관될 때만 업데이트됩니다.
• 투영(Projection): 학생의 파라미터 변위($\Delta$)는 교사를 업데이트하기 전에 병목 게이트를 통해 투영됩니다. 이는 "불필요한 민감성(nuisance-sensitive)"을 가진 시각적 업데이트나 불안정한 행동 수정을 방지하여, 교사가 신뢰할 수 있는 의사 행동 생성기로서 유지되도록 보장합니다.

D. 추론 (Inference)

추론 시에는 학생 정책만을 사용합니다. 교사, 신뢰도 컨트롤러 및 업데이트 메커즘은 폐기되므로, SemiVLA는 추가적인 추론 비용을 발생시키지 않습니다.

3. 주요 기여

1. 문제 공식화: 본 논문은 제한된 감독 신호 하에서의 반지도 VLA 적응을 명시적으로 공식화하며, 이를 단순한 지도 미세 조정 및 기존 SSL과 구별하여 체화된 행동 신호의 고유한 제약 조건을 강조합니다.
2. SemiVLA 프레임워크: 행동 라벨이 없는 시각-언어 궤적을 활용하여 행동 라벨 없이도 적응 성능을 향상시키는 자가 증류 교사-학생 아키텍처를 제안합니다.
3. 신뢰도 컨트롤러: 단순한 신뢰도 임계값을 넘어 시각-언어 정렬, 행동 실행 가능성, 시간적 일관성을 바탕으로 의사 행동을 평가하는 혁신적인 메커니즘을 제시합니다.
4. 병목 투명 업데이트: 안정적인 서브스페이스를 통해 학생의 피드백을 필터링함으로써 노이즈 오염을 방지하고 자가 증류 루프의 품질을 개선하는 교사 업데이트 전략을 제공합니다.
5. 실증적 검증: 여러 벤치마크에서 기존의 지도 학습 및 SSL 베이스라인보다 우수한 성능을 입증함으로써 SemiVLA의 효용성을 보여줍니다.

4. 실험 결과

저자들은 OpenVLA를 백본으로 하여 LIBERO 및 CALVIN 벤치마크에서 단 10%의 궤적에만 행동 라벨이 있는 조건으로 SemiVLA를 평가했습니다.

• LIBERO 성능:

  • SemiVLA + Selective LoRA는 평균 성공률 **89.0%**를 달성했습니다.
  • 이는 가장 우수한 지도 학습 베이스라인(OpenVLA + LoRA, 81.0%)보다 8.0 퍼센트 포인트 높았습니다.
  • 또한 제로샷 OpenVLA(69.8%)보다 19.2 포인트 크게 앞섰습니다.
  • 이러한 이득은 특히 LIBERO-Long(장기 궤적 태스크)에서 두드러졌는데, SemiVLA + Selective LoRA는 82.3%를 기록한 반면 지도 학습 LoRA는 70.3%에 그쳤습니다.

• 교차 벤치마크 일반화 (CALVIN):

  • SemiVLA + Selective LoRA는 평균 2.58개의 태스크를 완료한 반면, 지도 학습 Selective LoRA는 1.86, 제로샷은 1.32를 기록했습니다.
  • 이는 본 방법론이 훈련 분포뿐만 아니라 서로 다른 장기 조작 벤치마크로의 전이 성능을 개선함을 나타냅니다.

• 퓨샷 적응 (Few-Shot Adaptation):

  • 1-shot 및 5-shot 설정에서 SemiVLA는 지도 학습 대응 모델들을 지속적으로 능가하며, 라벨 없는 데이터를 통해 극도로 희소한 행동 라벨을 보완할 수 있음을 입증했습니다.

• 효율성:

  • SemiVLA는 파라미터 효율적인 방법(예: 31.6M 개의 학습 가능한 파라미터를 가진 Selective LoRA)을 사용하여 이러한 성과를 달 l성했습니다.
  • 제한된 라벨 환경에서 최첨단 결과를 얻기 위해 전체 파라미터(7.0B)를 튜닝할 필요가 없습니다.

• 절제 연구 (Ablation Studies):

  • 신뢰도 컨트롤러나 병목 업데이트를 제거하면 성능이 크게 저하되었으며, 이는 의사 행동의 품질과 교사 진화 방식 모두가 결정적임을 확인시켜 줍니다.
  • 전체 신뢰도 컨트롤러(VL + Action + Temporal)는 더 엄격했지만(약 36.8%의 의사 행동 수용), 신뢰도 기반 방식보다 높은 성공률을 보였습니다. 이는 VLA에서 양보다 질이 필수적임을 증명합니다.

5. 의의 및 주장

본 논문은 SemiVLA가 행동 라벨이 없는 시각-언어 궤적을 신뢰할 수 있는 감독 신호로 효과적으로 전환하는 일반적인 반지도 적응 메커니즘을 제공한다고 주장합니다.

• 데이터 효율성: 행동 라벨이 풍부한 시각-언어 데이터를 활용함으로써, 훨씬 적은 행동 라벨 데모만으로도 고성능 로봇 정책을 적응시킬 수 있음을 보여줍니다.
• 신뢰도 이상의 기준: 표준 SSL 신뢰도 지표는 체화된 제어에 불정 충분하며, 대신 물리적 실행 가능성, 시각적 접지, 시간적 역학을 통해 신뢰도를 평가해야 한다고 주장합니다.
• 강건성: 본 방법론은 보이지 않는 태스크와 환경적 섭동(조명, 방해물 등)에 대한 일반화 성능을 향提升시키며, 이는 신뢰도 컨트롤러가 모델이 특정 데모를 암기하는 대신 안정적인 시각-언어-행동 대응 관계를 학습하도록 돕기 때문입니다.
• 실용성: 추론 비용을 추가하지 않고 파라미터 효율적인 미세 조정을 사용함으로써, 행동 라벨 수집이 병목인 실제 환경에서 VLA 모델을 배포하기 위한 실질적인 솔루션을 제시합니다.