Scaling Verification Can Be More Effective than Scaling Policy Learning for Vision-Language-Action Alignment

이 논문은 CoVer-VLA를 제안하며, 비전-언어-액션 (VLA) 모델의 실행 단계에서 발생하는 '의도 - 행동 간극 (intention-action gap)'을 해결하기 위해 **테스트 시간 검증 (Test-Time Verification)**이 정책 학습 확장 (Scaling Policy Learning) 보다 더 효과적일 수 있음을 입증합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 의도 - 행동 간극: 범용 로봇이 자연어 지시를 이해하고 행동으로 옮기는 VLA 모델은 큰 발전을 이루었으나, 생성된 행동이 주어진 지시와 불일치하는 경우가 많습니다.
• 언어적 취약성: VLA 모델은 지시문의 표현 (paraphrasing) 에 매우 민감합니다. 의미적으로 동일한 지시문이라도 표현이 조금만 달라져도 성공률이 급격히 떨어질 수 있습니다.
• 기존 접근법의 한계: 기존에는 학습 데이터 증강이나 모델 크기 확장을 통해 성능을 높이려 했습니다. 하지만 이는 점진적인 개선에 그치거나, 과적합 및 '파괴적 망각 (catastrophic forgetting)'을 유발하여 일반화 능력을 저하시킬 수 있습니다.

2. 방법론 (Methodology)

저자들은 **테스트 시간 확장 (Test-Time Scaling)**을 통해 이 문제를 해결하고자 했습니다.

A. 테스트 시간 확장 법칙 (Test-Time Scaling Laws)

• 혼합 샘플링 전략: 단순히 행동만 반복 샘플링하거나 지시문만 재작성하는 것보다, **지시문 재작성 (Instruction Rephrasing)**과 **행동 생성 (Action Generation)**을 동시에 확장하는 '하이브리드 샘플링'이 올바른 행동을 찾을 확률을 가장 높게 증가시킵니다.
• 언어적 다양성: 지시문의 언어적 다양성을 높이는 것이 행동 오류를 줄이는 데 더 효과적임을 경험적으로 증명했습니다.

B. CoVer (Contrastive Verifier for VLA)

• 역할: 비전, 언어, 행동을 정렬 (Alignment) 하는지 검증하는 대조적 학습 (Contrastive Learning) 기반 검증기입니다.
• 학습 방식:
  • 실패 데이터가 없는 로봇 데이터셋의 한계를 극복하기 위해, 동일한 지시문의 다양한 재작성 (rephrases) 을 생성하여 학습합니다.
  • 대조 학습 (Contrastive Learning): 배치 내의 다른 행동들을 암묵적인 부정 샘플 (negative samples) 로 간주하여, 올바른 행동과 잘못된 행동을 구분하는 임계점을 학습합니다. 명시적인 실패 레이블이 필요하지 않습니다.
  • 아키텍처: 텍스트 인식 비전 인코더 (Text-aware Visual Encoder) 와 행동 인코더 (Action Encoder) 를 사용하여 시각적 특징과 행동 시퀀스를 공통 임베딩 공간에 매핑합니다.

C. CoVer-VLA (계층적 테스트 시간 검증 파이프라인)

배포 시 다음과 같은 2 단계 계층적 최적화를 수행합니다:

1. 부팅 시간 (Boot-Time) 추론: 초기 관찰과 지시문을 바탕으로 VLM(비전 언어 모델) 이 장면을 분석하고, 실행 전에 다양한 재작성된 지시문 (rephrased instructions) 집합을 생성하여 캐시합니다.
2. 계층적 검증 (Hierarchical Verification):
   • 상위 수준 (언어): 캐시된 각 재작성된 지시문에 대해 VLA 가 행동 후보들을 생성합니다. CoVer 는 모든 (지시문, 행동) 쌍을 점수화하여 가장 의미적으로 신뢰할 수 있는 최적의 지시문을 선택합니다.
   • 하위 수준 (행동): 선택된 지시문에 대해 생성된 여러 행동 후보 중 CoVer 점수가 가장 높은 **최적의 행동 조각 (action chunk)**을 선택하여 실행합니다.

3. 주요 기여 (Key Contributions)

1. 테스트 시간 확장 법칙 규명: 로봇 지시 수행에서 언어적 다양성과 행동 샘플링의 결합이 성능 향상에 미치는 영향을 정량화했습니다.
2. CoVer 검증기 제안: 비전 - 언어 - 행동 정렬을 위한 대조적 검증기를 개발했으며, 데이터와 컴퓨팅 자원이 증가함에 따라 성능이 선형적으로 향상됨을 보였습니다.
3. 계층적 검증 파이프라인: 부팅 시간 추론과 테스트 시간의 계층적 최적화 (지시문 + 행동 선택) 를 결합하여, 기존 정책을 수정하지 않고도 강건성을 높이는 프레임워크를 제시했습니다.
4. 실제 성능 입증: 시뮬레이션 및 실제 로봇 실험에서 기존 정책 학습 확장 방식보다 훨씬 높은 성능 향상을 달성했습니다.

4. 실험 결과 (Results)

• SIMPLER 벤치마크 (시뮬레이션):
  • 분포 내 (In-Distribution): 기존 정책 학습 확장 대비 22% 성능 향상.
  • 분포 외 (Out-of-Distribution, OOD): 13% 성능 향상.
  • CoVer 를 적용한 모델은 학습 시 데이터 증강만 한 모델보다 훨씬 우수한 일반화 능력을 보였습니다.
• PolaRiS 벤치마크:
  • 작업 진행도 (Task Progress) 14% 향상, 성공률 9% 향상.
• 실제 로봇 실험 (Real-World):
  • WidowX 로봇을 사용한 실험에서 **45%**의 절대적인 성공률 향상을 기록했습니다.
  • 기존 모델이 실패했던 복잡한 장면 (예: 빨간색 코카콜라 캔과 파란색 레드불 캔 구분) 에서 CoVer-VLA 는 올바른 개체를 식별하고 작업을 성공적으로 수행했습니다.
• 효율성:
  • 검증기 학습 비용은 정책 학습 비용의 약 3.8 배 수준으로, 정책 학습을 대폭 확장하는 것보다 효율적입니다.
  • 부팅 시간 캐싱과 병렬 처리를 통해 테스트 시간 지연 (Latency) 을 최소화하여 실시간 제어 (약 1.3Hz~2.2Hz) 가 가능합니다.

5. 의의 (Significance)

이 논문은 로봇 공학 분야에서 컴퓨팅 자원을 어디에 할당할 것인가에 대한 중요한 통찰을 제공합니다.

• 학습 vs 추론: 단순히 모델 학습 데이터나 파라미터를 늘리는 것보다, 배포 시 (Test-Time) 추론과 검증에 컴퓨팅 자원을 투자하는 것이 더 효과적이고 비용 효율적일 수 있음을 보여줍니다.
• 강건한 로봇 시스템: 언어적 변형이나 환경적 변화에 민감한 VLA 모델의 취약점을 해결하여, 실제 세계의 복잡하고 예측 불가능한 환경에서도 신뢰할 수 있는 로봇 배포를 가능하게 합니다.
• 확장성: CoVer 아키텍처는 데이터와 모델 크기가 커짐에 따라 성능이 지속적으로 향상되므로, 미래의 대규모 로봇 모델에도 적용 가능한 확장 가능한 솔루션입니다.

요약하자면, CoVer-VLA 는 "더 많이 학습하는 것"보다 "더 똑똑하게 검증하고 선택하는 것"이 로봇의 성공적인 작업을 보장하는 핵심 열쇠임을 입증한 획기적인 연구입니다.