기술 요약: 표현 앵커링(Representation Anchoring) 및 언어-행동 정렬(Language-Action Alignment)을 통한 일반화 가능한 VLA 파인튜닝

1. 문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작을 위한 표준적인 접근 방식으로 부상하였으며, 일반적으로 사전 학습된 시각-언어 모델(VLM)을 행동 복제(Behavior Cloning, BC)를 통해 로봇 데모 데이터로 파인튜닝하여 생성됩니다. 이러한 방식은 VLM의 의미론적 사전 지식(공간적 배치, 색상, 모양 등에 대한 이해)을 제어 정책으로 전이시키지만, 표준적인 BC 파인튜닝은 일반화 능력을 저하시키는 두 가지 결정적인 실패 모드에 직면합니다:

1. 표현의 파괴적 망각(Catastrophic Forgetting of Representations): 표준 BC는 오직 행동 예측 손실만을 최적화합니다. 파인튜닝 과정에서 발생하는 업데이트는 인터넷 규모의 사전 학습을 통해 습득한 시각-언어적 및 공간적 개념을 점진적으로 덮어씁니다. 결과적으로, "초록색 머그컵"을 집도록 훈련된 정책은 동일한 장면 내의 "분홍색 머그컵"에 대해 일반화에 실패하거나, 물체의 위치가 바뀌었을 때 적응하지 못할 수 있습니다. 이는 백본(backbone)이 색상 및 공간 추론 능력을 상실했기 때문입니다.
2. 언어-행동 불일치(Language-Action Misalignment): 일반적인 웹 이미지-텍스트 데이터(예: VQA, 캡셔닝)로 공동 학습(co-training)하는 등의 해결책은 언어와 행동 손실을 서로 다른 관측값에 적용합니다. 이는 VLA가 분리된 감독을 받게 만듭니다. 즉, 행동 헤드는 전문가 데모로부터 배우는 반면, 언어 헤드는 일반적인 태스크로부터 배웁니다. 이들이 동일한 로봇 관측값에 대해 함께 감독되지 않기 때문에, 예측이 서로 충돌할 수 있습니다(예: 행동 헤드는 "오른쪽"으로 움직이라고 예측하지만, 언어 헤드는 "왼쪽"이라고 예측함). 표준 벤치마크들은 이러한 불일치를 드러내는 데 종종 실패합니다.

2. 방법론: Anchor-Align

저자들은 사전 학습된 표현을 보존하고 언어를 행동과 정렬하기 위해 두 가지 특정 목적 함수를 표준 BC에 추가하는 Anchor-Align 레시피를 제안합니다. 이 방법은 표준 VLA 설정 외에 추가적인 데이터, 주석 또는 구조적 변경을 요구하지 않습니다.

2.1 기본 아키텍처

이 방법은 전용 행동 헤드(회귀 및 플로우 매칭(flow-matching) 행동 헤드 모두 지원)를 갖춘 사전 학습된 VLM 백본을 사용하는 VLA 아키텍처에서 작동합니다. 백본은 시각적 관측값과 언어 지시문을 인코딩하며, 상태 프로젝터(state projector)는 로봇의 고유 수용 감각(proprioception)을 인코딩합니다. 행동 헤드는 이러한 다중 모달 표현을 기반으로 연속적인 행동 청크(action chunks)를 예측합니다.

2.2 시각-언어 앵커링 (Vision-Language Anchoring)

파괴적 망각을 방기하기 위해, Anchor-Align은 사전 학습된 VLM(이를 "Anchor VLM"이라 함)의 동결된 복사본에 학습 가능한 VLA 백본을 고정시키는 **증류 손실(distillation loss)**을 도입합니다.

• 메커니즘: 동결된 Anchor VLM은 동일한 입력 배치(이미지 및 텍스트)를 병렬로 처리합니다. 모든 디코더 레이어 $u$에서, 학습 가능한 백본의 시각 및 텍스트 토큰의 은닉 상태($H^S_u$)는 동결된 앵커의 은닉 상태($H^A_u$)와 일치하도록 강제됩니다.
• 손실 함수: 앵커링 손실은 모든 디코더 레이어에 대해 평균화된, 이 은닉 상태들 간 차이의 제곱 프로베니우스 노름(squared Frobenius norm)입니다:
  $$L_{anchor} = \frac{1}{|D|} \sum_{u \in D} \| H^S_u[m] - H^A_u[m] \|_F^2$$
  여기서 $m$은 시각 및 텍스트 토큰 위치의 집합을 나타냅니다. 이는 가중치 공간의 제약 없이도 의미론적 기질을 보존하는 표현 공간에서의 정규화 역할을 합니다.

2.3 언어-행동 정렬 (Language-Action Alignment)

언어와 행동 사이의 불일치를 해결하기 위해, 본 방법은 두 헤드가 동일한 로봇 관측값에 대해 훈련되는 결합 감독(joint supervision) 목적 함수를 도입합니다.

• 메커니즘: 전문가 데모로부터 얻은 연속적인 행동 타겟은 프로그래밍 방식으로 이산적인 운동 방향 라벨(예: "위", "아래", "왼쪽", "오른쪽", "앞", "뒤")로 변환됩니다. 이는 행동 청크의 병진 성분(translational components)을 평균내고, 정지 상태에 가까운 샘플을 필터링한 후, 지배적인 축을 이산화함으로써 수행됩니다.
• 손실 함수: 모델은 동일한 관측값에 대해 언어 헤드의 출력을 사용하여 이 이산적인 방향 라벨을 예측하도록 훈련됩니다. 구체적으로, 시각적 접두사와 지시문을 요약하는 지시문 토큰의 마지막 은닉 상태는 동결된 사전 학습 언어 헤드를 통해 어휘(vocabulary)에 대한 로짓(logits)을 생성하도록 투영됩니다. 정렬 손실은 이 로짓과 실제 방향 라벨 사이의 교차 엔트로피입니다:
  $$L_{align} = CE(\hat{a}_{lang}, a_{lang})$$
• 전체 목적 함수: 최종 훈련 손실은 표준 BC 행동 손실($L_{action}$)에 앵커링 및 정렬 손실을 결합합니다:
  $$L_{total} = L_{action} + \lambda_{anchor} L_{anchor} + \lambda_{align} L_{align}$$

3. 주요 기여

1. 이중 실패 모드 식별: 논문은 표준 BC가 표현 드리프트(망각)를 유발하며, 공동 학습이 동일한 관측값에 대해 언어와 행동을 정렬하지 못해 모순된 예측을 초래한다는 점을 규명했습니다.
2. Anchor-Align 프레임워크: 사전 학습된 표현을 보존하기 위한 시각-언어 앵커링(증류를 통한 표현 보존)과 동일 관측값에서 언어를 행동에 접지(grounding)시키는 언어-행동 정렬을 결합한 새로운 파인튜닝 레시피를 제안합니다.
3. 데이터 효율적 솔루션: 새로운 데이터셋, 인간의 주석, 또는 아키텍처 수정 없이 기존의 데모 데이터와 동결된 VLM만을 활용하여 상당한 성능 향상을 달성했습니다.
4. 진단 도구: 정렬 프레임워크는 공동 학습된 VLA에서 언어-행동 불일치를 진단하는 직접적인 지표를 제공하며, 더 나은 정렬이 높은 태스크 성공률과 상관관계가 있음을 보여줍니다.

4. 실험 결과

4.1 시뮬레이션 벤치마크

방법론은 두 가지 서로 다른 VLA 아키텍처(VLA-Adapter 및 StarVLA)를 사용하여 LIBERO-PRO, LIBERO-Plus, 그리고 CALVIN 벤치마크에서 평가되었습니다.

• LIBERO-PRO (OOD 일반화): Anchor-Align는 공동 학습된 베이스라인을 포함한 모든 베이스라인을 크게 앞질렀습니다. 특히, 물체의 위치가 재배치된 "Position Swap" 테스트에서 표준 BC 및 공동 학습 베이스라인은 거의 0%의 점수(기억된 궤적을 재생함)를 기록한 반면, Anchor-Align는 **22.6%**를 달 기록했습니다.
• LIBERO-Plus (지각적 강건성): Anchor-Align는 7가지 섭동 축(카메라 뷰, 조명, 배경 등) 전체에서 성능을 개선했으며, 배경 텍스처(+8.9%)와 센서 노이즈(+7.4%)에서 가장 큰 이득을 보였습니다.
• CALVIN (장기 실행): 장기 실행 ABC→D 벤치마크에서, Anchor-Align는 5개의 지시문 체인을 완료하는 데 있어 가장 높은 성공률(OpenVLA-OFT의 66.5% 대비 77.9%)을 달성하여, 의미론적 보존이 누적 오차 저항성을 향상시킨다는 것을 입증했습니다.

4.2 실세계 실험

물리적인 xArm7 로봇을 사용하여 공간 재배치, 혼잡한 장면, 의미론적 섭동을 포함한 도전적인 조건에서 실험이 수행되었습니다.

• 일반화: Anchor-Align는 미학습 공간 및 의미론적 섭동에 대해 실물 로봇 성공률을 (VLA-Adapter의 경우 28%에서 54%로, StarVLA의 경우 37%에서 60%로) 개선했습니다.
• 의미론적 섭동: "초록색 머그컵"에 대해 훈련된 정책이 "분홍색 머그컵"을 집으라는 지시를 받았을 때, 표준 BC는 90%의 확률로 실패(초록색 머그컵을 집음)했지만, Anchor-Align는 올바른 물체를 집는 데 100% 성공했습니다.
• 오류 분석: 오류 모드 분석 결과, Anchor-Align는 표준 BC와 비교했을 때 "의미론적 오류"(7건에서 0건으로)와 "잘못된 물체 접근"(10건에서 1건으로)을 거의 제거했습니다.

4.3 절제 연구 및 분석

• 두 항의 필요성: 절제 연구를 통해 앵커링과 정렬이 모두 필요함을 확인했습니다. 각각을 단독으로 사용할 경우에도 표준 BC보다는 성능이 개선되었으나, 두 가지를 결합했을 때 최상의 결과를 얻었습니다.
• 정렬 vs 정규화: 손상된 라벨(Shuffle 및 Scatter)을 사용한 대조 실험을 통해, 이 이득이 단순히 정규화 효과 때문이 아니라 진정한 언어-행동 정렬에서 비롯된 것임을 입증했습니다.
• 상관관계: 언어-행동 정렬 정도와 태스크 성공률 사이에 강한 양의 피어슨 상관관계(+0.51)가 발견된 반면, 공동 학습 베이스라인은 거의 0에 가까운 상관관계를 보였습니다.
• 표현 보존: 시각적 추론 테스트(GQA) 결과, 표준 BC는 파인튜닝 중 추론 정확도의 94%를 잃은 반면, Anchor-Align는 70%를 유지했습니다.

5. 의의 및 주장

본 논문은 사전 학습된 표현을 보존하는 것과 효과적인 행동 학습이 근본적으로 상충하지 않는다고 주장합니다. VLA 파인튜닝을 제어력을 위해 사전 학습된 VLM의 우선순위를 포기하는 과정이 아니라, 사전 학습된 VLM의 우선순위를 보존하고 정렬하는 과정으로 재정의함으로써, Anchor-Align는 파운데이션 모델을 체화된 태스크(embodied tasks)에 적응시키기 위한 단순하고 데이터 효율적인 레시피를 제공합니다.

저자들은 다음과 같은 점을 강조합니다:

• 표준 BC에 내재된 "파괴적 망각" 문제를 해결합니다.
• 공동 학습에 내재된 "언어-행동 불일치" 문제를 해결합니다.
• 이러한 개선이 서로 다른 아키텍처(회귀 및 플로우 매칭)와 규모(0.5B ~ 3B 파라미터) 전반에서 유효함을 입증합니다.
• 광범위한 시공간적 사전 지식을 유지하면서도 제어 가능하고 의미론적으로 접지된 월드 모델(world models)을 향한 경로를 제시합니다.

이 연구는 향후 VLA 개발이 단순히 데이터나 모델의 크기를 키우는 것이 아니라, 표현을 앵커링하고 동일한 관측값에 대해 양상(modality)을 정렬하는 데 집중해야 함을 시사합니다.