기술 요약: 원샷 VLA 적응을 위한 도메인 산술 (DART)

문제 정의

대규모 코퍼스로 학습된 시각-언어-행동(VLA) 모델은 소스 학습 환경 내에서는 강력한 멀티태스크 능력을 보여줍니다. 그러나 이러한 모델은 **환경적 변화(environmental shifts)**가 특징인 새로운 타겟 환경에 배포될 때 상당한 성능 저하를 겪습니다. 이러한 변화에는 카메라 포즈(시점 변화), 센서 보정, 또는 임보디먼트(embodiment) 수정(예: Panda 로봇에서 UR5e 로봇으로 교체) 등이 포함됩니다.

기존의 적응 전략들은 다음과 같은 결정적인 병목 현상에 직면해 있습니다:

1. 전체 데이터 파인튜닝(Full-data Fine-tuning): 타겟 도메인의 모든 태스크에 대해 광범위한 전문가 시연(expert demonstrations)이 필요하며, 이는 실제 환경(예: 가정 환경)에서 수집하기에 비용이 매우 많이 듭니다.
2. 원샷 파인튜닝(One-shot Fine-tuning): 데이터 효율적이지만, 단일 시연에 대한 표준 파인튜닝은 타겟 도메인의 미학습 태스크에 일반화되는 데 실패하는 경우가 많습니다. 즉, 환경적 변화를 학습하는 대신, 모델이 시연된 특정 태스크에 과적합되어 멀티태스크 능력을 상실하게 됩니다.

방법론: 도메인 산술 (DART)

저자들은 단 하나의 태스크에 대한 단일 시연만을 사용하여 VLA 모델을 변화된 환경에 적응시키는 유추 기반 프레임워크인 DART를 제안합니다. 이 방법은 원샷 파인튜닝된 가중치가 더해질 수 있고 분리 가능한 성분인 **태스크 특화 방향(task-specific directions)**과 **도메인 특화 방향(domain-specific directions)**으로 분해될 수 있다는 관찰에 근거합니다.

핵심 통찰

부공간 정렬 분석(subspace alignment analysis)을 통해, 저자들은 원샷 파인튜닝으로부터 얻은 업데이트 벡터($\Delta = \theta_{fine-tuned} - \theta_{base}$)가 태스크 특화 방향에 의해 지배된다는 것을 발견했습니다. 그러나 일관되고 더 작은 규모의 도메인 특화 성분이 존재하며, 이는 환경적 변화를 인코딩합니다. 저자들은 이러한 성분들이 언어 모델의 "queen = king + woman - man" 유추와 유사하게 선형적으로 가산 가능하고 직교한다고 가설을 세웠습니다.

알고리즘 단계

DART는 대규모 데이터로 재학습하지 않고도 베이스 정책($\theta_0$)을 적응시키기 위해 재사용 가능한 도메인 벡터($\tilde{\delta}_{tgt}$)를 추출합니다.

1. 업데이트 벡터 계산:

   • 베이스 모델을 타겟 도메인의 단일 태스크 시연($D_{m,tgt}$)으로 파인튜닝하여 타겟 도메인 업데이트 벡터($\Delta_{m,tgt}$)를 계산합니다.
   • 동일한 베이스 모델을 동일한 태스크 $T_m$에 대한 소스 도메인 시연($D_{m,src}$)으로 파인튜닝하여 소스 도메인 업데이트 벡터($\Delta_{m,src}$)를 계산합니다.

2. 도메인 벡터 추출 (유추 연산):

   • 도메인 방향을 격리하기 위해 뺄셈을 수행합니다: $\delta_{tgt} = \Delta_{m,tgt} - \Delta_{m,src}$.
   • 이 연산은 공유된 태스크 특화 방향을 상쇄하여 도메인 특화 변화만을 남깁니다.

3. 부공간 필터링 및 스케일링 (노이즈 감소):

   • 직접적인 뺄셈은 소스 도메인의 아티팩트를 유지하거나 파인튜닝 노이즈를 증폭시킬 수 있습니다. 이를 해결하기 위해 DART는 두 가지 정제 단계를 적용합니다.
     • 부공간 필터링(Subspace Filtering): 특이값 분해(SVD)를 사용하여 소스 업데이트 벡터에서 타겟 부공간과 정렬되지 않는 기저 벡터들을 식별하고 필터링합니다. 이는 소스 특화 노이즈가 추출된 도메인 벡터를 오염시키는 것을 방지합니다.
     • 부공간 스케일링(Subspace Scaling): 결과 도만한 벡터는 부공간 정렬 점수($\gamma$)에 의해 스케일링됩니다. 만약 소스와 타겟의 업데이트가 제대로 정렬되지 않으면(높은 노이즈나 무관성을 나타냄), 벡터의 가중치를 낮춥니다.

4. 모델 적응:

   • 정제된 도메인 벡터를 베이스 모델에 다시 더합니다: $\theta^* = \theta_0 + \alpha \cdot \tilde{\delta}_{tgt}$, 여기서 $\alpha$는 적응 강도를 조절하는 스칼라 계수입니다.

주요 기여

1. 가산성에 대한 경험적 증거: 본 논문은 VLA 모델의 원샷 파인튜닝된 가중치가 공유 가능한 가산적 태스크 및 도메인 특화 방향으로 분해된다는 증거를 제시합니다.
2. DART 프레임워크: 가중치 산술을 통해 태스크 특화 방향을 제거함으로써, 단일 샷 파인튜닝된 가중치 업데이트로부터 재사용 가능한 도메인 벡터를 추출하는 새로운 유추 기반 방법을 제안합니다.
3. 부공간 정제: 도메인 벡터 추출 과정에서 노이즈와 아티팩트를 완화하기 위해 부공간 필터링과 스케일링을 도입하여 견고한 적응을 보장합니다.
4. 아키텍처 불가지론(Architecture Agnosticism): 이 방법은 다양한 VLA 아키텍처(flow-matching $\pi0.5$ 및 autoregressive $\pi0-FAST$)와 다양한 변화 유형(시각 및 임보디먼트)에 걸쳐 작동함을 입증했습니다.

실험 결과

저자들은 LIBERO 벤치마크(시뮬레이션)와 실제 UR10e 로봇 설정을 통해 DART를 평가했습니다.

• 시뮬레이션 (새로운 시점): DART는 Small, Medium, Large 시점 변화 모두에서 제로샷(Zero-shot), 원샷 파인튜닝, FLA, RETAIN 등의 베이스라인을 크게 앞질렀습니다. 예를 들어, $\pi0.5$ 모델의 Medium 시점 변화에서 DART는 **80.8%**의 성공률을 달encing하여, 원샷 파인튜닝의 33.3% 및 FLA의 **76.4%**보다 높은 성능을 보였습니다.
• 결합된 섭동 (Combined Perturbations): DART는 복합적인 환경 변화(시점 + 노이즈 + 조명) 하에서도 우수한 성능을 유지하며 견고함을 입증했습니다.
• 교차 임보디먼트 (Cross-Embodiment): Panda 로봇에서 UR5e 로봇으로 정책을 전이할 때, DART는 성공률을 제로샷의 37.2%에서 **45.4%**로, 진행률(progress rate)을 **73.8%**로 향상시켜 원샷 파인튜닝 및 제로샷 베이스라인보다 뛰어난 성능을 보였습니다.
• 실제 환경: 새로운 시점의 UR10e 로봇을 대상으로 한 실험에서, DART는 적응을 위해 단 하나의 시연만을 사용하고도 5가지 태스크(미세 조작 포함)에 대해 평균 **81.7%**의 성공률을 달성하며 모든 베이스라인을 압도했습니다.
• 벡터 병합 (Vector Merging): 저자들은 서로 다른 타겟 도메인에서 추출된 도메인 벡터들을 하나의 벡터로 병합할 수 있음을 보여주었으며, 이를 통해 단일 모델이 여러 환경에 동시에 적응할 수 있음을 입증했습니다.

의의 및 주장

본 논문은 DART가 VLA 모델의 배포 병목 현상을 해결하는 데이터 효율적인 솔루션을 제공한다고 주장합니다. 가중치 업데이트의 구조적 특성을 활용함으로써, DART는 베이스 모델의 멀티태스크 능력을 보존하면서도 새로운 환경으로 전이할 수 있는 원샷 적응을 가능하게 합니다.

저자들은 기존의 방식처럼 방대한 데이터나 아키텍처 수정이 필요하지 않은 DART의 특성을 강조하며, DART가 다음과 같음을 명시합니다:

• 아키텍처 불가지론: 다양한 VLA 백본에 적용 가능합니다.
• 하이퍼파라미터 강건성: 넓은 범위의 스케일링 계수($\alpha$)에 대해 안정적입니다.
• 구성 가능성(Composable): 단일 파라미터 세트로 여러 변화를 처리하기 위해 도메인 벡터를 병합할 수 있습니다.

이 연구는 적응에 필요한 "도메인 지식"이 단일 시연으로부터 암시적으로 학습 가능하며 수학적으로 격리될 수 있음을 시사하며, 이는 다양하고 구조화되지 않은 실제 환경에 범용 로봇을 배치하기 위한 실질적인 경로을 제시합니다.