🤖 AI

VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling

이 논문은 비전 - 언어 - 행동 (VLA) 모델의 견고성 저하가 물리적 모델링이 아닌 공간 모델링의 불일치에서 비롯되며, Feature Token Modulation(FTM) 과 Feature Linear Adaptation(FLA) 과 같은 경량화된 1 회 적응 프레임워크를 통해 최소한의 파라미터 업데이트만으로도 시점 일반화 성능을 획기적으로 복원할 수 있음을 보여줍니다.

원저자: Weiqi Li, Quande Zhang, Ruifeng Zhai, Liang Lin, Guangrun Wang

게시일 2026-04-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weiqi Li, Quande Zhang, Ruifeng Zhai, Liang Lin, Guangrun Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍳 핵심 비유: 요리사의 '눈'과 '손'

로봇을 한 명의 요리사라고 상상해 보세요.

눈 (Spatial Modeling): 로봇이 카메라로 세상을 보는 방식입니다. "그릇이 어디에 있는지, 손잡이가 어느 방향을 향하는지"를 파악하는 역할이죠.
손 (Physical Modeling): 로봇이 실제로 그릇을 잡고 들어 올리는 행동과 논리입니다. "그릇을 들어야 한다"는 명령을 받아 실행하는 역할이죠.

기존의 연구자들은 로봇이 새로운 각도 (예: 위에서 내려다보는 시점 vs 옆에서 보는 시점) 에서 실패할 때, **"아, 이 요리사가 아직 요리 기술 (손) 이 부족해서 그런가?"**라고 생각했습니다. 그래서 더 많은 요리 실습 (데이터) 을 시키거나, 요리사 전체를 다시 훈련시키는 데 막대한 비용과 시간을 들였습니다.

하지만 이 논문의 저자들은 **"아니요! 요리사 (손) 는 이미 천재입니다. 문제는 '눈'이 새로운 각도에서 세상을 잘못 보고 있어서 혼란을 겪는 것뿐입니다"**라고 말합니다.

🔍 이 논문의 핵심 발견: "눈만 고치면 됩니다"

연구진은 로봇의 '눈' (시각 인코더) 이 새로운 카메라 각도에서 시각 정보를 잘못 해석한다는 사실을 발견했습니다. 마치 안경을 잘못 썼을 때 사물이 흐릿하게 보이거나 왜곡되어 보이는 것과 같습니다.

그래서 그들은 전체 요리사를 다시 훈련시키는 대신, '눈'만 아주 가볍게 수정하는 두 가지 방법을 제안했습니다.

1. 방법 A: "안경 도수만 살짝 조절하기" (Feature Token Modulation, FTM)

비유: 요리사의 안경 도수를 아주 미세하게 조절하는 것과 같습니다.
작동 원리: 로봇이 보는 이미지 데이터에 아주 간단한 수학적 보정 (크기 조절과 위치 이동) 을 가합니다.
효과: **매우 적은 파라미터 (4,000 개)**만 추가해도, 로봇의 성공률이 48% 에서 **87%**로 급상승합니다. 마치 안경을 고치자마자 사물이 선명해져서 요리사가 다시 일을 잘하게 된 것과 같습니다.

2. 방법 B: "눈의 렌즈 구조를 최적화하기" (Feature Linear Adaptation, FLA)

비유: 안경의 렌즈 구조를 조금 더 정교하게 다듬어주는 것입니다.
작동 원리: 로봇의 시각 처리 장치 (ViT) 내부의 특정 부분만 아주 효율적으로 업데이트합니다.
효과: 약 470 만 개의 파라미터만 사용해서 **90.8%**의 성공률을 달성했습니다. 기존에 전체를 다시 훈련시키는 방법 (LoRA) 은 4 억 6,700 만 개의 파라미터를 썼는데, 우리 방법은 99 배나 적은 비용으로 더 좋은 결과를 냈습니다.

🚀 왜 이것이 중요한가요?

비용 절감: 로봇을 새로운 환경 (예: 집안에서 공장으로 이동) 에 투입할 때, 수만 번의 실습 데이터를 다시 수집하고 훈련시킬 필요가 없습니다. **한 번의 시연 (One-shot)**만 보여주면 로봇이 새로운 시야에 적응합니다.
잠재력 발견: 기존에 훈련된 로봇 모델들은 이미 아주 똑똑합니다. 다만, 시야가 바뀌었을 때 '눈'이 혼란을 겪을 뿐, '손'은 여전히 훌륭합니다. 이 논리는 **"기존 모델을 버리지 말고, 눈만 고쳐주면 된다"**는 것을 증명합니다.
실제 적용: 논문 말미에 실제 로봇 (Franka Panda) 을 이용해 실험한 결과도 있습니다. 새로운 각도에서 로봇이 "그릇을 들어라", "서랍을 당겨라"는 명령을 완벽하게 수행하는 모습을 보여주었습니다.

💡 한 줄 요약

"로봇이 새로운 곳에서 일을 못 하는 건 실력이 부족해서가 아니라, 카메라 각도 때문에 '눈'이 혼란을 겪어서입니다. 전체를 다시 가르칠 필요 없이, '눈'만 아주 가볍게 고쳐주면 로봇은 즉시 다시 천재가 됩니다!"

이 연구는 로봇이 더 유연하고 저렴하게 우리 일상 속으로 들어올 수 있는 중요한 디딤돌이 될 것입니다.

1. 문제 정의 (Problem)

비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델은 사전 학습된 대규모 데이터셋을 기반으로 특정 분포 (in-distribution) 내에서는 뛰어난 성능을 보이지만, 새로운 카메라 시점 (viewpoint), 조명 변화, 배경 질감, 노이즈 등 시각적 교란 (visual perturbations) 이 발생하면 성능이 급격히 저하되는 취약성 (brittleness) 을 보입니다.
기존 연구들은 이러한 문제를 해결하기 위해 대규모 데이터 수집 (데이터 중심) 이나 복잡한 3D 인식 아키텍처 도입 (표현 중심) 에 의존해 왔으나, 이는 비용이 많이 들고 실용성이 낮다는 한계가 있었습니다.

이 논문은 VLA 모델의 실패 원인이 **물리적 모델링 (Physical Modeling, 즉 작업 의미론과 행동 생성)**의 부족이 아니라, **공간 모델링 (Spatial Modeling, 즉 이미지 내 객체 간의 공간 관계 파악)**의 불일치 (misalignment) 에 기인한다고 주장합니다. 즉, 고수준의 정책 (policy) 은 여전히 유효하지만, 새로운 시점에서 추출된 시각적 임베딩이 공간적으로 왜곡되어 하위 행동 생성 모듈과 정렬되지 않기 때문에 실패한다는 것입니다.

2. 방법론 (Methodology)

저자들은 사전 학습된 VLA 모델의 전체를 재학습하지 않고, **시각 표현 (Visual Representations) 만을 경량화 (lightweight) 된 방식으로 재보정 (recalibrate)**하는 원샷 (One-Shot) 적응 프레임워크를 제안했습니다. 이 프레임워크는 두 가지 핵심 기법으로 구성됩니다.

A. Feature Token Modulation (FTM)

개념: 시각 토큰 임베딩에 전역적인 아핀 변환 (Affine Transformation) 을 적용하는 방법입니다.
구현: 학습 가능한 두 개의 파라미터 벡터 ( $\gamma, \beta$ $γ, β$ ) 를 사용하여 시각 토큰을 재조정합니다.
- 수식: $\hat{F} = (1 + \gamma) \odot F + \beta$
특징: 시각 인코더의 전체 가중치는 고정 (frozen) 하고, 오직 토큰의 스케일과 시프트만 학습합니다. 파라미터 수는 약 4K에 불과합니다.
목적: 시각적 공간 표현의 불일치를 빠르게 보정하여 모델이 새로운 도메인에 적응하도록 유도합니다.

B. Feature Linear Adaptation (FLA)

개념: ViT (Vision Transformer) 인코더 내부의 선형 계층 (Linear Layers) 에 LoRA (Low-Rank Adaptation) 기반의 저랭크 업데이트를 적용하는 방법입니다.
구현: ViT 의 선형 레이어 가중치 $W$ 를 $W' = W + BA $로 수정하며,$ A $와$ B$만 학습합니다.
특징: FTM 보다 더 깊은 수준의 특징 재정렬을 가능하게 하며, 총 4.7M개의 파라미터만 학습합니다.
효과: LoRA 전체 모델 파인튜닝 (약 467M 파라미터) 과 유사한 성능을 내면서 파라미터 효율성을 극대화합니다.

C. 평가 벤치마크: Libero-V (Visual)

기존 LIBERO 벤치마크를 확장하여, 카메라 시점, 조명, 배경 질감, 센서 노이즈 등 4 가지 유형의 시각적 교란을 체계적으로 추가한 Libero-V를 구축했습니다. 이를 통해 다양한 분포 이동 (distribution shift) 하에서의 견고성을 평가합니다.

3. 주요 기여 (Key Contributions)

VLA 취약성 원인 규명: VLA 모델의 시점 변화에 따른 성능 저하는 '물리적 모델링'의 실패가 아니라 '공간 모델링'의 시각적 임베딩 불일치에서 비롯됨을 이론적, 실험적으로 증명했습니다.
경량화 원샷 적응 프레임워크 제안: FTM 과 FLA 를 통해 시각 표현만 미세하게 조정함으로써, 대규모 재학습 없이도 견고성을 회복하는 방법을 제시했습니다.
SOTA 성능 달성: 기존 LoRA 파인튜닝이나 GeoAware-VLA 와 같은 기존 방법들을 능가하는 일반화 성능을 달성하면서도, 파라미터 효율성은 수백 배 (99 배 이상) 향상시켰습니다.

4. 실험 결과 (Results)

Libero 벤치마크 (새로운 시점):
- FTM: 4K 파라미터만 학습하여 성공률을 48.5% (Zero-shot) 에서 **87.1%**로 향상시켰습니다.
- FLA: 4.7M 파라미터로 **90.8%**의 성공률을 기록하여, 467M 파라미터를 사용하는 LoRA 파인튜닝 (90.3%) 을 능가했습니다.
Libero-V 벤치마크 (다양한 교란):
- FLA 는 조명, 질감, 노이즈 등 다양한 시각적 교란에서도 일관된 높은 성능 (평균 94.8%) 을 보였으며, 이는 LoRA 파인튜닝과 유사하거나 더 나은 수준입니다.
실제 로봇 실험 (Real-World):
- Franka Emika Panda 로봇을 이용한 실제 실험에서, 새로운 시점과 불완전한 데모 데이터 (sub-optimal demonstrations) 하에서도 FLA 가 성공적으로 작업을 수행하여 방법론의 실용성을 입증했습니다.
이론적 분석:
- 시각적 표현의 드리프트 (drift) 가 정책 성능 저하의 상한선임을 수학적으로 증명하고, 아핀 변환이나 저랭크 보정이 이를 회복하기에 충분함을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 사전 학습된 VLA 모델이 이미 강력한 일반화 잠재력을 가지고 있으며, 이를 활성화하기 위해 더 많은 데이터나 복잡한 아키텍처가 필수는 아님을 보여줍니다.

패러다임 전환: "더 많은 데이터"나 "3D 인식 모델"에 의존하는 기존 접근법에서, **표현의 정렬 (Representation Alignment)**을 통한 효율적인 적응으로의 패러다임 전환을 제안합니다.
실용성: 극소수의 파라미터만 업데이트하여 실시간으로 새로운 환경에 적응할 수 있으므로, 실제 로봇 시스템의 배포 비용과 시간을 획기적으로 줄일 수 있습니다.
미래 전망: embodied AI 의 견고성 (robustness) 을 확보하는 데 있어, 효율적이고 표적화된 (targeted) 특징 적응 메커니즘이 핵심임을 시사합니다.

요약하자면, 이 연구는 VLA 모델의 시점 불변성 문제를 시각적 표현의 공간적 정렬 오류로 해석하고, 이를 해결하기 위해 FTM 과 FLA라는 경량화된 기법을 통해 99 배 이상의 파라미터 효율성을 달성하면서도 최고 수준의 성능을 이끌어냈다는 점에서 매우 중요한 의의를 가집니다.