기술 요약: 영어를 넘어: 시각-언어-행동(VLA) 모델의 다국어 격차 규명

문제 정의

시각적 인지, 자연어 이해, 행동 생성을 통합하여 범용 로봇 정책을 개발하는 유망한 패러다임으로 시각-언어-행동(Vision-Language-Action, VLA) 모델이 부상했습니다. 그러나 현재 VLA 시스템에는 결정적인 한계가 존재합니다. 이들은 주로 영어 지시어를 사용하여 학습되고 평가된다는 점입니다. 기반이 되는 대규모 언어 모델(LLM)과 시각-언어 모델(VLM)은 종종 다국어 능력을 갖추고 있음에도 불구하고, 이러한 능력이 정렬(alignment) 과정 중에 행동 생성 공간으로 효과적으로 전이되는지는 여전히 불분명합니다.

본 논문이 다루는 핵심 문제는 영어 이외의 언어로 지시가 제공될 때 발생하는 성능 저하, 즉 "다국어 격차(multilingual gap)"의 가능성입니다. 이 격차는 로봇이 다양한 언어 입력을 이해해야 하는 글로벌 환경에서의 실세계 배포에 큰 장벽이 됩니다. 본 연구는 VLA가 로봇 행동에 정렬된 후에도 진정으로 다국어 이해력을 유지하는지 조사하고, 비영어 환경에서 발생하는 성능 저하의 근본 원인을 식려하고자 합니다.

방법론

1. 다국어 평가 프레임워크

저자들은 세 단계로 구성된 체계적인 평가 프레임워크를 제안합니다:

• 다국어 데이터셋 구축: 기존 로봇 조작 벤치마크(LIBERO 및 SimplerEnv)를 네 가지 대상 언어인 중국어(zh), 프랑스어(fr), 러시아어(ru), 아랍어(ar)로 번역하여 확장했습니다. 두 가지 상호작용 설정을 정의했습니다:
  • 다국어 지시어(Multilingual Instructions): 원래의 의미를 보존하는 직접 번역.
  • 코드 스위칭 지시어(Code-Switching Instructions): 번역된 텍스트에 영어의 핵심 동사와 명사를 혼합하여 삽입한 형태로, 일반적인 다국어 의사소통 시나리오를 시뮬레이션함.
  • 고품질의 지시어 변형을 생성하기 위해 Cloud Translation API와 LLM(명명 개체 인식 및 "LLM-as-a-Judge"를 통한 의미 일관성 검사)을 사용하는 파이프라인을 채택했습니다.
• 다국어 평가 어댑터: 모델 아키텍처나 환경 로직을 수정하지 않고도 평가 파이프라인에서 언어 입력을 원활하게 교체할 수 있는 경량 어댑터를 개발하여 언어 간 공정한 비교를 보장했습니다.
• 평가 프로토콜: 작업 성공률을 다양한 언어에 걸쳐 측정했습니다. 성능은 영어 설정과 다국어 설정 간의 성공률 차이로 계산되는 **상대적 성능(Relative Performance)**을 사용하여 정량화했습니다.

2. 실험 설정

• 모델: $\pi_0.5$, OpenVLA-OFT, ABot-M0, Cosmos Policy, 그리고 서로 다른 행동 헤드(OFT, FAST, $\pi$, GR00T)를 가진 다양한 Qwen-VL 기반 모델을 포함한 대표적인 VLA 모델들을 평가했습니다.
• 벤치마크: 물체 재배치, 도구 사용, 공간 조작 등의 작업을 포함하는 LIBERO 및 SimplerEnv 시뮬레이션 환경에서 실험을 수행했습니다.

3. 제안된 솔루션: 다국어 주성분 정렬 (MPCA)

다국어 지시어가 표현의 변화(representation shifts)를 유발한다는 발견에 착안하여, 저자들은 미세 조정(fine-tuning) 방식인 MPCA를 제안합니다.

• 메커니즘: MPCA는 주성분 분석(PCA)을 사용하여 언어 임베딩의 주성분 부공간(principal component subspace)을 식별합니다. 그 후, 투영된 다국어 표현을 이 부공간에 정렬합니다.
• 목표: 영어와 비영어 지시어 표현 간의 분포 차이를 줄여, 모델의 언어 간 일반화 능력을 향상시키는 것입니다.

주요 결과 및 발견

1. 상당한 다국어 격차의 존재

실험 결과, 주로 영어로 학습된 모델이 비영어 지시어로 평가될 때 상당한 성능 저하가 나타남을 확인했습니다.

• 기반 모델 의존성: 영어 중심 VLM(예: PaliGemma, Prismatic)을 기반으로 하는 모델은 심각한 성능 저하를 보였으며, 종종 지시어가 없는 모델과 유사한 성능을 보였습니다. 반면, 다국어 VLM(예: Qwen-VL)을 기반으로 하는 모델은 특히 중국어에 대해 더 나은 일반화 능력을 보여주었으나, 다른 언어들에 대해서는 여전히 격차가 존재했습니다.
• 시각적 맥락 증폭: 시각적 입력이 유사한 환경(예: LIBERO-Goal)에서 격차가 가장 두드러졌으며, 이는 시각적 단서가 모호할 때 언어 이해가 결정적인 차별점이 됨을 시사합니다.

2. 지시어 구조 및 행동 헤드의 영향

• 키워드의 중요성: 코드 스위칭 지시어(영어 키워드 포함)는 완전히 번역된 지시어보다 성능 저하가 적었습니다. 이는 핵심 동사와 명사가 VLA 이해에 매우 중요하다는 것을 나타냅end.
• 행동 헤드 설계: 행동 헤드의 아키텍처는 다국어 강건성에 큰 영향을 미칩니다.
  • 확산 기반 헤드(Diffusion-based heads) (GR00T 스타일, $\pi$ 스타일)는 기반 VLM의 의미 정보를 유지하고 분포 변화에 더 잘 적응하기 때문에 더 나은 성능을 유지했습니다.
  • 토큰 기반 헤드(Token-based heads) (FAST 스타일)는 토큰화 과정에서의 의미 정보 손실 가능성 때문에 더 낮은 성능을 보였습니다.
  • MLP 기반 헤드(MLP-based heads) (OFT 스타일)는 중간 정도의 성능을 보였으며, 다국어 입력으로 인한 분포 변화에 적응하는 데 어려움을 겪었습니다.

3. 근본 원인: 표현 변화(Representation Shift)

표현 분석(풀링된 임베딩 시각화)을 통해 다국어 격차가 표현 변화에서 기인함을 확인했습니다.

• 다국어 성능이 낮은 모델의 경우, 비영어 지시어의 임베딩이 잠재 공간(latent space)에서 영어 임베딩으로부터 멀리 떨어져 있었습니다.
• 성능이 좋은 모델(예: Qwen3-VL-$\pi$)의 경우, 영어와 중국어 임베딩이 밀접하게 정렬되어 있었으며, 이는 더 나은 일반화와 상관관계가 있었습니다.
• 실패 모드는 (1) 지시어 오해(언어 혼동으로 인해 완전히 잘못된 행동 생성)와 (2) 실행 실패(의도는 이해했으나 올바른 행동 시퀀스를 생성하지 못함)로 분류되었습니다.

4. MPCA의 효과

제안된 MPCA 전략은 다국어 성능 격차를 효과적으로 줄였습니다. 다국어 표현을 주성분 부공간에 정렬함으로써, MPCA는 비영어 환경에서의 작업 성공률을 개선하였으며, 다국어 강건성을 높이기 위한 실질적인 솔루션으로서의 잠재력을 입증했습니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 최초의 체계적 연구: 현재 연구에 만연한 영어 전용 가정을 넘어, VLA 모델의 다국어 지시어 이행에 대한 최초의 포괄적인 조사를 제시합니다.
2. 프레임워크 및 벤치마크: 언어 및 상호작용 설정 간의 통제된 비교를 가능하게 하는 다국어 평가 프레임워크와 LIBERO 및 SimplerEnv의 데이터셋 확장을 도입합니다.
3. 경험적 통찰: 현재 시스템의 상당한 다국어 격차를 밝혀내고, 기반 모델의 능력, 행동 헤드 설계, 지시어 구조가 이 격차에 어떻게 영향을 미치는지에 대한 상세한 분석을 제공합니다.
4. 실용적 솔루션: 표현 정렬을 활용하여 다국어 격차를 완화하는 단순하면서도 효과적인 미세 조정 방법인 MPCA를 제안하여, 더욱 강력하고 전 세계적으로 배포 가능한 embodied agent를 향한 경로를 제시합니다.

저자들은 VLA가 유망한 전망을 보여주고 있지만, 현재 다국어 능력이 미흡하며 영어 모델의 성능에 도달하기 위해서는 특정 아키텍처 및 훈련 개입이 필요하다고 결론짓습니다.