기술 요약: 언어는 언제 중요한가? 다국어 지침을 통한 시각-언어-행동(VLA) 모델의 단계별 언어 민감도 규명

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 시각적 관찰과 자연어 지침을 행동 시퀀스로 매핑함으로써 언어 조건부 로봇 조작에서 강력한 성능을 입증해 왔습니다. 그러나 언어적 변이에 대한 이들의 강건성(robustness)은 여전히 제대로 이해되지 않은 상태입니다. 언어 및 시각-언어 모델에서는 다국어 강건성이 탐구되어 왔으나, VLA 모델은 고유한 과제에 직면해 있습니다. 즉, VLA 모델은 폐쇄 루프(closed-loop) 환경에서 연속적인 행동 스트림을 생성하며, 이 과정에서 언어로 인한 오류가 시간이 지남에 따라 누적되어 장기 실행(long-horizon execution)에 돌이킬 수 없는 영향을 미칠 수 있습니다.

현재의 VLA 시스템은 대개 영어 전용 지침을 가정합니다. 이를 비영어권 언어로 번역할 경우, 모델은 심각한 성능 저하를 보입니다. CLAIM과 같은 기존의 접근 방식은 균일한 교차 언어 정렬(uniform cross-lingual alignment)을 가정하며, 이는 언어의 변화가 실행 단계 전반에 걸쳐 고르게 분포되어 있다고 전제합니다. 본 논문은 이러한 가설에 이의를 제기하며, 언어의 영향은 시간에 따라 매우 불균일하며, 다국어 강건성을 정적인 글로벌 정렬 문제로 취급하는 것은 체화된 에이전트(embodied agents)에게 불충분하다고 주장합니다.

방법론

1. 체계적인 다국어 평가

저자들은 LIBERO 벤치마크를 10개 언어(영어, 중국어, 일본어, 한국어, 프랑스어, 스페인어, 아랍어, 태국어, 포르투갈어, 베트남어)로 번역하여 VLA 모델에 대한 첫 번째 체계적인 다국어 평가를 수행했습니다. 이들은 OpenVLA-OFT와 $\pi0.5$라는 두 가지 서로 다른 아키텍처를 평가했습니다.

2. 단계별 언어 민감도 분석

실패가 어디서, 그리고 왜 발생하는지 이해하기 위해 저자들은 단계별 분석 프레임워크를 도입했습니다:

• 편차 측정: 각 실행 단계에서 비영어 지침과 영어 지침에 의해 생성된 은닉 표현(hidden representations) 사이의 코사인 거리를 측정했습니다.
• 그래디언트 기반 민감도: 영어 참조 없이 추론 시 언어 결정적 단계를 식별하기 위해, **텍스트-이미지 그래디언트 비율(text–image gradient ratio)**을 계산했습니다. 언어 토큰($g_{lang}$)과 시각 토큰($g_{vis}$)에 대한 예측 행동의 그래디언트를 계산함으로써, 민감도 점수 $r_t = g_{lang} / (g_{vis} + \epsilon)$를 도출했습니다.
• 결과: 높은 그래디언트 비율(높은 언어 의존도)을 보이는 단계는 영어 표현과의 큰 편차를 보이는 단계와 강한 상관관계를 보였습니다. 이는 언어의 영향이 시간적으로 국소화되어 있으며, 특정 "핫스팟(hotspots)"이 작업 실패를 유발함을 확인시켜 주었습니다.

3. 단계별 추론 시 개입 (Step-wise Inference-Time Intervention)

민감도 분석을 바탕으로, 저자들은 재학습 없이 추론 시점에 작동하는 단계별 정렬 전략을 제안했습니다:

• 오프라인 단계: 사전 계산된 언어 민감도 점수에 따라 인덱싱된 영어 훈련 궤적으로부터 은닉 표현의 참조 세트를 구축합니다.
• 온라인 단계:
  1. 검색(Retrieval): 주어진 비영어 단계에 대해, 코사인 유사도를 기반으로 $K$개의 가장 가까운 영어 참조 표현을 검색합니다.
  2. 게이팅(Gating): 검색된 이웃 중 상위 민감 단계에 속하는 비율이 임계값 $\tau$를 초과하는지 확인하여 현재 단계가 언어 결정적인지 판단합니다.
  3. 정렬(Alignment): 해당 단계가 결정적이라면, 검색된 영어 참조들의 유사도 가중 평균을 계산하고 현재 은닉 표현을 업데이트합니다: $h_{aligned} = h_t + \alpha I_t (\bar{h}_t - h_t)$.
  4. 실행(Execution): 정렬된 표현을 후속 레이어에 전달하여 행동을 생성합니다.

4. 데이터 효율적 학습

저자들은 또한 단계별 민감도를 사용하여 파인튜닝(fine-tuning)을 가이드하는 방법을 탐구했습니다. 모든 단계의 파라미터를 업데이트하는 대신, 식별된 언어 결정적 단계로 업데이트를 제한하여 전체 파인튜닝 및 무작위 단계 선택과 비교했습니다.

주요 결과

다국어 성능 저하

개입이 없을 때, VLA 모델은 비영어 지침 하에서 상당한 성능 저하를 겪습니다. 다양한 작업(Spatial, Object, Goal, Long)에서 성공률이 영어 대비 30–50% 하락했습니다. 예를 들어, "Goal" 작업에서 OpenVLA-OFT의 성공률은 영어 기준 97.9%에서 아랍어의 경우 6.4%까지 떨어졌습니다.

단계별 개입의 효과

• 추론 시점: 제안된 단계별 정렬은 베이스라인보다 성능이 크게 향상되었습니다. OpenVLA-OFT의 경우, 비영어 언어 전반에 걸쳐 평균 성공률이 약 51.7%(베이스라인)에서 **68.8%(단계별 이동)**로 개선되었습니다. $\pi0.5$의 경우, 약 56.7%에서 **80.3%**로 향상되었습니다.
• 비교: 균일한 정렬(평균 이동, Average shift)은 불안정한 결과를 낳았고 때로는 성능을 저하시켰습니다. 영어 사고 사슬(English Chain-of-Thought, EN-CoT)은 제한적이고 일관되지 않은 이득만을 제공하여, 추론 기반 프롬프트를 행동 생성 정책에 적용하는 것의 어려움을 보여주었습니다.
• 시각화: 은닉 표현 분포는 단계별 정렬이 비영어 표현을 영어 참조 쪽으로 효과적으로 이동시키지만, 오직 결정적인 단계에서만 그러함을 보여주었습니다.

학습 효율성

파인튜닝에 적용했을 때, 언어 결정적 단계(단계의 50%)로 업데이트를 제한하면 더 적은 업데이트로도 전체 파인튜닝과 대등한 성능(OpenVLA-OFT 기준 평균 성공률 85.5% vs 86.8%)을 달성했습니다. 무작위 단계 선택은 훨씬 낮은 성능(44.9%)을 보여, 식별된 단계가 의미 있는 언어-행동 의존성을 포착함을 확인시켜 주었습니다.

실패 분석

100개의 실패 사례 분석 결과, 다국어 성능 저하는 주로 지침-시각 접지(instruction-to-visual grounding) 오류에 의해 발생했습니다.

• **53%**의 실패는 Navigate(대상 위치/수납함 식별) 프리미티브에서 발생했습니다.
• **18%**는 Grasp에서 발생했습니다.
• 실패는 Place, Open/Close, 또는 Push와 같은 후기 단계 프리미티브에서는 덜 빈번하게 나타났습니다.
  이는 언어 결정적 단계가 저수준의 운동 제어보다는 의미론적 대상 선택과 밀접하게 연관되어 있음을 나타냅니다.

의의 및 주장

본 논문은 VLA 모델의 언어 강건성이 글로벌한 표현 정렬 문제가 아니라 근본적으로 **단계별 제어 문제(step-wise control problem)**라고 주장합니다.

1. 시간적 구조: 저자들은 언어의 영향이 매우 불균일함을 입증했습니다. 특정 단계가 전체 작업 실패를 지배하는 반면, 다른 단계들은 언어와 무관합니다.
2. 타겟 개입: 균일한 정렬은 불충분하며 잠재적으로 해로울 수 있습니다. 언어에 민감한 단계에서 선택적인 개입을 하는 것이 언어 불가지론적(language-agnostic) 단계에 노이즈를 도입하지 않으면서 강건성을 높이는 데 필요합니다.
3. 효율성: 단계별 민감도 분석은 효과적인 추론 시점 교정과 데이터 효율적인 학습을 가능하게 하여, 더 적은 업데이트로 성능 회복을 가능하게 합니다.
4. 광범위한 시사점: 이 연구는 정적인, 총체적인 관점을 넘어, 미래의 체화된 에이전트 시스템에서 시간적으로 구조화된 분석과 개입의 필요성을 강조합니다.

저자들은 실험이 시뮬레이션에서 수행되었으며, 추가적인 노이즈와 불확실성이 존재하는 실제 로봇 시스템으로 이러한 결과가 어떻게 전이될지는 여전히 열려 있는 과제임을 인정하며 한계점을 명시했습니다. 또한 VLA 아키텍처가 진화함에 따라 단계별 민감도의 성격이 변할 수 있으며, 이에 따른 전략의 미래 적응이 필요할 수 있다고 제언했습니다.