LangGap: Diagnosing and Closing the Language Gap in Vision-Language-Action Models

이 논문은 기존 비전 - 언어 - 행동 (VLA) 모델이 언어 지시를 제대로 이해하지 못한다는 점을 'LangGap' 벤치마크를 통해 규명하고, 데이터 증강으로 부분적인 개선은 가능하지만 언어 다양성이 증가할수록 모델의 학습 한계가 드러난다는 근본적인 문제를 제시합니다.

핵심

이 논문은 "로봇이 정말로 말을 이해하는 걸까, 아니면 그냥 눈으로 보고 기억만 하는 걸까?" 라는 아주 중요한 질문을 던집니다.

논문 제목인 LangGap(언어 간극) 은 로봇이 언어 지시를 얼마나 잘 이해하는지 그 '간극'을 측정하고, 그 간극을 메우기 위한 방법을 연구한 내용입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 발견: "눈만 믿는 로봇" (The Eye-Only Robot)

지금까지 최고의 로봇 AI 들은 책상 위 실험에서 95% 이상의 성공률을 보였습니다. 마치 천재처럼 보이죠. 하지만 연구진들은 의심을 품었습니다.

비유: imagine(상상해 보세요) 어떤 학생이 시험을 볼 때, 문제를 읽지 않고 문제 번호만 보고 정답을 외워서 맞히는 경우를 생각해 보세요.

• 문제: "1 번. 사과를 꺼내세요." → 정답: 사과 꺼내기 (100 점)
• 문제: "2 번. 배를 꺼내세요." → 정답: 사과 꺼내기 (0 점, 하지만 학생은 문제 번호 2 번을 보고 사과를 꺼냄)

연구진은 로봇들이 말 (언어) 을 무시하고, 눈 (시각) 으로만 상황을 기억하고 있다는 사실을 발견했습니다. 책상 위에 '사과'가 있고 '접시'가 있으면, 로봇은 "아, 이 장면에서는 사과를 접시에 올려야지"라고 외운 것뿐입니다. 만약 "배를 접시에 올려"라고 말해도, 로봇은 사과를 그대로 올려놓습니다.

2. 새로운 도구: LangGap (언어 간극 측정기)

기존의 테스트는 로봇이 "눈만 믿고" 문제를 풀 수 있게 되어 있었습니다. 그래서 연구진은 LangGap이라는 새로운 시험지를 만들었습니다.

비유: 같은 교실 (시각적 배경) 에서, 선생님이 매번 다른 지시를 내리는 상황을 상상해 보세요.

• 상황 A: "오른쪽의 사과를 접시에 올려."
• 상황 B: "오른쪽의 사과를 스토브에 올려." (장소는 같지만, 목표가 다름)
• 상황 C: "배를 접시에 올려." (물건이 다름)

이전에는 같은 장면에서 같은 일만 시켰지만, LangGap 은 같은 책상 위에 다양한 물건들을 두고, 언어 지시만 계속 바꿔가며 로봇을 테스트합니다. 이렇게 하면 로봇이 "눈으로 기억"하는 건 무용지물이 되고, 정말로 "말"을 이해해야만 문제를 풀 수 있게 됩니다.

3. 충격적인 진단 결과

이 새로운 시험을 로봇 (π0.5 모델) 에게 시켰더니 결과가 놀라웠습니다.

• 원래 문제 (외운 것): 95% 성공 (천재처럼 보임)
• 말만 바꾼 문제: 0% ~ 30% 성공 (완전 멍청해짐)

특히 목표 장소를 바꿨을 때 (Change Target) 로봇은 **완전히 0%**를 기록했습니다. "접시에 올려"라고 했을 때 "스토브에 올려"라고 말하면, 로봇은 아예 말을 듣지 않고 원래대로 접시에 올려놓습니다. 로봇은 말의 '의미'를 전혀 이해하지 못하고 있었습니다.

4. 해결 시도: "데이터로 가르치기" vs "한계"

연구진은 "그럼 로봇에게 더 많은 언어 지시를 가르쳐주면 되지 않을까?"라고 생각했습니다. 같은 책상에서 다양한 지시를 내리며 로봇을 훈련시켰습니다.

• 작은 규모 (하나만 가르칠 때): 로봇이 90% 까지 성공률을 높였습니다. "아, 이 경우엔 이렇게 하구나!"라고 기억을 잘 했습니다.
• 큰 규모 (다양한 지시 16 개, 56 개를 가르칠 때): 오히려 성능이 떨어졌습니다.

비유: 학생에게 "1 번 문제만 외우게 하면 100 점 맞지만, 100 개 문제를 다 외우게 하면 머리가 복잡해져서 아무것도 못 맞춘다"는 상황과 비슷합니다.
로봇은 새로운 언어 패턴을 '이해'하는 능력이 부족해서, 데이터가 많아질수록 혼란만 커진 것입니다.

5. 결론: 로봇은 아직 '말'을 배우는 중입니다

이 논문의 핵심 메시지는 다음과 같습니다.

1. 현재 로봇은 말을 잘 못 듣습니다. 시각적 기억에 의존할 뿐, 언어의 의미를 깊이 이해하지 못합니다.
2. 단순히 데이터를 많이 주면 해결되지 않습니다. 같은 장면을 반복해서 다양한 말로 가르쳐도, 로봇의 '이해 능력'은 한계가 있습니다.
3. LangGap 은 미래의 나침반입니다. 이 테스트는 로봇이 진짜로 말을 이해하는지, 아니면 그냥 외운 것인지 구별해 주는 도구입니다.

한 줄 요약:

"지금의 로봇 AI 는 말을 읽지 않고 눈으로만 기억하는 '암기왕'일 뿐입니다. LangGap 은 그 사실을 폭로하고, 로봇이 진짜로 말을 이해하는 '지성'을 갖출 수 있도록 도와주는 새로운 시험지입니다."

이 연구는 로봇이 단순히 정답을 맞추는 것을 넘어, 인간의 복잡한 지시를 진정으로 이해할 수 있는 미래를 위한 중요한 첫걸음입니다.

기술 요약

1. 문제 제기 (Problem Statement)

시각 - 언어 - 행동 (Vision-Language-Action, VLA) 모델은 표준 벤치마크 (예: LIBERO) 에서 95% 이상의 높은 성공률을 기록하고 있습니다. 그러나 저자들은 이러한 모델들이 실제로 언어 지시를 이해하지 못하고 시각적 단서 (Visual Shortcuts) 에만 의존하고 있다는 근본적인 문제를 발견했습니다.

• 기존 연구의 한계:
  • 진단 부족: 기존 연구는 언어가 무시된다는 포괄적인 결론만 내렸을 뿐, 어떤 구체적인 의미 차원 (명사, 위치, 공간 관계 등) 에서 실패하는지에 대한 세밀한 분석이 부족했습니다.
  • 벤치마크 결함: 기존 벤치마크 (LIBERO 등) 는 하나의 시나리오에 하나의 작업만 할당하여, 모델이 언어를 이해하지 않고도 시각적 패턴을 암기함으로써 작업을 수행할 수 있게 했습니다.
  • 데이터 다양성 부족: 학습 데이터의 언어적 다양성이 부족하여 (Modality Imbalance) 모델이 언어 신호를 학습하는 대신 시각적 신호에 편향되게 학습했습니다.

2. 방법론 (Methodology)

저자는 이 문제를 해결하기 위해 진단 (Diagnosis), 벤치마크 구축 (Benchmark), 학습 검증 (Training Validation) 의 세 가지 측면에서 접근했습니다.

A. 4 차원 의미 교란 프레임워크 (Semantic Perturbation Framework)

VLA 모델이 언어의 어떤 부분을 이해하지 못하는지 진단하기 위해, 시각적 레이아웃은 동일하게 유지하면서 언어 지시만 변경하는 4 가지 의미 교란 (Perturbation) 차원을 정의했습니다.

1. 객체 카테고리 변경 (Change Object): 조작 대상 객체의 종류 변경 (예: "그릇" → "ramekin").
2. 목표 위치 변경 (Change Target): 목표 위치 변경 (예: "접시 위에" → "스토브 위에").
3. 공간적 설명 변경 (Spatial Description): 동일 객체 카테고리 내 다른 인스턴스를 공간적 관계로 구분 (예: "ramekin 오른쪽의 그릇" → "접시 오른쪽의 그릇").
4. 서랍 행동 변경 (Drawer Action): 행동 유형 변경 (예: "놓기" → "서랍 열기").

B. LangGap 벤치마크 구축

• 설계 원리: 동일한 시각적 장면 (Scene) 에서 여러 개의 서로 다른 작업을 수행하도록 설계하여, 모델이 시각적 암기가 아닌 언어 이해를 통해만 작업을 구별할 수 있게 강제합니다.
• 구성: 3 개의 LIBERO 서트 (Spatial, Goal, Object) 를 기반으로 총 99 개의 작업 (기존 40 개 + 확장된 의미 교란 작업 59 개) 으로 구성되었습니다.
• 데이터 분할: 훈련 데이터와 테스트 데이터를 '지시문 (Instruction) 수준'으로 분리하여, 훈련 중 보지 못한 새로운 언어 지시를 테스트하도록 했습니다.

C. 학습 및 실험 설정

• 모델: SOTA 모델인 $\pi_0.5$ 를 기반으로 LoRA 를 사용하여 미세 조정 (Fine-tuning) 수행.
• 데이터 수집: Robosuite 환경에서 웨이포인트 기반 컨트롤러를 사용하여 약 2,400 개의 훈련 에피소드 (Demonstration) 를 수집했습니다.
• 실험 구성: 단일 작업, 소규모 다중 작업 (6 개, 16 개), 대규모 다중 작업 (45 개, 56 개) 등 다양한 스케일에서 데이터 증강의 효과를 검증했습니다.

3. 주요 기여 (Key Contributions)

1. 정밀한 진단 방법론 제안: 기존 연구가 놓쳤던 "목표 위치 변경"과 같은 특정 의미 차원에서의 실패 모드를 발견하고, 이를 4 차원 분류 체계로 정립했습니다.
2. LangGap 벤치마크 개발: 동일한 시각 입력 하에 다양한 언어 지시를 강제하여 모델의 진정한 언어 이해 능력을 평가하는 최초의 VLA 벤치마크를 제시했습니다.
3. 학습 한계 규명: 데이터 증강이 일정 규모까지는 효과적이지만, 작업의 의미적 다양성이 증가함에 따라 모델의 학습 용량이 부족해짐을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

A. 진단 결과 ($\pi_0.5$)

• 기존 작업: 93.8% 성공률 (시각적 암기 우세).
• 의미 교란 작업: 평균 21.4% 성공률로 급감 (-72.4% 하락).
• 세부 실패 패턴:
  • 목표 위치 변경 (Change Target): 0.0% (완전 실패). 모델은 언어로 지정된 목표 위치를 전혀 반영하지 못했습니다.
  • 객체 변경 (Change Object): 29.3%
  • 공간 설명 (Spatial Description): 11.0%
  • 서랍 행동 (Drawer Action): 31.7%
  • 결론: 모델은 객체나 행동보다는 공간적 목표 (Target Location) 를 언어적으로 이해하는 데 가장 심각한 결함을 보입니다.

B. 학습 및 확장성 결과

• 단일 작업 학습: 성공률이 3.75% 에서 90% 로 급증 (단순 암기 학습 가능).
• 소규모 다중 작업 (6 개 작업): 0% 에서 28% 로 개선.
• 대규모 다중 작업 (16 개 이상):
  • 확장된 데이터만 학습한 경우 (16-task): 성공률이 6.2% 로 하락.
  • 공식 데이터와 혼합 학습 (56-task): 전체 성공률은 27.5% 이지만, 확장된 작업 (Extended tasks) 에 대한 성능은 6.7% 에 그쳤습니다.
• 희석 효과 (Dilution Effect): 공식 데이터 (Official Data) 를 추가할수록, 새로운 의미적 변형에 대한 학습 효과가 희석되는 현상이 관찰되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 근본적 한계 규명: 현재 VLA 모델은 소규모 데이터에서는 언어 지시를 학습할 수 있으나, 의미적으로 다양하고 복잡한 언어 지시가 증가할 경우 모델의 학습 용량 (Learning Capacity) 이 부족하여 언어 이해가 제대로 이루어지지 않음을 밝혔습니다.
• 아키텍처 vs 데이터: 단순히 데이터 다양성만 늘리는 것만으로는 해결이 어렵습니다. 언어 이해를 위한 전용 메커니즘이 포함된 아키텍처 개선과 의미적으로 풍부한 데이터를 결합한 접근이 필요함을 강조합니다.
• 향후 방향: LangGap 은 VLA 모델의 진정한 언어 이해 능력을 평가하기 위한 장기적인 자원으로 활용될 수 있으며, "목표 위치"와 같은 공간적 관계 이해를 위한 아키텍처 설계의 중요성을 시사합니다.

이 논문은 VLA 모델이 표준 벤치마크에서 높은 성능을 보임에도 불구하고, 실제 환경에서 변화하는 언어 지시를 이해하는 데는 심각한 격차 (LangGap) 가 있음을 체계적으로 증명하고, 이를 해결하기 위한 새로운 평가 기준과 연구 방향을 제시했다는 점에서 의의가 큽니다.