기술 요약: RoboSemanticBench

문제 정의

시각-언어-행동(VLA) 모델은 사전 학습된 언어 또는 시각-언어 백본의 의미론적 역량이 로봇의 행동 예측을 직접적으로 가이드해야 한다는 가정에 기반하고 있습니다. 이론적 프레임워크는 종-종 이러한 시스템을 두 가지 구조로 설명합니다: 지시와 관찰을 처리하는 저주파수의 "System-2 의미론적 전문가(System-2 Semantic Expert)"와 연속적인 제어 신호를 생성하는 고주파수의 "System-1 행동 전문가(System-1 Action Expert)"입니다.

그러나 본 논문은 현재의 VLA 사후 학습(post-training) 파이프라인이 이러한 의미론적 접지(semantic grounding)를 보존하는 데 실패할 수 있다고 주장합니다. 로봇 미세 조정 데이터셋은 언어 사전 학습 코퍼스보다 훨씬 작고 작업 특화적입니다. 결과적으로, 모방 학습 손실(imitation learning losses)은 의미론적 의사결정 과정이 약화되거나 행동 생성 경로와 결합 해제되더라도 조건부 행동 분포를 맞추는 것에 보상을 줄 수 있습니다. 즉, 정책(policy)이 언어 의미론을 사용하여 올바른 물리적 행동을 결정하기보다는 "지시-행동 지름길(instruction-action shortcuts)"이나 시각적 정규성을 학습할 수 있습니다. 기존 벤치마크들은 작업 성공 여부를 측정하지만, 운동 실행(motor execution), 객체 인식, 언어 접지를 혼동하여, 모델이 올바른 대상을 선택하기 위해 지시의 의미론을 진정으로 이해하고 있는지 여부를 분리해내지 못합니다.

방법론: RoboSemanticBench (RSB)

이러한 특정 실패 모드를 진단하기 위해, 저자들은 사후 학습된 VLA 모델이 복잡한 지시 의미론을 사용하여 올로바른 물리적 대상을 선택하고 조작할 수 있는지 테스트하도록 설계된 임바디드(embodied) 벤치마크인 **RoboSemanticBench (RSB)**를 도입합니다.

태스크 설계

각 RSB 에피소드에서 로봇은 다음을 제시받습니다:

1. 다지선다형 질문 (수학적 또는 일반 상식).
2. 장면 내에 물리적으로 보이는 후보 답변 블록 세트.
3. 정답에 해당하는 블록을 집으라는 지시.

물리적 행동은 단일 "pick-and-place" 프리미티브(primitive)로 고정됩니다. 의미론적 내용은 에피소드마다 달라지며, 정책은 다음을 수행해야 합니다:

• 문제를 해결함 (예: 산술 또는 상식 추론).
• 올바른 옵션 값을 식별함.
• 해당 옵션을 특정 가시적 블록에 바인딩함 (블록의 위치, 색상, 문자 할당은 에피소드마다 변함).
• 집기(grasp)를 실행함.

결정적으로, 정답 타겟은 고정된 시각적 특징(예: 특정 색상이나 위치)에 묶여 있지 않으며, 질문과 옵션-대상 매핑에 의해 동적으로 결정됩니다. 이는 지시 의미론이 행동 예측에 참여하는지를 격리하여 보여줍니다.

벤치마크 스위트(Suites)

RSB는 4지 선다 및 10지 선다 구성을 모두 포함하여 세 가지 의미론적 도메인을 다룹니다:

• RSB-Math: 패턴 매칭이 아닌 계산을 요구하는 절차적으로 생성된 산술 (덧셈, 뺄셈, 곱셈).
• RSB-HardMath: 자연어로부터 수량을 추출하고 구성적 추론을 요구하는 GSM8K 유래 초등 수학 문장제 문제.
• RSB-General: 일상적인 도구, 장소, 사실적 지식을 다루는 상식 QA 및 MMLU 유래 질문.

지표

저수준 제어 실패와 의미론적 접지 실패를 구분하기 위해, 논문은 세 가지 지표를 정의합니다:

1. 작업 성공률 (Task Success Rate, TSR): 로봇이 정확한 답변 블록을 집는 데 성공한 에피소드의 비율.
2. 집기 성공률 (Grasp Success Rate, GSR): 로봇이 어떠한 후보 블록이라도 집는 데 성공한 에피소드의 비율.
3. 정규화된 의미론적 접지 (Normalized Semantic Grounding, nSG): 저수준의 집기 능력을 배제한 점수입니다. 이는 후보 블록을 성공적으로 집었을 때의 정답 타겟 선택 확률을 무작위 베이스라인($1/N$)에 대해 정규화하여 측정합니다.
   • $nSG = 0$은 집은 블록 중 무작위로 선택함을 의미합니다.
   • $nSG < 0$은 무작위 선택보다 못한 선택을 함을 의미합니다.
   • $nSG > 0$은 성공적인 의미론적 접지를 의미합니다.

주요 기여

1. RoboSemanticBench (RSB): 수학 및 일반 지식 질문을 6개의 평가 스위트에 걸쳐 임바디드 답변 선택 태스크로 변환하는 통제된 진단 벤치마크.
2. 진단적 지표: 저수준의 집기 능력과 의미론적 타겟 선택을 분리하여, 지시 의미론이 행동 예측에 참여하는지를 명시적으로 진단하는 GSR, TSR, nSG의 정의.
3. 경험적 평가: 대표적인 VLA 모델들(OpenVLA, $\pi_0$, $\pi_0.5$, GR00T 등 포함)에 대한 포괄적인 평가를 통해 백본 수준의 의미론적 역량과 행동 예측 사이의 지속적인 간극을 밝힘.
4. 개입 분석: CoT 방식의 추론(ReasoningVLA)이나 VQA 공동 학습(cotraining)이 의미론적 접지 간극을 메울 수 있는지 테스트하는 실험.

결과

9개의 대표적인 VLA 모델을 평가한 결과 다음과 같은 결과가 도출되었습니다:

• 의미론적 접지 실패: 대부분의 모델은 높은 GSR(어떤 블록이든 성공적으로 집음)을 달eric하지만 낮은 TSR을 보입니다. 집기 성공을 기준으로 정규화했을 때, 대부분의 모델의 nSG 점수는 0에 가깝거나 그 이하입니다. 이는 모델이 후보 블록을 집는 데 성공하더라도, 어느 후보를 집을지에 대한 선택은 사실상 무작위이거나 무작위보다 못함을 나타냅니다.
• "간극(The Gap)": 모델의 객체 조작 능력과 지시 의미론을 사용하여 올바른 객체를 선택하는 능력 사이에 상당한 불일치가 존재합니다. 이 간극은 10지 선다 스위트에서 특히 두드_러집니다.
• 예외 ($\pi_0.5$): $\pi_0.5$ 모델은 가장 높은 평균 TSR과 유일하게 명확히 양수인 평균 nSG를 달성했습니다. 저자들은 이를 해당 모델이 사전 학습 중에 서브태스크 주석(subtask annotations)을 사용했기 때문으로 보며, 이것이 고수준 지시를 분해하는 데 약한 감독 신호를 제공했을 수 있다고 설명합니다. 그러나 $\pi_0.5$의 nSG조차도 여전히 완만합니다.
• 실패한 개입:
  • ReasoningVLA: 행동하기 전에 사고 사슬(Chain-of-Thought, CoT)을 생성하도록 강제하는 것은 TSR을 약간 향상시켰으나, 의미론적 결정을 행동 경로로 안정적으로 접지시키지는 못했습니다. 많은 실패 사례에서 CoT는 정답을 식별했음에도 불구하고, 로봇은 여전히 잘못된 블록을 집었습니다.
  • VLA 공동 학습 (VLA Cotraining): 로봇 미세 조정 중에 의미론적 역량을 보존하기 위해 VQA 감독을 추가하는 것은 오히려 성능을 감소시켰습니다. 이는 언어 중심의 보조 감독과 행동 학습 목표 사이의 충돌을 시사합니다.
• 객체 독립성: 문자가 적힌 블록을 일상적인 물건(장난감, 신발 등)으로 교체하는 실험을 통해, 이 실패가 "블록" 인터페이스의 단순함 때문이 아니라 행동 예측에서의 근본적인 의미론적 접지 문제임을 확인했습니다.

의의 및 주장

본 논문은 RSB가 현재 VLA 아키텍처의 핵심적인 한계인 의미론적 이해와 행동 생성 사이의 단절을 드러낸다고 주장합니다.

• 평가 이상의 진단: RSB는 단순한 성능 벤치마크가 아니라 진단 도구입니다. 이는 다른 벤치마크에서의 높은 작업 성공률이 모호할 수 있으며, 진정한 지시 이해가 아닌 시각적 지름길이나 데이터셋의 정규성에 의해 유도되었을 가능성을 드러냅니다.
• 학습의 한계: 결과는 강력한 사전 학습된 VLM 백본을 행동 전문가에 단순히 부착하는 것만으로는 불충분하다는 것을 시사합니다. 현재의 미세 조정 파이프라인(모방 학습)은 백본으로부터의 의미론적 결정을 행동 경로로 전달하는 데 자주 실패합니다.
• 미래 방향: 논문은 미래의 VLA 시스템이 선택된 의미론적 타겟을 유지하고 이를 장면 기반의 안정적인 형태로 행동 모듈에 노출하는 명시적인 훈련 목표와 인터페이스를 필요로 한다고 제언합니다. 목표는 행동이 지시 의미론에 진정으로 접지되도록 하여, 모방 지름길에 의존하지 않는 모델을 만드는 것입니다.

저자들은 VLA 모델이 조작을 위한 운동 프리미티브는 학습할 수 있지만, 복잡한 지시 의미론을 사용하여 어떤 행동이 옳은지 결정하는 데는 여전히 어려움을 겪고 있다고 결론지으며, "의미론적 전문가"와 "행동 전문가" 사이의 지속적인 간극을 강조합니다.