CAST: Counterfactual Labels Improve Instruction Following in Vision-Language-Action Models

기술 요약: CAST – 시각-언어-행동 모델의 지시 이행 능력을 향상시키는 반사실적 레이블링

문제 정의
범용 로봇은 다양하고 개방된 어휘의 언어 지시를 따를 수 있는 능력이 필요합니다. 시각-언어-행동(Vision-Language-Action, VLA) 모델은 언어를 로봇의 행동으로 매핑하는 유망한 아키텍처를 제공하지만, 현재 미세한 지시 이행(fine-grained instruction following)에는 어려움을 겪고 있습니다. 주요 한계점은 기존 로봇 데이터셋의 의미론적 다양성과 언어 접지(language grounding)의 부족입니다. 많은 데이터셋에서 관측값(observations)은 특정 행동과 밀접하게 연관되어 있습니다(예: 서랍장을 보면 "서랍을 열다"라는 행동이 연상됨). 이는 사후 붕괴(posterior collapse) 현상을 초축합니다. 이 현상에서 정책(policy)은 언어 입력이 추가적인 예측 정보를 제공하지 못한다고 판단하여, 언어 입력을 무시하고 오직 시각적 관측값만을 통해 과업을 추론하는 법을 학습하게 됩니다. 또한, 기존 데이터셋은 유사한 관측값에 대해 미세한 과업 다양성이 부족한 경우가 많으며, 일부 내비게이션 데이터셋은 언어 레이블 자체가 결여되어 있습니다. 이러한 문제를 해결하기 위해 데이터 큐레이션을 확장하는 것은 비용이 많이 들고 번거로운 작업입니다.

방법론: 합성 궤적을 이용한 반사실적 증강 (CAST)
저자들은 기존의 정제되지 않은 로봇 궤적 데이터셋을 위해 시각-언어 모델(VLM)을 활용하여 반사실적 언어 레이블과 합성 행동을 생성하는 데이터 증강 프레임워크인 CAST를 제안합니다. 핵심 통찰은 동일한 관측값에 대해 서로 다른 지시(instruction)에 의해 유도되는 여러 개의 구별된 행동들을 정책이 학습하도록 함으로써, 모델이 올바른 행동을 예측하기 위해 반드시 언어 입력에 주목하도록 강제하여 사후 붕괴를 완화하는 것입니다.

CAST 파이프라인은 네 가지 주요 단계로 작동합니다:

1. 결정 지점 식별 (Decision Point Identification): 기존 궤적을 행동 변화(예: 회전, 정지)를 기준으로 원자적 청크(atomic chunks)로 분할합니다. 이 경계선들은 결정 지점 역할을 합니다.
2. 반사실적 지시 생성 (Counterfactual Instruction Generation): 각 결정 지점에서 VLM(구체적으로 Gemini 2.5 Pro)에 현재의 관측값과 원래의 궤적 문맥을 함께 쿼리합니다. VLM은 그럴듯한 반사실적 지시(예: 실행된 "오른쪽으로 회전" 대신 "왼쪽으로 회전")와 그에 대응하는 원자적 명령(예: "왼쪽으로 회전")을 생성합니다.
3. 합성 행동 생성 (Synthetic Action Generation): 단순한 원자적 명령(예: "앞으로 가기", "왼쪽으로 회전")을 따르도록 실제 로봇 데이터로 학습된 사전 학습된 원자적 정책($\pi_a$)을 사용하여, 이러한 반사실적 지시에 대한 실제 행동 청크를 생성합니다. 이 정책은 원래의 궤적에서 분기하여 새로운, 그럴듯한 "반사실적 종단(counterfactual ending)"을 만들어냅니다.
4. 데이터셋 증강 (Dataset Augmentation): 기존 궤적은 이 새로운 $(observation, counterfactual\_instruction, counterfactual\_action)$ 튜플들로 증강됩니다. 이렇게 확장된 데이터셋은 최종 VLA 정책인 CounterfactualVLA를 학습시키는 데 사용됩니다.

저자들은 상호 정보량(mutual information)에 기반하여 이론적 근거를 제공합니다. 그들은 언어 이행 능력이 관측값($o$)이 주어졌을 때 행동($a$)과 언어($\ell$) 사이의 상호 정보량 $I(a; \ell|o)$를 최대화함으로써 향상된다고 주장합니다. CAST는 주어진 관측값에 대한 원자적 명령의 엔트로피($H(\ell_a|o)$)를 높이는 동시에, 해당 원자적 명령이 전체 지시로부터 예측 가능하도록($H(\ell_a|\ell, o)$) 함으로써 이 상호 정보량의 하한(lower bound)을 효과적으로 끌어올립니다.

구현 세부 사항
저자들은 두 가지 도메인에서 CAST를 구현했습니다:

• 내비게이션 (Navigation): GNM 데이터셋(실내/실외)을 사용하여, 레이블이 없는 데이터에 초기 레이블을 생성하기 위한 히indsight relabeling 파이프라인을 채택했습니다. 궤적을 원자적 행동(왼쪽/오른쪽 회전, 앞으로 가기, 정지)으로 분할하여 원자적 정책을 학습시킵니다. VLM은 반사실적 내비게이션 프롬프트를 생성하며, 원자적 정책은 그에 대응하는 행동 청크를 합성합니다.
• 조작 (Manipulation): Bridge 데이터셋을 사용하여, 기존의 과업 수준 레이블과 하위 과업 분해(예: "집어 올리기", "~로 이동하기")를 원자적 명령으로 활용합니다. VLM은 반사실적 과업(예: 물체를 다른 표면에 놓기)을 생성하며, 사전 학습된 조종 가능 정책(Steerable Policy)이 행동을 생성합니다.

두 경우 모두, 최종 CounterfactualVLA는 시간적 일관성을 보장하기 위해 액션 청킹(action chunking)을 사용하여 학습된 3B PaliGemma VLM의 미세 조정 버전입니다.

실험 결과
저자들은 다음과 같은 관점에서 방법론을 평가했습니다:

• 레이블 품질 (Label Quality): 인간 평가자가 생성된 레이블이 객체, 움직임, 장면 접지 측면에서 정확한지 평가했습니다. 반사실적 레이블은 정확하고 그럴듯한 것으로 나타났습니다.
• 내비게이션 성능 (Navigation Performance): CounterfactualVLA는 세 가지 환경(사무실, 주방, 야외 공원)에서 27개의 지시 이행 과업에 대해 테스트되었습니다. 과업에는 객체 내비게이션, 참조 내비게이션(공간 관계), 연속 내비게이션이 포함되었습니다.
  • CounterfactualVLA는 증강되지 않은 데이터로 학습된 VLA보다 27% 높은 성능을 보였습니다.
  • 베이스라인보다 두 배 높은 성공률을 달ей했습니다.
  • 해당 도메인의 최첨단(SOTA) 방법론들보다 우수한 성능을 기록했습니다.
• 조작 성능 (Manipulation Performance): 방해 요소가 있는 pick-and-place 과업에 대한 평가에서, 이 방법은 표준 데이터로 학습된 VLA 대비 27%의 성능 향상을 보여주었습니다.

의의 및 주장
본 논문은 CAST가 추가적인 실제 세계의 데이터 수집 없이도 VLA 정책의 조종 가능성(steerability)과 지시 이행 능력을 향상시킬 수 있는 확장 가능하고 데이터 효율적인 방법을 제공한다고 주장합니다. 기성 VLM을 활용하여 반사실적 데이터를 생성함으로써, 이 방법은 현재 데이터셋에 내재된 "사후 붕괴" 문제를 해결합니다. 저자들은 이 연구를 "진정한 오픈셋 로봇 언어 이행을 향한 첫 걸음"으로 규정하며, 기존 데이터셋을 합성된 반사실적 데이터로 증강하는 것이 다양한 환경에서 복잡하고 미세한 명령을 따르는 로봇의 능력을 크게 향상시킬 수 있음을 입증했습니다. 연구의 촉진을 위해 코드, 데이터 및 체크포인트는 오픈 소스로 공개되었습니다.