기술 요약: 런타임 추론-행동 정렬 검증을 통한 시각-언어-행동 모델의 스티어링(Steering)

문제 정의

시각-언어-행동(VLA) 모델은 사전 학습된 시각-언어 백본에 행동 생성 헤드를 통합함으로써 로봇의 지시 이행 능력을 발전시켜 왔습니다. 최근의 진화 단계인 "Reasoning VLA"는 연쇄 사고(Chain-of-Thought, CoT) 추론을 도입하여, 저수준 행동을 실행하기 전에 중간 텍스트 계획을 생성합니다. 이러한 방식은 복잡하고 긴 호흡의 작업에서 성능을 향상시키지만, 결정적인 실패 모드인 **체화된 CoT 충실도 격차(Embodied CoT Faithfulness Gap)**가 여전히 존재합니다.

Reasoning VLA가 올바른 텍스트 계획(예: "수프를 집어라")을 생성하더라도, 후속되는 저수준 행동 시퀀스가 물리적으로 그 계획을 실현하는 데 실패할 수 있습니다(예: 크림 치즈를 집는 경우). 이러한 불일치는 새로운 지시, 물체 또는 시각적 맥락이 포함된 분포 외(Out-of-Distribution, OOD) 시나리오에서 특히 빈번하게 발생합니다. 본 논문은 이를 "체화된 CoT 충실도"의 결여로 공식화하며, 즉 행동의 물리적 결과가 모델 스스로 생성한 추론과 신뢰성 있게 일치하지 않는 현상을 의미합니다. 기존의 런타임 스티어링 방법들은 학습된 비평가(예: Q-함수)에 의존하는 경우가 많으나, 이는 새로운 의미론적 또는 시각적 변화에 대응하는 일반화 능력이 부족하여 고수준 의도와 저수준 실행 사이의 정렬을 검증하는 데 어려움을 겪습니다.

방법론: SEAL (Steering for Embodied reasoning-action ALignment)

저자들은 추론-행동 정렬을 강제하기 위해 설계된 훈련이 필요 없는 런타임 정책 스티어링 프레임워크인 SEAL을 제안합니다. SEAL은 여러 후보 행동 시퀀스를 샘플링하고, 그 결과를 시뮬레이션하며, 사전 학습된 시각-언어 모델(VLM)을 검증기로 사용하여 모델 자신의 텍스트 계획과 가장 잘 정렬되는 것을 선택함으로써 작동합니다.

프로세스는 각 추론 단계에서 새로운 텍스트 계획 $\hat{\ell}^r_t$가 생성된 후 세 단계로 진행됩니다:

1. 가설 설정(Hypothesize): 기본 Reasoning VLA 정책($\pi^{r\text{-}VLA}_\theta$)이 $K$개의 후보 행동 시퀀스를 병렬로 생성합니다. 이 시퀀스들은 자기회귀적(autoregressive)이며 가변 길이를 가지며, 모델이 "think" 토큰(추론으로 돌아감을 나타냄)을 출력할 때 종료됩니다.
2. 예측(Predict): 역학 모델(또는 벤치마크의 병렬 환경 시뮬레이션)이 각 후보 행동 시퀀스에 대한 미래 관측 시퀀스($\hat{o}^{(k)}_{t:t+H}$)를 예측합니다. 이를 통해 시스템은 로봇에서 실제로 실행하기 전에 각 가설의 잠재적 결과를 "미리 보기" 할 수 있습니다.
3. 검증(Verify): 사전 학습된 VLM(예: GPT-4o)이 검증기 역할을 수행합니다. VLM은 초기 이미지, 후보 시퀀스의 예측된 최종 이미지, 그리고 텍스트 계획을 입력받도록 프롬프트가 구성됩니다. VLM은 예측된 결과가 계획을 성공적으로 완수했는지 여부를 나타내는 이진 점수를 부여합니다. 정렬 점수가 가장 높은 행동 시퀀스가 실행을 위해 선택됩니다.

런타임 최적화: 레이턴시를 최소로 줄이기 위해, 프레임워크는 비동기 실행 전략을 채택합니다. 검증 단계는 후속 후보들을 생성하는 과정과 병렬로 실행됩니다. 또한 시스템은 VLM에 의해 성공적으로 검증된 첫 번째 후보 시퀀스를 기다리지 않고 즉시 실행하는 "조기 종료(early-exit)" 전략을 사용합니다.

주요 기여

1. 추론-행동 정렬을 위한 런타임 정책 스티어링: 본 논문은 추가적인 미세 조정 없이 추론-행동 정렬을 강제하는 프레임워크를 도입합니다. 모델의 텍스트 추론에 대해 행동을 검증함으로써, SEAL은 정책의 자연스러운 행동 다양성을 오류의 원인이 아닌, 잘못 정렬된 실행을 걸러내는 강점으로 전환합니다.
2. 광범위한 일반화 실험 및 스케일링 분석: 저자들은 SEAL이 행동 조합 작업 및 OOD 변화에서 강력한 베이스라인(기존 VLA 및 Q-함수 기반 스티어링 포함)보다 최대 **15%**까지 성능이 우수함을 입증했습니다. 결정적으로, 성능은 미세 조정 데이터셋의 크기와 다양성에 따라 스케일링됨을 보여줍니다. 즉, 기본 정책이 더 풍부한 후보 행동 세트를 생성할수록 검증기의 선택 능력이 향상됩니다.
3. 추론 주석 데이터셋 및 확장된 벤치마크: 저자들은 추론 주석이 달린 LIBERO-100 데이터셋의 오픈 소스 버전을 기여합니다. 또한 OOD 강건성과 조합적 일반화를 평가하기 위해 설계된 새로운 작업 설명, 시각적 변형 및 행동 조합 작업이 포함된 LIBERO 벤치마크를 확장했습니다.

실험 결과

실험은 세 가지 규모(LIBERO-10, LIBERO-100-Basket, LIBERO-100)의 데이터셋을 사용하여 LIBERO 벤치마크 제품군에서 수행되었습니다.

• In-Distribution (ID) 성능: 표준 ID 작업에서 SEAL은 **94–97%**의 성공률을 달성하여, 기본 Reasoning VLA($\pi^{0\text{-}reason}$) 및 Q-함수 스티어링($\pi^{0\text{-}V\text{-}GPS}$)보다 뛰어난 성능을 보였습니다. 이러한 개선은 텍스트 계획에 정의된 특정 하위 목표와 일치하지 않는 행동 시퀀스를 필터링하는 데서 기인합니다.
• 행동 조합(Behavior Composition): 학습된 기술을 재조합해야 하는 새로운 작업(예: "A+B"와 "C"를 학습했을 때 "A와 C를 바구니에 넣어라" 수행)에서, SEAL은 상당한 이득을 보였습니다. 베이스라인들이 약 15%의 성공률에서 정체된 반면, SEAL은 가장 큰 데이터셋에서 최대 **53%**의 성공률에 도한했습니다. 이는 검증이 행동 생성이 노이즈가 심할 때도 모델이 추론 능력을 효과적으로 활용할 수 있게 함을 보여줍니다.
• OOD 강건성:
  • 의미론적 변화(Semantic Shifts): SEAL은 재구성된 지시문 및 물체 속성 변화에서도 91% 이상의 성공률을 유지한 반면, 비추론 베이스라인은 크게 하락했습니다.
  • 시각적 변화(Visual Shifts): 가장 까다로운 "Visual-Viewpoint" 변화(카메라 각도 및 배경 변경)에서, SEAL은 **45%**의 성공률을 유지하며 차순위 베이스라인보다 17% 이상 높은 성능을 보였습니다. 이는 시각적 섭동이 심할 때 필터링하는 검증기의 능력을 강조합니다.
• 스케일링 법칙(Scaling Law): 샘플링된 후보($K$)를 1에서 10으로 늘림에 따라 조합 작업 및 짧은 에피소드 길이에서 15%의 성능 향상이 나타났습니다. 추론 시간은 $K$에 따라 선형적으로 증가하지만, 기존 연구들과 경쟁 가능한 수준을 유지했습니다.

의의 및 주장

본 논문은 현재 Reasoning VLA의 주요 병목 현상이 계획의 생성이 아니라, 그 계획의 충실한 실행에 있다고 주장합니다. 추론-행동 정렬을 명시적으로 확인하는 런타임 검증 루프를 도입함으로써, 저자들은 다음을 입증했습니다:

1. 충실도는 실행 가능하다: 로봇이 "말한 대로 행동하게" 만드는 것은 OOD 시나리오와 조합적 일반화에서 강건성을 크게 높입니다.
2. 다양성은 강점이다: 행동 생성의 확률적 특성을 억제하는 대신, SEAL은 여러 가설을 샘플링하고 의미론적 계획과 일치하는 것을 선택함으로써 이를 활용합니다.
3. 훈련이 필요 없는 개선: 기존 정책을 재학습할 필요 없이, 범용 VLM을 사용하는 검증 단계를 추가하는 것만으로도 높은 성능 향상을 얻을 수 있습니다.

저자들은 로봇이 말하는 것에 대해 로봇이 하는 행동을 검증하는 것이 더 강력하고 신뢰할 수 있으며 일반화 가능한 로봇 에이전트를 구축하는 데 있어 중요한 단계라고 결론짓습니다. 이들은 기본 모델의 제안 품질에 대한 의존성과 VLM 검증의 계산 오버헤드를 포함한 한계를 인정하면서도, SEAL이 체화된 CoT 충실도 격차를 해결하는 중요한 진전임을 강조합니다.