💻 computer science

Revisiting Embodied Chain-of-Thought for Generalizable Robot Manipulation

이 논문은 자기회귀적 추론(autoregressive inference) 대신 표현 형성 감독(representation-shaping supervision)을 위해 대규모 임보디드 사고의 사슬(embodied chain-of-thought) 코퍼스를 활용하여 로봇 조작 작업에서 최첨단 수준의 일반화와 안정성을 달성하는 시각-언어-행동 모델인 ERVLA를 소개한다.

원저자: Nan Sun, Yuan Zhang, Yongkun Yang, Wentao Zhao, Peiyan Li, Jun Guo, Wenxuan Song, Pengxiang Ding, Runze Suo, Yifei Su, Xin Xiao, Xinghang Li, Huaping Liu

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nan Sun, Yuan Zhang, Yongkun Yang, Wentao Zhao, Peiyan Li, Jun Guo, Wenxuan Song, Pengxiang Ding, Runze Suo, Yifei Su, Xin Xiao, Xinghang Li, Huaping Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 장난감 자동차를 서랍에 넣는 것과 같은 집안일을 가르치고 있다고 상상해 보세요. 과거에 과학자들은 로봇에게 사진과 단어를 이해할 수 있는 '두뇌'(시각-언어 모델)와 움직임을 제어하는 '손'(액션 모델)을 주는 방식으로 로봇을 가르치려 노력했습니다. 하지만 종종 두뇌는 혼란에 빠졌고, 손은 동작을 제대로 수행하지 못했습니다.

이 논문은 ERVLA(Embodied Reasoning Vision-Language-Action)라고 불리는 새로운 로봇 교육 방식을 소개합니다. 이들이 어떻게 이 일을 해냈는지, 아주 쉽게 설명해 드리겠습니다.

1. 문제점: 말이 너무 많고 느린 로봇

자동차를 운전하고 있는데, GPS가 모든 회전 구간마다 미리 말을 해준다고 상상해 보세요. "100피트 앞에서 좌회전하세요. 이제 좌회전하세요. 이제 또 좌회전하세요." 만약 GPS가 첫 문장에서 아주 작은 실수라도 한다면, 나머지 모든 방향 지시가 엉망이 되어 결국 사고가 날 것입니다.

이것이 바로 이전의 로봇 '사고' 방식(이를 Embodied Chain-of-Thought라고 부릅니다)에서 발생했던 문제입니다. 로봇은 팔을 움직이기 전에 반드시 "생각을 소리 내어 말하기"(긴 텍스트 계획을 작성하기)를 강요받았습니다.

문제점: 만약 로봇이 계획 속에서 문장을 아주 조금이라도 틀리게 쓴다면, 나머지 계획 전체가 실패하게 됩니다. 이는 속도가 느릴 뿐만 아니라, 단 하나의 작은 오류가 전체 작업을 망쳐버렸습니다.
논문의 발견: 연구진은 로봇에게 더 많이 "말하게" 만든다고 해서 더 똑똑해지는 것이 아님을 발견했습니다. 사실, 움직이기 전에 긴 계획을 쓰도록 강요하는 것은 오히려 성능을 떨어뜨리는 경우가 많았습니다.

2. 해결책: 하기 전에 생각하는 것이 아니라, 하면서 생각하기

저자들은 로봇이 똑똑해지기 위해 반드시 생각을 입 밖으로 말할 필요는 없다는 것을 깨달았습니다. 그저 움직이는 동안 머릿속에 그 생각을 가지고 있기만 하면 됩니다.

이것은 숙련된 요리사를 생각하면 쉽습니다. 초보 요리사는 요리를 시작하기 전에 종이에 단계별로 레시피를 적을지도 모릅니다. 하지만 숙련된 요리사는 아무것도 적지 않습니다. 그들은 이미 단계를 수없이 연습했기 때문에 무엇을 해야 할지 이미 '알고' 있습니다. 그들의 "사고"는 근육 기억 속에 내재되어 있습니다.

ERVLA는 로봇이 숙련된 요리사처럼 되도록 가르칩니다:

훈련: 연구진은 로봇에게 978,000개의 로봇 움직임이 담긴 거대한 도서관(마치 거대한 요리책과 같은)을 제공했습니다.
비결: 로봇이 "레시피"(계획)와 "액션"(움직임)을 동시에 읽도록 가르쳤습니다.
핵심 비법 (Reasoning Dropout): 훈련 중에 가끔씩 로봇에게 "이번에는 레시피를 쓰지 말고, 그냥 움직여!"라고 명령했습니다. 이를 통해 로봇이 글을 먼저 쓰지 않고도 작업의 '개념'을 이해하는 법을 배우도록 강제했습니다. 즉, 추론 능력을 내면화하는 법을 배운 것입니다.

3. "CoT 오염" 문제

논문은 숨겨진 함정도 발견했습니다. 컴퓨터를 사용하여 로봇을 위한 "레시피"를 자동으로 작성할 때, 가끔 컴퓨터가 실수(예: 컵이 엉뚱한 곳에 있다고 말하는 등)를 저지르는 경우가 있었습니다.

만약 로봇이 이러한 잘못된 레시피를 암기하려고 시도한다면, 로봇은 혼란에 빠지게 됩니다. 이것을 **CoT 오염(CoT Contamination)**이라고 부릅니다.
해결책: 연구진은 로봇이 불확실하거나 신뢰할 수 없어 보이는 레시피 부분은 무시하고, 명확하고 확실한 지침에만 집중하도록 가르쳤습니다.

4. 결과: 실제로 작동하는 로봇

그들은 이 새로운 로봇(ERVLA)을 두 가지 방식으로 테스트했습니다:

시뮬레이터 (비디오 게임): 이 로봇은 특정 테스트에서 세계 최고의 성능을 보이며 이전의 모든 모델을 제쳤습니다. 조명 조건이 변하거나 물체가 옮겨지는 까다로운 상황에서도 잘 대처했습니다.
실제 환경: 연구진은 이 모델을 실제 물리적인 로봇 팔에 적용했습니다.
- "과일이 아닌 것을 치워라"라는 까다롭고 모호한 지시를 받았을 때, 다른 로봇들은 혼란에 빠졌습니다. 하지만 ERVLA는 논리를 이해하고 작업을 수행했습니다.
- 테이블 전체를 정리하는 것과 같은 길고 여러 단계가 필요한 작업을 요청받았을 때, ERVLA는 침착함을 유지하며 작업을 완수했지만, 다른 로봇들은 포기하거나 길을 잃었습니다.

요약 비유

기존 방식: 로봇은 단 한 걸음을 내딛기 전에 10페이지짜리 에세이를 반드시 써야 하는 학생과 같습니다. 만약 에세이에서 단어 하나라도 철자를 틀리면, 시험에 낙제하게 됩니다.
ERVLA 방식: 로봇은 숙련된 운동선수와 같습니다. 그들은 연습을 아주 많이 했기 때문에 게임 플랜을 즉각적으로 이해합니다. 그들은 경기를 하는 법을 알기 위해 에세이를 쓸 필요가 없습니다. 전략이 움직임 속에 이미 구축되어 있기 때문입니다.

결론: 이 논문은 로봇이 똑똑해지기 위해서 모든 과정을 "말로 설명"하도록 강요받아서는 안 된다는 것을 보여줍니다. 대신, 지시가 모호하거나 세상이 어지러운 상황에서도 행동이 자연스럽게 올바른 경로를 따를 수 있도록 작업의 '논리'를 흡수하도록 훈련받아야 합니다. 또한, 연구진은 이 거대한 "요리책"(데이터셋)과 로봇의 "두뇌"(모델)를 다른 이들도 사용할 수 있도록 공개했습니다.

기술 요약: 일반화 가능한 로봇 조작을 위한 체계적 사고(Embodied Chain-of-Thought)의 재고

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 대규모 시각-언어 모델(VLM)의 의미론적 사전 지식을 체화된 의사결정으로 전이함으로써 일반화 가능한 로봇 제어를 위한 유망한 패러다임으로 부상했습니다. 그러나 향상된 인지와 더 넓은 의미론적 범위가 반드시 더 나은 행동 생성(action generation)을 보장하는 것은 아닙니다. VLA 모델은 실행 전 숙고(deliberation)가 필요한 복잡하고 분포 외(out-of-distribution)인 시나리오에서 종종 어려움을 겪습니다.

기존의 체화된 사고(Embodied Chain-of-Thought, ECoT) 방식들은 명시적인 추론 궤적을 감독(supervise)함으로써 이 간극을 메우려 시도했지만, 다음과 같은 몇 가지 결정적인 문제들이 여전히 해결되지 않은 채 남아 있습니다:

형태 및 통합: 어떤 형태의 체화된 추론(예: 장면 이해, 공간적 접지(grounding), 궤적 예측)이 단순히 언어적 오버헤드를 추가하는 것이 아니라 실제 효과적인 행동 생성을 촉진하는지는 불분명합니다.
정책과의 상호작용: 초기 ECoT 공식은 추론을 행동 생성의 자기회귀적 접두사(autoregressive prefix)로 모델링합니다. 이러한 설계는 취약합니다. 긴 추론 궤적은 지연 시간(latency)을 증가시키며, 추론 과정에서 추론 접두사의 오류가 누적되어 후속 행동 토큰에 부정적인 영향을 미칩니다.
확장성: CoT 데이터의 스케일링 동작(scaling behavior)은 불분명합니다. 대규모 체화된 CoT 데이터셋은 주석(annotation) 비용이 높기 때문에 희귀하며, 추론 감독을 확장하는 것이 더 강력한 행동 생성을 유도하는지, 아니면 학습을 방해하는 노이즈를 도입하는지는 알려지지 않았습니다.
CoT 오염: 대규모 자동 라벨링 데이터셋에서 노이즈가 섞인 라벨(예: 불안정한 바운딩 박스, 드리프트되는 end-effector 좌표)은 의미론적으로 유사한 관측치에 일관되지 않은 감독을 가하여 적응을 저해할 수 있습니다.

방법론: ERVLA

저자들은 필수적인 테스트 타임 CoT에 의존하지 않고 일반화 가능한 로봇 조작을 위해 언어적 추론을 효과적으로 활용하도록 설계된 모델인 ERVLA(Embodied Reasoning Vision-Language-Action)를 제안합니다.

1. 대규모 체화된 CoT 코퍼스

저자들은 다음과 같이 구성된 현재까지 가장 큰 규모의 체화된 CoT 코퍼스를 구축했습니다:

978,743개의 궤적
2억 2,630만 개의 샘플
2,592.5시간의 데이터
소스에는 Bridge, Fractal, Droid, MolmoAct, Agi-Bot 데이터셋이 포함됩니다.

데이터는 추론을 네 가지 범주로 분해하는 계층적 스키마로 구조화되었습니다:

이해(Understanding): 작업 목표 및 의도.
접지(Grounding): 시각적 엔티티와의 공간적 정렬 (예: 객체 바운딩 박스, 그리퍼 위치).
계획(Planning): 하위 작업 분해 및 진행 상황 추적.
행동(Acting): 행동 중심의 모션 설명 및 미래 지점 궤적.

2. 모델 아키텍처

ERVLA는 시각-언어 추론 모듈과 확산 기반(Diffusion-based) 행동 모듈을 통합합니다:

백본(Backbone): VLM(구체적으로 Qwen3-VL-4B)이 시각적 관측값과 텍스트 명령을 처리합니다. 계획과 행동을 분리하는 "ThinkAct" 스타일과 달리, ERVLA는 행동에 민감한 감독 신호를 VLM에 직접 주입합니다.
행동 헤드(Action Head): Flow matching을 통해 연속적인 로봇 행동을 생성하는 Diffusion Transformer (DiT)를 사용합니다.
지식 절단(Knowledge Truncation): DiT는 부가된 제어 쿼리 토큰을 제외하고 VLM의 의미적 접두사(추론)로부터 추출된 키-값(KV) 캐시에만 조건화(condition)됩니다. 이는 행동 모델이 합성된 지름길(synthetic shortcuts)을 악용하는 것을 방지하고, 학습 특정 토큰 패턴으로부터의 간섭을 줄입니다.
보조 행동 쿼리(Auxiliary Action Queries): VLM은 쿼리 토큰을 통한 보조 행동 회귀 손실(auxiliary action-regression loss)로 학습됩니다. 이는 백본이 단순히 텍스트를 생성하는 것이 아니라 행동 관련 의미론을 이해하도록 유도합니다.

3. 학습 전략: CoT-Dropout

중심적인 혁신은 CoT-dropout 전략입니다. 학습 중에 모델은 명시적인 CoT 감독이 있는 샘플과 CoT 구간이 비어 있는 샘플(CoT가 없는 경우)에 특정 확률( $p_{cot}$ )로 노출됩니다.

목적: 이를 통해 모델은 학습 중에 풍부한 추론 궤적을 활용하여 내부 표현을 재구성할 수 있게 하면서도, 추론 시에는 CoT 없이 직접 행동을 예측할 수 있게 합니다.
이점: 이는 CoT 접두사의 자기회귀적 불안정성을 우회하고, 노이즈 섞인 라벨로부터 발생하는 "CoT 오염"을 완화하며, 추론을 단순한 언어적 출력이 아닌 표현 공간을 재구성하는 학습 신호로 취급합니다.

주요 기여

데이터셋 구축: 다중 뷰(multi-view) 및 양손(bimanual) 설정을 포함하며 구조화되고 계층적인 주석이 달린 가장 크고 포괄적인 체화된 CoT 코퍼스를 생성했습니다.
CoT 신호의 경험적 분석: 광범위한 절제 연구(ablation studies)를 통해 저자들은 다음을 확인했습니다:
- 높은 수준의 의미론적 이해만으로는 미미한 이득을 얻습니다.
- 효과적인 CoT는 높은 수준의 의미론을 구체적인 언어적 행동 가이드(예: end-effector 움직임, 이미지 공간 궤적)에 접지해야 합니다.
- 명시적인 CoT는 행동 토큰을 위한 자기회귀적 접두사로서 안정적으로 스케일링되지 않습니다(오류가 누적됨).
- 노이즈가 있는 접지 필드(예: 불안정한 바운딩 박스)는 추론 드롭아웃을 통해 규제되지 않으면 해로울 수 있습니다.
ERVLA 모델: 행동 인식 표현으로 추론을 내재화하는 새로운 VLA 아키텍처입니다. 명시적 CoT 감독, 추론 드롭아웃, 보조 행동 쿼리, 지식 절단 조건화를 결 der 결합하여 최첨단 성능을 달ей합니다.
스케일링 통찰: ERVLA는 추론 감독과 행동 손실이 리터럴한 자기회귀적 타겟이 아니라 표현 공간에서 공동으로 최적화될 때 체화된 CoT가 효과적으로 스케일링됨을 입증합니다.

실험 결과

저자들은 시뮬레이션 벤치마크와 실제 로봇 플랫폼에서 ERVLA를 평가했습니다.

시뮬레이션 벤치마크

LIBERO-Plus: ERVLA는 **86.9%**의 최첨단 성공률을 달성하여 $\pi0.5$ (85.5%)와 같은 경쟁력 있는 베이스라인을 능가했습니다. 또한 Spatial 트랙의 배경 및 조명 변화에 대해 100% 성공률을 보이는 등 강력한 제로샷 일반화 능력을 보여주었습니다.
VLABench: ERVLA는 의미론적 이해와 명령 수행이 필요한 까다로운 분포 외 설정에서 평균 성공률 **53.2%**를 기록하며 강력한 베이스라인들을 앞질렀습니다.
스케일링: 실험 결과, 자기회귀적 CoT+행동 토큰 모델은 노이즈 누적으로 인해 데이터가 스케일링됨에 따라 성능이 저하되는 반면, ERVLA는 체화된 CoT 사전 학습 데이터를 늘릴수록 이득을 얻는 것으로 나타났습니다.

실제 로봇 실험

3인칭 카메라와 손목 카메라가 장착된 물리적 로봇에 배치된 ERVLA는 네 가지 난이도 단계(Basic, Distractors, Semantic, Long-horizon)의 서랍 배치 및 테이블 정리 작업을 수행했습니다.

성능: ERVLA는 특히 의미론적 모호성(예: "과일이 아닌 물체를 치워라") 및 장기 궤적(long-horizon) 작업을 처리하는 데 있어 베이스라인(ECoT, WorldVLA, UniVLA, $\pi0.5$ )보다 뛰어난 성능을 보였습니다.
강건성: 베이스라인들이 자기회귀적 지연과 오류 전파로 어려움을 겪는 동안, 추론을 내재화한 ERVLA의 능력은 의미론적 변화와 방해 요소(distractor)가 있는 상황에서도 더 견고한 실행을 가능하게 했습니다.

의의 및 주장

본 논문은 체화된 CoT를 로봇이 "더 많은 말을 하는 것"이 아니라, 의미론적 추론과 행동 학습 사이의 인터페이스로 이해해야 한다고 주장합니다.

핵론(Core Thesis): 추론은 단순히 더 길거나 명시적일 때가 아니라, 그 감독 신호가 신뢰할 수 있고 행동과 관련이 있으며, 디코딩에 부담을 주는 대신 표현을 형성하는 방식으로 정책에 통합될 때 로봇 정책에 이득을 줍니다.
실패 모드: 본 연구는 CoT의 나이브한 자기회귀적 결합이 스케일링 실패를 초래하며, 노이즈 섞인 접지 신호가 규제되지 않으면 학습을 오염시킬 수 있음을 강조합니다.
향려 방향: 저자들은 ERVLA를 신뢰할 수 있는 접지 감독, 적응형 테스트 타임 추론, 그리고 추론을 단순한 언어적 장식이 아닌 인지에서 행동으로 가는 학습 가능한 가교로 취급하는 아키텍처를 강조하며, 미래의 추론 인식 로봇 학습을 위한 기초로서 제시합니다.

결론적으로, 본 논문은 일반화 가능한 로봇 조작의 핵심이 명시적인 언어적 궤적에 의리는 것이 아니라, 구조화되고 내재화된 추론을 통해 사전 학습된 의미론적 사전 지식을 행동 관련 표현으로 변환하는 데 있음을 밝히고 있습니다.