🤖 AI

EWAM: An Enhanced World Action Model for Closed-Loop Online Adaptation in Embodied Intelligence

이 논문은 경험 메모리, 이상 탐지, 정책 라우팅 및 행동 교정을 위한 네 가지 미분 가능한 신경 층을 통합함으로써, 추가적인 시연이나 미세 조정 없이도 새로운 작업 레이아웃에 대한 견고한 적응을 가능하게 하여, 고정된 Cosmos3 백본을 제로샷 체화된 지능(zero-shot embodied intelligence)을 위해 강화하는 폐쇄 루프 온라인 적응 프레임워크인 EWAM을 소개한다.

원저자: Xin Zhou, Cong Miao

게시일 2026-06-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xin Zhou, Cong Miao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑한 로봇 요리사 **코스모스(Cosmos)**가 있다고 상상해 보세요. 코스모스는 수백만 권의 요리책을 읽었고 셀 수 없이 많은 요리 영상을 시청했습니다. 코스모스는 어떻게 재료를 썰고, 젓고, 접시에 담아야 하는지 정확히 알고 있습니다. 하지만 코스모스를 약간 다른 구조의 실제 주방에 놓거나 미끄러운 바나나를 앞에 두면, 가끔 자기 발에 걸려 넘어지거나, 바나나를 들고 있다고 착각하며 허공을 잡거나, 조리대에 부딪히곤 합니다.

문제는 코스모스가 교과서는 통째로 외웠지만, 정작 지저도한 실제 주방에서 요리를 해본 적은 없는 학생과 같다는 점입니다. 코스모스는 상황이 잘못되었을 때 실시간으로 어떻게 반응해야 하는지 모릅니다.

EWAM(Enhanced World Action Model)은 코스모스 바로 옆에서 모든 움직임을 지켜보며 교정 사항을 속삭여 주는, **똑똑하고 경험 많은 수셰프(부주방장)**를 붙여주는 것과 같습니다.

이 "수셰프" 시스템이 어떻게 작동하는지, 간단한 부분들로 나누어 설명하겠습니다.

1. 얼어붙은 뇌 (Backbone)

이 논문은 코스모스의 원래 뇌를 그대로 '동결'시킨 상태로 유지합니다. 코스모스에게 처음부터 모든 것을 다시 가르치려고 하지 않는데, 그 이유는 시간이 너무 오래 걸리고 이미 알고 있는 것을 잊어버리게 만들 수 있기 때문입니다. 대신, 메인 뇌는 그대로 두고 그 주변에 네 가지 새로운 "도구"를 추가합니다.

2. 네 가지 새로운 도구 (네 개의 레이어)

이 네 가지 도구를 로봇을 돕는 전문가 팀이라고 생각해보세요.

기억 저장소 (Neural Experience Memory Layer):
- 역할: 로봇이 새로운 작업(예: 바나나를 그릇에 담기)에 직면했을 때, 처음부터 시작하지 않습니다. 대신 "기억 저장소"를 빠르게 훑어보며 이전에 보았던 유사한 상황을 찾아냅니다.
- 비유: 이는 마치 요리사가 "아, 예전에 이런 미끄러운 바나나를 본 적이 있어! 그때는 살살 잡아야 했지"라고 말하는 것과 같습니다. 과거의 경험을 사용하여 현재의 움직임을 안내합니다.
감시자 (Neural Anomaly Detection Layer):
- 역할: 이 레이어는 끊임없이 체크합니다: "내가 보고 있는 것이 내가 예측한 것과 일치하는가?" 만약 로봇이 바나나를 잡았다고 생각했는데 센서에 무게가 느껴지지 않거나, 벽에 부딪히기 직전이라면 감시자가 "멈춰!"라고 외칩니다.
- 비유: 이는 마치 사다리에 오르기 전 흔들리는 사다리를 발견하는 안전 검사관과 같습니다. 환각 현상(무언가를 잡고 있지 않은데 잡고 있다고 생각하는 것)과 충돌을 잡아냅니다.
교통 경찰 (Neural Policy Routing Layer):
- 역할: 감시자가 포착한 내용을 바탕으로, 교통 경찰은 다음에 무엇을 할지 결정합니다.
  - 초록불: 모든 것이 좋아 보이나요? 그대로 진행하세요!
  - 노란불: 무언가 약간 이상한가요? 속도를 줄이고 경로를 신중하게 다시 계산하세요.
  - 빨간불: 재난이 발생하고 있나요? "되돌리기" 버튼을 누르고 마지막 안전한 지점으로 돌아가세요.
- 비유: 이는 직진할지, 우회할지, 아니면 안전한 주차 공간으로 후진할지를 결정하는 의사 결정자와 같습니다.
수리 키트 (Neural Action Correction Layer):
- 역할: 로봇이 실수를 저지르기 직전이라면, 이 레이어는 로봇의 손 움직임을 아주 미세하게 조정합니다. 이를 통해 로봇이 부드러운 과일을 으깨거나 그릇을 놓치지 않도록 동작을 매끄럽게 만듭니다.
- 비유: 이는 마치 댄스 강사가 당신이 회전하다가 발이 꼬이지 않도록 팔을 부드럽게 유도하는 것과 같습니다.

3. "품질 게이트" (필터링)

이 시스템은 매우 까다롭습니다. 만약 로봇이 무언가를 시도하다가 실패하면(예: 바나나를 떨어뜨림), 시스템은 그 실패를 기억 저장소에 저장하지 않습니다. 오직 성공적이고 안전한 시도만을 저장합니다.

이유: 만약 당신이 사람들이 사고를 내는 영상만 보고 운전을 배웠다면, 잘못된 방식으로 배우게 될 것입니다! EWAM은 오직 "잘 된" 주행으로부터만 학습하여, 로봇이 실수 때문에 혼란에 빠지지 않고 더 똑똑해지도록 보장합니다.

4. 결과: 더 빠르고 더 안전하게

이 논문은 "RoboLab"이라는 시뮬레이션에서 바나나를 그릇에 담거나 블록을 쌓는 등의 작업을 테스트했습니다.

속도: EWAM을 가진 로봇은 바나나 작업을 9초 만에 끝냈지만, EWAM이 없는 로봇은 25초가 걸렸습니다.
실수: EWAM이 없는 로봇은 시도당 13.5번 물체에 부딪히거나 바나나를 놓쳤습니다. EWAM 로봇은 단 2.2번의 실수만 했습니다.
성공률: 두 로봇 모두 결국 100% 성공했지만, EWAM 로봇은 훨씬 더 빠르고 훨씬 적은 충돌로 임무를 완수했습니다.

핵심 요약

EWAM은 로봇에게 새로운 언어를 가르치는 것이 아니라, 로봇이 복잡한 실제 환경에 즉각적으로 적응할 수 있도록 안전망과 기억력을 제공하는 것입니다. 이는 강력하게 사전 훈련된 로봇에 "상식"이라는 층을 추가하여, 충돌을 피하고, 미끄러짐에서 회복하며, 효율적으로 일을 완수하도록 돕습니다.

중요 참고 사항: 논문은 이 결과가 컴퓨터 시뮬레이션(RoboLab)에서 나온 것임을 명시하고 있습니다. 아직 이 기술을 실제 주방의 물리적인 로봇에 테스트하지 않았으므로, 컴퓨터 밖의 실제 환경에서도 작동할지는 아직 알 수 없습니다.

기술 요약: EWAM – 폐쇄 루프 온라인 적응을 위한 강화된 월드 액션 모델(Enhanced World Action Model)

1. 문제 정의

로봇의 개방형 환경 배치는 다양한 물체의 포즈, 장면 레이아웃, 실행 상의 변수를 커버하는 데 필요한 데모 수집 비용이 높다는 점으로 인해 현재 어려움을 겪고 있다. 월드 액션 모델(WAM)은 미래 상태 예측과 액션 생성을 성공적으로 결합하지만, 정적인 오프라인 파이프라인은 실행 단계에서의 불일치에 취|약하다. 이러한 불일치에는 물리적 충돌, 빈 그립(empty grasp), 그리고 고신뢰도 시각적 예측이 물리적 실체와 일치하지 않는 인지적 환각(perception-induced hallucinations) 등이 포함된다. 또한, 일단 배포되면 정적인 WAM은 필터링되지 않은 온라인 학습을 통해 정책 저하를 초래할 위험 없이, 어떻게 성공적인 로컬 경험을 미래의 이점으로 효율적으로 전환할 것인가라는 문제에 직면한다.

본 연구가 다루는 핵심 과제는 사전 훈련된 파운데이션 모델의 일반적인 능력을 보존하면서, 제로샷 프로토콜(대상 작업에 대한 새로운 데모 데이터를 수집하지 않음) 하에서 접촉이 빈번한 로봇 작업의 실행 품질과 적응성을 어떻게 개선할 것인가이다.

2. 방법론: EWAM 아키텍처

제안된 **강화된 월드 액션 모델(EWAM)**은 동결된 Cosmos3-Nano-Policy-DROID 백본을 기반으로 구축된 폐쇄 루프 온라인 적응 아키텍처이다. 전체 파운데이션 모델을 재학습하는 대신, EWAM은 메모리 검색, 이상 탐지, 전략 라우팅 및 액션 수정을 가능하게 하기 위해 추론 경로에 네 개의 학습 가능한 신경층을 삽입한다.

2.1 핵심 구성 요소

본 아키텍처는 비전-언어 인코더(Vision-Language Encoder), 자기회귀 추론기(Autoregressive Reasonizer), 디퓨전 트랜스포머(Diffusion Transformer)로 구성된 Cosmos3-Nano-Policy-DROID 백본의 표준 순전파 과정을 다음과 같은 삽입된 층들로 수정한다:

신경 경험 메모리 층 (Neural Experience Memory Layer): 디퓨전 트랜스포머(DiT)의 중간 레이어( $l_{mem}=6$ )에 삽입된다. 이는 메모리 데이터베이스( $M$ )로부터 작업 관련 실행 컨텍스트를 검색하여 DiT 은닉 표현(hidden representations)에 주입한다. 이를 통해 백본의 가중치를 수정하지 않고도 현재의 컨텍스트와 과거의 경험 모두에 기반하여 디퓨전 과정을 조건화한다.
신경 이상 탐지 층 (Neural Anomaly Detection Layer): 상태 예측 헤드(state prediction head) 다음에 위치하며, 예측된 상태와 실제 실현된 상태 사이의 괴리를 모니터링한다. 이 층은 다음 항목들에 대한 점수를 포함하는 이상 벡터( $\iota_t$ $ι_{t}$ )를 계산한다:
- 예측-실현 불일치(잔차).
- 충돌 위험.
- 빈 그립 확률.
- 인지적 환각.
- 힘(force) 위반.
신경 정책 라우팅 층 (Neural Policy Routing Layer): 이상 벡터와 메모리 컨텍스트를 기반으로 실행 전략을 선택한다:
- 직접 실행 (Direct Execution): 이상 징후가 임계값 미만일 경우 진행한다.
- 보수적 재계획 (Conservative Replanning): 경미한 이상이 감지될 경우 액션 수정을 트리거한다.
- **롤백 복구 (Rollback Recovery): 심각한 이상이 발생할 경우 메모리로부터 안정적인 상태로 복구한다.
신경 액션 수정 층 (Neural Action Correction Layer): 라우팅 결정과 이상 신호를 바탕으로 원시 액션 출력( $a^0_{t:t+H}$ )을 정밀하게 조정한다. 이는 안전하고 효율적인 실행을 보장하기 위해 디노이징 타임(denoising-time) 수정을 수행하거나, 롤백 중에는 메모리로부터 보수적인 액션을 검색한다.

2.2 폐쇄 루프 온라인 학습

EWAM은 실행 결과가 **품질 게이트(Quality Gate)**에 의해 평가되는 폐쇄 루프 사이클로 작동한다.

경험 필터링 (Experience Filtering): 엄격한 안전 및 효율성 기준(예: 낮은 그리퍼 힘, 짧은 경로 길이, 높은 작업 점수)을 충족하는 궤적만이 경험 메모리( $M$ )에 수용된다. 저품질 샘플은 진단을 위해 기록되지만, "파괴적 망각(catricrophic forgetting)"이나 오류 행동의 축적을 방지하기 위해 메모리 업데이트에서 제외된다.
적응 전략 (Adaptation Strategy): 시스템은 "메모리 우선, 어댑터 차선" 접근 방식을 채택한다. 즉각적인 적응은 메모리 검색에 의존한다. 파라미터 업데이트는 경량화된 삽입 층과 어댑터에 대해서만 간헐적으로 적용되며, 사전 훈련된 Cosmos3-Nano-Policy-DROID 백본은 동결된 상태를 유지한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장한다:

아키텍처: 학습 가능한 미분 가능 모듈과 지도 학습된 이산 라우팅을 갖춘 폐쇄 루프 추론 경로를 형성하는, 네 개의 삽입된 신경 층(메모리, 이상, 라우팅, 수정)을 특징으로 하는 Cosmos3-Nano-Policy-DROID 기반의 EWAM 아키텍처 정식화.
안전 메커니즘: 안전하지 않거나 가치가 낮은 궤적이 메모리 데이터베이스와 온라인 업데이트를 오염시키는 것을 방지하는 분기 인식 경험 필터링 및 롤백 설계 도입.
실증적 검증: RoboLab 제로샷 조작 작업에서의 실험 결과를 통해, 동결된 백본을 유지하면서도 실행 품질(효율성 및 결함 감소)을 개선함을 입증.

4. 실험 결과

실험은 RoboLab 시뮬레이션 환경에서 세 가지 제로샷 조작 작업(BananaInBowlTask, BananasInBinOneMoreTask, BlockStackingOrderAgnosticTask)에 대해 수행되었다.

4.1 BananaInBowlTask 성능

주요 로컬 테스트에서 EWAM은 베이스라인인 Cosmos3-Nano-Policy-DROID와 동일한 100% 성공률을 달성했다. 그러나 효율성과 견고성 측면에서는 베이스라인을 크게 압도했다:

작업 완료 시간: 25.60초에서 9.27초로 단축 (63.8% 감소).
경로 길이: 1.81m에서 0.83m로 단축 (54.1% 감소).
실행 결함: 에피소드당 13.5개에서 2.2개로 감소 (83.7% 감소).
- 충돌은 90.6% 감소.
- 빈 그립은 92.9% 감소.

4.2 다중 작업 일반화

더 복잡한 BlockStackingOrderAgnosticTask에서 EWAM은 성공률을 베이스라인의 **87.2%**에서 **94.4%**로 향상시켰으며, 동시에 작업 시간을 32.4% 단축하고 경로 길이를 크게 줄였다.

4.3 절제 연구 (Ablation Studies)

절제 연구를 통해 각 구성 요소의 필요성을 확인했다:

자기 학습 (Self-Learning): 온라인 경험 축적을 제거하면 가장 큰 성능 저하가 발생했다 (작업 시간이 9.27초에서 46.53초로 증가).
메모리 vs 업데이트: "메모리 전용(Memory-only)" 변형(검색은 수행하되 파라미터 업데이트는 하지 않음)이 "업데이트 전용(Update-only)" 변형(파라미터 업데이트는 수행하되 검색은 하지 않음)보다 13.6% 더 우수한 성능을 보여, "메모리 우선" 전략의 유효성을 입증했다.
오류 수정 (Error Correction): 이 층을 제거하면 작업 시간이 96.1% 증가하여, 충돌 및 빈 그립을 처리하는 데 있어 해당 층의 역할을 강조했다.

4.4 계산 오버헤드

네 개의 신경 층으로 인해 10.2ms의 지연 시간(+15.4%)과 130MB의 GPU 메모리(+7.7%)가 추가되었다. 총 추론 시간은 76.4ms이며, 저자들은 이것이 엄격한 20Hz 서보 예산을 초과한다는 점을 언급하며, 현재 구현이 청크 단위의 재계획(chunk-level replanning) 또는 비동기 추론에 가장 적합하다고 명시했다.

5. 의의 및 한계점

의의:
본 논문은 EWAM이 작업 일반화 능력을 향상시키고 새로운 배포 데이터를 수집해야 하는 압박을 줄이기 위한 실용적인 아키텍처임을 제시한다. 경험 메모리, 실시간 오류 수정, 롤백 복구를 동결된 WAM 추론 경로에 융합함으로써, EWAM은 성공률이 이미 포화 상태인 경우에도 실행 효율성과 안전성을 개선한다. 이는 폐쇄 루프 융합이 파운데이션 모델의 일반적 능력을 해치지 않으면서도 실행 품질에서 상당한 이득을 얻을 수 있음을 보여준다.

한계점 (저자들이 밝힌 바에 따름):

시뮬레이션 전용: 모든 결과는 RoboLab 시뮬레이션 결과이며, Sim-to-Real 전이(transfer)는 확립되지 않았다.
작업 범위: 평가는 컨테이너 조작 및 스태킹 작업이라는 작은 세트로 제한되어 있다. 복잡한 장기 계획(long-horizon) 작업, 동적 간섭, 제한 없는 오픈 월드 실행은 아직 검증되지 않았다.
아키텍처 특이성: 모듈들이 Cosmos3-Nano-Policy-DROID 백본에 특화되어 설계되었다.
롤백 구현: 롤백 복구는 시뮬레이터 체크포인트를 통해 검증되었으며, 실제 로봇의 임피던스 복구 프리미티브(impedance recovery primitives)는 아직 검증되지 않았다.
데이터 제약: 경험 필터링 임계값은 RoboLab 구성에 특화된 시나리오별 설정이며, 보편적이지 않을 수 있다.

저자들은 EWAM이 적응을 위해 온라인 경험을 어떻게 수용해야 하는지를 명확히 해주지만, 여전히 사전 훈련된 오프라인 초기화에 의존하고 있으며, 아직 제한 없는 오픈 월드 로봇 실행의 과제를 해결하지 못했다고 결론지었다.