💻 computer science

Zeva: In-Context Causal Learning for Generalizable Embodied Manipulation

Zeva는 로봇의 물리적 경험으로부터 인과적 상호작용을 추출하여 이중 시간 척도 메모리에 저장함으로써, 고정된 정책 모델이 그래디언트 업데이트 없이 인컨텍스트 학습을 통해 다양한 과업에 걸쳐 성능을 스스로 진화시키고 향상시킬 수 있도록 하여 일반화 가능한 체화된 조작을 가능하게 하는 새로운 프레임워크이다.

원저자: Fu Chen, Xin Ding, Bingjia Huang, Xiangyu Li, Mingju Wang, Jiawei He, Kun Li, Wei Sun, Yunxin Liu, Hao Wu, Ting Cao

게시일 2026-09-01

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Fu Chen, Xin Ding, Bingjia Huang, Xiangyu Li, Mingju Wang, Jiawei He, Kun Li, Wei Sun, Yunxin Liu, Hao Wu, Ting Cao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 오랫동안 공장 바닥의 달인이었습니다. 그곳에서 로봇은 동일한 동작을 수천 번씩 완벽한 정밀도로 반복합니다. 하지만 로봇을 그 통제된 환경에서 벗어나 실제 주방이나 실험실로 데려가면, 로봇은 종종 비틀거립니다. 물리적 세계는 무질서합니다. 물체는 움직이고, 표면은 고르지 않으며, 그리퍼가 물이 담긴 유리잔을 느끼는 방식은 금속 컵을 느끼는 방식과 다릅니다. 수년 동안 로봇을 가르치는 주요한 접근 방식은 로봇이 실험실을 떠나기 전에 방대한 양의 영상과 데이터를 입력하여, 무엇이든 처리할 수 있는 충분한 일반 규칙을 배우기를 기대하는 것이었습니다. 그러나 이러한 로봇들이 한 번도 본 적 없는 상황에 직면했을 때, 그들의 내부 '두뇌'가 그 순간의 새로운 물리 법칙에 적응하지 못하기 때문에 빈번하게 실패하곤 합니다. 그들은 주어진 지식에 갇혀, 발생하는 과정 중에 자신의 실수를 통해 배울 수 없습니다.

칭화대학교와 Z-Trans AI의 연구진은 로봇이 실시간으로 인과관계를 생각하는 법을 배우는 다른 경로를 제안했습니다. 그들은 제바(Zeva)라고 불리는 시스템을 도입했는데, 이는 로봇이 근본적인 소프트웨어 코드를 전혀 변경하지 않고도 스스로의 성능을 향상시킬 수 있게 해줍니다. 로봇의 두뇌를 다시 훈련시키는 것은 느리고 위험한 일이지만, 제바는 고도로 조직화된 노트처럼 작동합니다. 로봇이 과업을 수행하려고 시도할 때, 제바는 자신이 움직였을 때 정확히 어떤 일이 일어났는지를 기록합니다. 즉, 특정 물체를 보았고, 팔을 특정 방식으로 움직였으며, 그 결과 물체가 제자리에 있었는지 아니면 넘어졌는지를 기록하는 것입니다. 시스템은 그 단 한 번의 상호작용으로부터 교훈, 즉 행동과 결과 사이의 인과적 연결 고리를 추출하여 저장합니다. 로봇이 동일한 과업을 다시 시도할 때, 로봇은 이 노트를 다시 살펴보고 관련 교훈을 찾아내어 다음 움직임을 조정하는 데 사용합니다. 이 과정은 즉각적으로 일어나며, 이를 통해 로봇의 핵심 프로그래밍이 얼어붙은 채 변하지 않더라도 매 시도마다 더 나아질 수 있게 합니다.

연구진은 이 아이디어를 매우 다른 두 세계에서 테스트했습니다. 먼저, 주전자, 토스터, 믹서기와 같은 복잡한 물체들로 가득 찬 정교한 주방 컴퓨터 시뮬레이션을 사용했습니다. 이 가상 환경에서 제바는 믹서 헤드를 열거나 전자레인지를 켜는 것과 같은 다섯 가지 뚜렷한 과업에 직면했습니다. 결과는 놀라웠습니다. 다른 첨단 로봇 시스템들이 약 60~72%의 성공률을 보인 반면, 제바는 76.8%의 성공률에 도달했습니다. 더 중요한 것은, 이 시스템이 명확한 자기 개선 패턴을 보여주었다는 점입니다. 과업의 첫 번째 시도에서 로봇은 약 4분의 1 정도만 성공했습니다. 하지만 실패로부터 얻은 교훈을 다음 움직임의 가이드로 삼아 동일한 시나리오를 계속 반복하게 되자, 성공률은 꾸준히 상승했습니다. 네 번째 시도에 이르렀을 때, 로봇은 73%의 사례에서 성공했습니다. 이는 로봇이 단순히 운이 좋았던 것이 아니라, 자신의 행동으로부터 오는 물리적 피드백을 통해 진정으로 학습하고 있었음을 증명했습니다.

이것이 단순히 컴퓨터 시뮬레이션의 결과가 아님을 확인하기 위해, 연구진은 이 시스템을 실제 화학 실험실로 가져갔습니다. 그들은 시험관이나 비커와 같은 섬세한 유리 기구를 다루고 물을 붓거나 화학 물질의 무게를 재는 등의 과업을 수행할 수 있는 물리적 로봇 팔을 갖추었습니다. 이 환경은 실제 중력, 마찰력, 그리고 유리가 깨질 위험이 존재하는 훨씬 더 예측 불가능한 곳이었습니다. 여기서 제바는 기존의 최고 시스템들을 다시 한번 능가했습니다. 시험관을 집는 것과 같은 단순한 과업에서는 100%의 성공률을 보였습니다. 염 용액을 준비하는 것과 같이 더 복잡한 순서의 과업에서는 70%의 성공률을 달성하며 경쟁자들보다 현저히 높은 수치를 기록했습니다. 연구진은 또한 로봇이 전체 작업을 마쳤는지 여부뿐만 아니라, 과정의 얼마나 많은 부분을 완료했는지도 측정했습니다. 과업이 어려울 때조차 제바는 다른 어떤 시스템보다 요구되는 단계들을 더 많이 완료해냈으며, 이는 상호작용을 통해 배우는 능력이 물리적 세계의 무질서한 현실을 헤쳐 나가는 데 도움이 된다는 것을 보여주었습니다.

제바의 성공의 핵심은 기억을 조직하는 방식에 있습니다. 시스템은 자신이 했던 모든 일을 긴 목록으로 저장하는 것이 아닙니다. 그렇게 하면 빠르게 처리하기에는 너무 많기 때문입니다. 대신, 두 가지 유형의 메모리가 함께 작동합니다. 하나는 지난 몇 초간의 행동을 기억하여 로봇이 지금 무슨 일이 일어나고 있는지 이해하도록 돕는 단기 흔적(short-term trace)입니다. 다른 하나는 이전 시도가 실패했더라도 가장 유용한 교훈을 유지하는 지속적 메모리(persistent memory)입니다. 로봇이 새로운 시도를 시작할 때, 로봇은 이 지속적 메모리에서 현재 직면한 상황과 유사한 상황을 검색합니다. 그런 다음 과거의 경험을 가이드로 사용합니다. 예를 들어, 이전에 물을 붓다가 너무 빨리 기울여서 컵이 넘어졌다면, 로봇은 그 구체적인 인과관계를 기억합니다. 다음 시도에서 로봇은 이 메모리를 참고하여 기울이는 속도를 늦춤으로써 똑같은 실수를 피합니다. 이 과정은 로봇의 메인 소프트웨어에 아무런 변화를 주지 않고 진행되므로, 로봇은 전체 두뇌를 다시 훈련시키는 느리고 위험한 과정 없이 즉각적으로 배우고 적응할 수 있습니다.

연구진은 또한 이 시스템이 자신의 실수뿐만 아니라 인간으로부터도 배울 수 있다는 것을 발견했습니다. 한 실험에서, 인간이 복잡한 과업의 성공적인 단 한 번의 시도를 통해 로봇 팔을 물리적으로 안내했습니다. 시스템은 이 인간의 시연을 기록하고, 인과적 교훈을 추출하여 메모리에 저장했습니다. 그 후 로봇이 스스로 과업을 시도할 때, 로봇은 이 단 한 번의 인간 사례를 사용하여 학습을 촉발했습니다. 이러한 '예열(warm-up)' 덕분에 로봇은 처음부터 완전히 독학해야 할 때보다 성공률을 최대 15%까지 높이며 훨씬 더 나은 성과를 낼 수 있었습니다. 이는 로봇이 단 한 번의 인간 시연으로부터 새로운 기술을 배울 수 있고, 그 후 자신의 반복적인 연습을 통해 그 기술을 정교화할 수 있음을 시사하며, 인간의 지도와 자기 진화의 힘을 결합할 수 있음을 보여줍니다.

연구는 또한 로봇이 한 과업에서 배운 교훈이 완전히 다른 과업에도 도움이 될 수 있는지를 조사했습니다. 그들은 시스템이 새로운 과업에서의 물리적 효과가 이전에 보았던 것과 유사하다는 것을 인식할 수 있다는 것을 발견했습니다. 예를 들어, 물을 붓기 위해 용기를 기울이는 동작은 비록 물체와 목표는 다르더라도 화학 물질을 섞기 위해 용기를 기울이는 동작과 유사하다고 인식되었습니다. 이러한 과업 간 지식 전이 능력은 로봇이 새로운 도전에 직면할 때마다 처음부터 다시 시작할 필요가 없음을 의미합니다. 로봇은 시간이 지나면서 구축해 온 물리적 인과관계의 라이브러리를 활용할 수 있으며, 이는 로봇을 더 다재다능하고 다양한 상황에서 역량을 발휘할 수 있게 만듭니다.

이러한 성공에도 불구하고, 연구진은 자신들의 작업에 대한 한계를 분명히 밝히고 있습니다. 현재 시스템은 특정 작업을 완료하기 위해 시도하는 과정 중에 발생하는 것들로부터만 학습합니다. 아직은 세상을 배우기 위해 단순히 돌아다니며 탐색하는 행동, 즉 '능동적 탐색(active exploration)'을 할 수 있는 능력은 없습니다. 저자들은 향다면 연구가 로봇이 스스로 실험을 선택하도록 가르치는 것, 즉 물리적 세계가 어떻게 작동하는지에 대한 불확실성을 줄이기 위해 의도적으로 다양한 행동을 시도하도록 하는 것에 집중할 것이라고 제안했습니다. 그때까지 제바는 로봇이 더 똑똑해지기 위해 반드시 재훈련될 필요는 없다는 것을 보여주는 중요한 진전입니다. 단순히 자신의 행동이 가져오는 결과를 주의 깊게 살피고, 무엇이 효과가 있었고 없었는지를 기억함으로써, 로봇은 스스로의 능력을 진화시키고 모든 실패를 다음 시도를 위한 교훈으로 바꿀 수 있습니다.

기술 요약: Zeva – 일반화 가능한 체화된 조작을 위한 인컨텍스트 인과 학습 (In-Context Causal Learning)

1. 문제 정의

일반화 가능한 체화된 조작(Embodied Manipulation)은 특히 사전 학습된 모델(예: 시각-언어-행동(VLA) 및 월드-액션 모델(WAMs))을 실제 물리적 환경에 배포할 때 Embodied AI 분야의 중대한 과제로 남아 있습니다. 파운데이션 모델은 급격한 발전을 이루었으나, 사전 학습 단계에서 존재하지 않았던 새로운 객체의 기하학적 구조, 접촉 역학, 시각적 변화, 그리고 로봇 본체 특유의 실행 오류와 같은 미지의 물리적 조건에 직면할 경우 배포 과정에서 취약성을 보입니다.

기존의 적응 방법론들은 다음과 같은 한계에 직면해 있습니다:

테스트 타임 트레이닝 (예: RoboTTT, WAM-TTT): 이러한 방식은 배포 중에 경사 하강법(Gradient Descent)을 통해 모델 가중치나 fast weight를 업데이트합니다. 이는 행동-상태 변화 구조를 암시적인 상태로 남겨두며, 종종 높은 지연 시간을 유발하여 연속적인 시도 사이의 적응을 방해합니다.
표준 인컨텍스트 학습 (예: GEN-1.5, Skild S1): 이 방식은 가중치를 고정된 상태로 유지하면서 작업 데모에 의존하여 일반화를 꾀합니다. 이들은 주로 작업 일반화(Task Generalization)를 목표로 하며, 로봇 자신의 경험으로부터 물리적 상호작용을 실시간으로 학습하는 능력은 부족합니다.

본 연구가 다루는 핵심 문제는 로봇이 밑단 정책 모델의 파라미터를 업데이트하지 않고도, 실제 배포 중에 자신의 행동과 그로 인한 상태 변화 사이의 **인과 관계(Causal Relationships)**를 학습하여 스스로 적응하고 진화할 수 있도록 하는 방법을 찾는 것입니다.

2. 방법론: Zeva 프레임워크

저자들은 **인컨텍스트 인과 학습(In-Context Causal Learning, ICCL)**을 가능하게 하는 Zeva 프레임워크를 제안합니다. Zeva는 배포 중 정책 모델을 동결(Frozen) 상태로 유지하면서, 물리적 상호작용으로부터 인과적 지식을 추출하여 후속 행동을 가이드합니다. 이 프레임워크는 세 가지 주요 단계로 작동합니다.

A. 인과적 상호작용 추출 (Causal Interaction Extraction)

Zeva는 원시 픽셀과 인과적 추론 사이를 연결하기 위해 **인과적 전이 인코더(Causal Transition Encoder, CTE)**를 활용합니다.

입력: 각 타임스텝마다 시스템은 시각적 잠재 변수( $s_\tau$ ), 행동 인코딩( $u_\tau$ ), 관찰된 효과( $d_\tau$ )를 추출합니다.
처리: 이러한 신호들은 게이트 순환 유닛(GRU)을 통해 인과적 상호작용 상태( $B_\tau$ )로 통합됩니다.
출력: 해당 상태는 두 가지 구성 요소로 투영됩니다:
1. 작업 진행도를 나타내는 페이즈 토큰(Phase Token, $p_\tau$ ).
2. 물리적 역학을 특징짓는 인과적 상호작용 신호(Causal Interaction Signal, $e_\tau$ ).
최적화: CTE는 인과적 효과 예측(물리적 효과에 신호를 정착시킴), 작업 정체성 클러스터링(작업 일관성 확보), 페이즈 진행(단조로운 작업 실행)을 포함하는 다중 목적 손실 함수(Multi-objective Loss)를 통해 학습됩니다.

B. 이중 타임스케일 인과 메모리 (Dual-Timescale Causal Memory)

단일 시도 내에서의 적응과 여러 시도에 걸친 적응을 모두 지원하기 위해, Zeva는 상호작용 단위를 두 가지 메모리 스트림으로 구성합니다.

단기 상호작용 궤적 (Brief Interaction Trace, BIT): 단일 시도 내에서의 최근 상호작용 신호( $\{e_j\}$ )에 대한 슬라이딩 윈도우입니다. 이는 현재 행동의 효용성에 대한 즉각적인 국소적 문맥을 제공하며, 매 시도가 시작될 때 초기화됩니다.
지속적 상호작용 메모리 (Persistent Interaction Memory, PIM): 동일한 에피소드 내에서 여러 시도에 걸쳐 인과적 단위를 축적합니다. 이는 **유사도 기반 병합(Similarity-based Merging)**을 사용하여 유용한 증거를 통합합니다. 새로운 경험은 기존 기록과 작업 진행도(Phase) 및 물리적 역학(Signal)이 모두 일치할 때만 기존 기록과 병합됩니다. 이 메모리는 새로운 에피소드가 시작될 때만 삭제됩니다.

C. 인컨텍스트 정책 주입 (In-Context Policy Injection)

마지막 단계는 저장된 경험을 동결된 파운데이션 정책을 위한 구조화된 **인과적 프롬프트(Causal Prompt)**로 변환합니다.

검색 (Retrieval): 시스템은 현재 페이즈 토큰( $p_\tau$ )을 사용하여 PIM으로부터 이전 시도에서 가장 관련 있는 상호작용 증거( $R_\tau$ )를 검색합니다.
구성 (Construction): 메모리 컨텍스트 인코더( $F_{mem}$ )는 작업 지시문( $g$ ), 현재 페이즈 토큰, BIT, 그리고 검색된 PIM 신호를 하나의 컨텍스트 벡터( $M_\tau$ )로 융합합니다.
추론 (Inference): 이 컨텍스트는 동결된 파운데이션 정책의 셀프 어텐션 레이어(구현상 디퓨전 경로)에 주입됩니다. 정책은 암시적 시스템 식별(Implicit System Identification)을 수행하여, 파라미터 업데이트 없이 환경의 잠재적 속성(예: 물체의 질량, 관절 제약 등)을 추론하고 행동 전략을 적응시킵니다.

3. 주요 기여

ICCL의 정식화: 본 논문은 실제 배포 시의 체화된 행동 일반화를, 동결된 정책 모델이 자신의 물리적 상호작용 경험으로부터 배우는 '인컨텍스트 인과 학습'으로 정식화했습니다.
Zeva 프레임워크: 경사 기반의 가중치 업데이트 없이 반복되는 시도를 통해 자가 진화(Self-evolution)를 가능하게 하는 인과적 상호작용 추출, 이중 타임스케일 인과 메모리, 인컨텍스트 정책 주입을 결합한 새로운 아키텍처를 제안했습니다.
경험적 검증: 시뮬레이션(RoboCasa365-Atomic5)과 실제 환경(ChemLab-Evo) 모두에서 포괄적인 평가를 수행하여, Zeva가 최첨단 성능을 달성하고 자가 진화 능력을 보여줌을 입증했습니다.

4. 실험 결과

저자들은 RoboCasa365-Atomic5 시뮬레이션 벤치마크와 ARX 매니퓰레이터를 사용한 실제 ChemLab-Evo 벤치마크에서 Zeva를 평가했습니다.

벤치마크 성능:
- RoboCasa365-Atomic5: Zeva는 평균 성공률 **76.8%**를 달성하여, Fast-WAM(72.4%) 및 Cosmos3-Nano(64.8%)와 같은 최첨단 모델들을 능가했습니다.
- ChemLab-Evo: Zeva는 세 가지 난이도(Atomic, Short-sequence, Complex) 모두에서 최고의 성공률을 기록했습니다. 예를 들어, "Pick Up Test Tube" 작업에서 Zeva는 100%의 성공률을 보였으며, 이는 베이스라인의 80~95%보다 높은 수치입니다. 또한 장기 horizon 작업의 "Process Score"(단계별 완료 순서)에서도 베이스라인보다 우수한 성능을 보였습니다.
배포 후 스케일링 (자가 진화):
- Zeva는 로봇이 상호작용 경험을 축적함에 따라 성공률이 향상됨을 보여주었습니다.
- RoboCasa365-Atomic5에서 누적 성공률은 첫 번째 시도의 **26%**에서 네 번의 반복 시도 내에 **73%**까지 증가했습니다.
- ChemLab-Evo에서도 유사한 스케일링 경향이 관찰되었으며, "Pick Up Test Tube" 작업의 경우 진화 마일스톤에 따라 성공률이 65%에서 100%로 상승했습니다.
인간 유도 경험 주입 (Human-Guided Experience Injection):
- Zeva는 PIM을 초기화하기 위해 단 한 번의 인간 원격 조종 데모(One-shot warm-up)를 통합할 수 있습니다. 이는 자가 진화만 적용했을 때보다 "Place Beaker" 작업에서 최대 20%, "Pour Water" 작업에서 15%의 성능 향상을 가져왔으며, 로봇이 경사 업데이트 없이도 데모된 접근 방식(예: 잡기 및 배치 궤적)을 재현할 수 있게 했습니다.
교차 작업 일반화 (Cross-Task Generalization):
- 절제 실험(Ablation studies)을 통해 BIT와 PIM의 필요성을 확인했습니다. PIM을 제거하면 성공률이 10~~20% 감소했고, BIT를 제거하면 15~~30% 감소했습니다.
- 인과적 신호가 작업 간에 검색될 수 있음을 실험으로 보여주었습니다. 로컬 신호 대신 가장 유사한 교차 작업(Cross-task) 매칭 신호를 사용하더라도 대부분의 성능이 유지되었습니다(예: "Pick Up Test Tube"에서 로컬 신호 사용 시 100% 대비 95% 성공). 반면, 무작위로 교체할 경우 성능이 크게 하락했습니다.

5. 의의 및 주장

본 논문은 Zeva가 동결된 정책 모델을 유지하면서 로봇 자신의 물리적 상호작용 경험으로부터 인컨텍스트 학습을 가능하게 하는 최초의 프레임워크라고 주장합니다.

자가 진화 (Self-Evolution): 느리거나 성능 붕괴(Capability collapse)가 발생하기 쉬운 경사 기반 방법론과 달리, Zeva는 상호작용 메모리만을 업데이트함으로써 반복적인 시도를 통해 지속적인 개선을 가능하게 합니다.
일반화 (Generalization): 행동과 상태 변화 사이의 인과 관계를 명시적으로 모델링함으로써, Zeva는 파운데이션 모델을 재학습하지 않고도 다양한 물리적 조건에 적응하고 작업을 넘나들며 지식을 전이할 수 있습니다.
효율성 (Efficiency): 이 접근 방식은 테스트 타임 트레이닝의 계산 비용을 피하므로, 빠른 적응이 요구되는 실시간 배포 환경에 적합합니다.

저자들은 현재의 한계점으로 Zeva가 학습을 위한 능동적인 상호작용 수집보다는 작업 수행을 위해 생성된 시도로부터만 인과 관계를 학습한다는 점을 인정했습니다. 향-후 연구에서는 불확실성을 더 효율적으로 줄이기 위해 인과 관계 기반의 탐색(Causality-driven exploration)을 조사할 것을 제안했습니다.