💻 computer science

Enfold: Folding World-Generator Computation into Predictive Representations for Efficient Embodied Control

Enfold는 세계 생성 모델의 다층적 계산 과정을 현재의 시각적 및 언어적 맥락으로부터 유추된 예측 표현으로 정제함으로써, 체화된 에이전트가 매 단계마다 미래의 궤적을 실체화할 필요 없이 미래 생성 구조를 내면화하여 현저히 감소된 지연 시간과 함께 강력한 제어를 달성할 수 있도록 하는 새로운 프레임워크이다.

원저자: Weili Zeng, Yitong Xing, Fulong Liu, Chengqun Yang, Antao Xiang, Feng Tian, Jingnan Gao, Jisong Cai, Xin Wang, Xiaomin Wu, Yao Mu, Yichao Yan

게시일 2026-07-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weili Zeng, Yitong Xing, Fulong Liu, Chengqun Yang, Antao Xiang, Feng Tian, Jingnan Gao, Jisong Cai, Xin Wang, Xiaomin Wu, Yao Mu, Yichao Yan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 샌드위치를 만드는 법을 가르치고 있다고 상상해 보세요. 예전 방식은 로봇에게 수정구슬을 주는 것이었습니다. 로봇은 손가락 하나 까딱하기 전에, 이 수정구슬을 이용해 미래의 고화질 영상을 생성했습니다. 빵이 썰리고, 치즈가 빵 위에 미끄러지듯 올라가고, 접시가 놓이는 장면을 미리 보는 것이죠. 로봇은 머릿속에서 이 전체 영화를 다 본 후에야 다음 행동을 결정했습니다. 이는 마치 왼쪽으로 꺾어야 할지 결정하기 위해 도로가 펼쳐진 전체 영화를 먼저 시청하며 운전하는 것과 같습니다. 강력하긴 하지만, 단순히 왼쪽으로 꺾을지 결정하기 위해 블록버스터 영화 한 편을 렌더링하는 것처럼 믿을 수 없을 정도로 느리고 계산 비용이 많이 듭니다.

이 논문은 로보틱스와 인공지능 분야, 특히 '월드 모델(world models)'에 초점을 맞추고 있습니다. 월드 모델이란 본질적으로 다음에 어떤 일이 일어날지를 예측함으로써 물리적 세계가 어떻게 작동하는지를 배우는 AI를 말합니다. 저자들이 탐구하는 핵심 아이디어는 '예측 표현(predictive representations)'입니다. 이것은 영화 대본 전체를 통째로 암기하는 것과 이야기의 '규칙'을 이해하는 것의 차이라고 생각하면 됩니다. 유리를 떨어뜨리면 깨질 것이라는 것을 알기 위해 영화 전체를 다시 볼 필요는 없습니다. 중력과 취성(fragility)이라는 물리 법칙을 이해하기만 하면 되니까요. 저자들은 다음과 같은 질문을 던집니다. "미래의 모습을 매번 무거운 전체 영상을 실제로 생성하지 않고도, 미래의 '구조'를 이해하도록 로봇을 가르칠 수 있을까?"

이 논문은 Enfold라는 새로운 방법을 소개합니다. 이름은 미래를 '펼치는(unfolding)' 것과 그 미래의 지식을 현재로 '접어 넣는(enfolding)' 것의 언어유희입니다. 미래의 전체 영상을 생성하는 대신, Enfold는 '예측 인코더(predictive encoder)'가 미래가 어떻게 보일지에 대한 '계산 과정'을 흡수하도록 가르칩니다.

작동 방식은 이렇습니다. 연구진은 미래를 상상하는 데 매우 능숙한 강력한 '스승' AI(비디오 생성기)를 사용합니다. 이 스승 AI가 일어날 일에 대한 영상을 처리할 때, AI는 장면, 물체, 그리고 상호작용을 조직하며 수많은 내부 단계를 거칩니다. Enfold는 이러한 내부 단계들을 관찰하고, 오직 '현재의 사진'과 '로봇의 지시'만을 사용하여 이를 예측하는 법을 배웁니다. 이는 마치 숙련된 요리사가 복잡한 요리를 하는 것을 학생이 지켜보는 것과 같습니다. 학생은 샌드위치를 만들 때마다 매번 요리 전체를 처음부터 다시 하려고 애쓰는 대신, 셰프의 내부적인 '근육 기억'과 '주방의 논리'를 배웁니다. 학생은 전체 식사를 머릿속에서 시뮬레이션할 필요 없이, 현재 팬의 상태를 바탕으로 다음 단계를 예측하는 법을 배우는 것입니다.

연구 결과, 이 접근 방식은 속도와 효율성 면에서 게임 체인저임이 밝혀졌습니다. 테스트에서 Enfold 로봇은 기존의 최첨단 방식인 Fast-WAM보다 3.7배 빠르게 결정을 내렸으며, 최적화 버전인 Enfold-Flash는 10.1배 더 빨랐습니다. 이처럼 훨씬 빨라졌음에도 불구하고 지능을 잃지 않았습니다. 오히려 복잡한 작업에서 약간 더 나은 성능을 보이며, 한 벤치마크에서는 97.8%, 다른 벤치마크에서는 **91.77%**의 성공률을 달enc성했습니다.

결정적으로, 이 논문은 로봇이 지능적으로 행동하기 위해 반드시 전체 영상을 생성해야 한다는 생각에 반론을 제기합니다. 저자들은 미래를 생성하는 계산 과정을 압축된 표현으로 '접어 넣음(enfolding)'으로써, 로봇이 세상이 변하더라도 여전히 적응할 수 있음을 보여줍니다. 예를 들어, 로봇이 접시를 잡으려고 계획하는 동안 사람이 접시를 움직인다면, Enfold는 단순히 미리 녹화된 대본을 재생하는 것이 아니라, 새로운 현실에 기반해 즉각적으로 미래를 재계산하고 동작을 조정합니다. 저자들은 이것이 로봇이 단순히 고정된 경로를 암기한 것이 아니라, 유연하고 예측 가능한 세계 이해력을 학습했음을 증명한다고 주장합니다.

요약하자면, Enfold는 로봇을 제어하기 위해 미래 전체를 렌더링할 필요가 없다는 것을 시사합니다. 우리는 그저 로봇이 미래의 '논리'를 주머니 속에 넣고 다니도록 가르치기만 하면 됩니다. 이를 통해 느린 비디오 렌더링 과정을 번개처럼 빠르고 직관적인 의사결정으로 바꿀 수 있습니다.

기술 요약: Enfold – 효율적인 체화된 제어를 위해 예측 표현으로 세계 생성 연산을 폴딩(Folding)하기

1. 문제 정의

세계 생성 모델(World Generative Models, WGMs)은 미래의 관측치를 합성하여 장면의 진화, 객체 상호작용 및 장기적 움직임을 예측할 수 있는 강력한 기질로서 체화된 제어(Embodied Control)를 위한 핵심 도구로 부상했습니다. 그러나 이러한 모델의 현재 배포 전략은 근본적인 효율성 병목 현상에 직ので 직면해 있습니다:

상상 후 행동(Imagine-then-act): 행동을 복구하기 전 전체 시각적 미래를 먼저 실체화함.
통합 세계-행동 모델(Unified World-Action Models): 비디오와 행동을 공동으로 디코딩하며, 종종 추론 시점에 생성기를 실행해야 함.
잠재 컨텍스트(Latent Context): 생성 분기에서 내부 특징이나 캐시를 사용하지만, 이는 여전히 생성 과정을 실행해야 하거나 생성 연산을 노출하지 않는 고정된 인코더에 의존하는 경우가 많음.

본 연구가 다루는 핵심 문제는—미래를 구축하는 내부 연산(특히 다양한 추상화 수준에서 외형, 공간 레이아웃, 상호작용을 구성하는 세계 생성기의 중간 상태들)을—현재의 정보만으로 추론된 **예측 표현(Predictive Representation)**으로 내재화할 수 있는지 여부입니다. 만약 성공한다면, 로봇은 제어 루프 중에 비용이 많이 드는 생성 분기를 실행하지 않고도 미래 지향적인 구조적 지식에 접근할 수 있게 되어, 예측 능력을 유지하면서도 지연 시간을 줄일 수 있습니다.

2. 방법론: Enfold 프레임워크

Enfold는 세계 생성기의 미래 생성 연산을 현재 전용 예측 표현으로 전이시키는 프레임워크를 제안합니다. 이 아키텍처는 예측 인코더( $U_\phi$ ), 생성적 세계 모델( $G_\theta$ ), 그리고 경량화된 태스크 헤드로 구성됩니다.

2.1 핵심 메커니즘: 양방향 결합(Bidirectional Coupling)

본 프레임워크는 생성기와 인코더의 역할을 분리하는 두 가지 결합된 목적 함수를 통해 훈련됩니다:

생성기-대상-표현(Generator-to-Representation, G2R):
- 과정: 훈련 중에 생성기( $G_\theta$ )는 티처 포싱(Teacher-forced) 패스를 통해 관측된 미래 비디오 청크( $y$ )를 처리하며, 다양한 네트워크 깊이와 오염 타임스텝에 걸친 중간 은닉 상태( $H_\theta$ )를 노출합니다.
- 감독(Supervision): 오직 현재의 시각적 컨텍스트( $c$ )와 언어 지시문( $e$ )만을 보는 예측 인코더( $U_\phi$ )는 이러한 다층적 생성기 상태를 예측하도록 훈련됩니다.
- 타겟 구축: 타겟은 단일 레이어가 아니라 다양한 깊이에서 선택된 상태들의 결합( $A(H_\theta)$ )이며, 타임스텝 조건부 헤드( $F_\omega$ )에 의해 처리됩니다. 이는 오염 수준과 깊이에 따라 가장 정보가 많은 레이어가 변한다는 점을 고려한 것입니다.
- 제약 사항: 생성기 상태는 태스크 그래디언트로부터 분리(Detached)됩니다. 인코더는 특정 행동 결과에 의해 형성되는 것이 아니라, 미래의 전이 구조를 학습합니다.
표현-대상-생성(Representation-to-Generation, R2G):
- 과정: 학습된 표현( $\bar{z}$ , 인코더 출력의 stop-gradient 복사본)은 생성기( $G_\theta$ ) 내의 미래 생성을 조건화하기 위해 다시 입력됩니다.
- 목적: 생성기는 $c, e, \bar{z}$ 에 조건화된 미래의 속도장(Velocity field)을 예측하도록 훈련됩니다.
- 용도: 이는 기능적 테스트로서, 표현 $z$ 가 단순히 정책 특화된 요약을 넘어 충분한 예측 정보를 포함하여 미래 모델링을 개선할 수 있는지 확인하는 역할을 합니다.
분리된 태스크 리드아웃(Detached Task Readouts):
- 태스크 헤드(예: 행동 예측)는 $z$ 를 통해 행동을 예측합니다(stop-gradient 사용).
- 핵심 설계: 태스크 그래디언트는 인코더 $U_\phi$ 로 역전파되지 않습니다. 이는 표현이 교사의 특정 궤적에 있는 불필요한 변동(Nuisance variations)에 과적합되지 않고, 현재 상태로부터 기대되는 전이 구조를 유지하도록 보장합니다.

2.2 추론 및 배포

배포 시, 시스템은 예측 인코더와 행동 헤드만을 실행합니다. 행동 예측을 위해 비디오 생성기는 실행되지 않습니다.

행동 예측: 행동 헤드는 $z$ 로부터 직접 행동 청크를 생성합니다.
미래 상상: 시각적 미래가 명시적으로 요청되는 경우(예: 시각화를 위해), 생성기 $G_\theta$ 를 사용하여 $p_\theta(y | c, e, z)$ 로부터 샘플링합니다.
지연 시간 감소: 제어 경로에서 생성기를 제거함으로써, Enfold는 비디오 롤아웃이나 결합된 디코딩이 필요한 방식에 비해 상당한 지연 시간 감소를 달자합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

예측 감독 공간의 정식화: 저자들은 세계 생성기의 다층적 내부 연산을 예측 감독 공간으로 정식화하여, 네트워크 깊이와 오염 수준에 따라 그 유용성과 안정성이 어떻게 변화하는지 규명했습니다.
Enfold 프레임워크 개발: 미래 생성 연산을 현재 전용 표현으로 증류하여, 미래 생성과 stop-gradient 태스크 리드아웃 모두를 위한 공유 인터페이스 역할을 수행하게 하는 방법을 개발했습니다.
롤아웃 없는 효율적 제어: 이 인터페이스가 행동 경로에서 생성기를 실행하지 않고도 시뮬레이션 및 실제 환경 작업에서 경쟁력 있는 제어를 지원하며, 동시에 미래 비디오 예측을 개선하고 행동 지연 시간을 대폭 줄임을 입증했습니다.

4. 실험 결과

Enfold는 LIBERO(40개의 언어 조건부 태스크), RoboTwin2.0(도메인 무작위화가 적용된 50개의 양팔 태스크), 그리고 실제 세계의 이완형 조작(AgileX 플랫폼)에서 평가되었습니다.

4.1 제어 성능 및 지연 시간

LIBERO: Enfold는 체화된 사전 훈련 없이도 **97.8%**의 평균 성공률을 달성하여, Fast–WAM(97.6%)을 능가하고 $\pi0$ $π 0$ 및 OpenVLA와 같은 더 큰 모델들과 대등하거나 이를 상회했습니다.
- 지연 시간: Enfold는 행동 지연 시간을 134 ms로 줄였습니다(Fast–WAM보다 3.7배 빠름). 최적화된 Enfold-Flash 변형은 49 ms에 도달했습니다(10.1배 빠름).
RoboTwin2.0: Enfold는 (클린 및 무작위 환경 모두에서) **91.77%**의 평균 성공률을 달성하여, 체화된 사전 훈련 없이도 Fast–WAM(91.83%)과 대등하고 LingBot-VA(92.20%)보다는 약간 낮은 성능을 보였습니다.
실제 세계: 4가지 이완형 조작 태스크에서 Enfold는 **89.7%**의 인-디스트리뷰션(In-distribution) 완료 점수를 기록하여, Fast–WAM(77.8%)과 $\pi0.5$ (86.1%)를 유의미하게 앞질렀습니다. 아웃-오브-디스트리뷰션(OOD) 변화 상황에서도 Enfold는 **76.6%**의 점수를 유지하며 Fast–WAM보다 6.6포인트 높은 성능을 보였습니다.

4.2 적응 및 반사실적 일관성(Counterfactual Consistency)

개입 테스트: 인간의 개입으로 장면이 변경되었을 때(예: 물체를 이동시킴), 목표는 고정된 상태에서 Enfold의 실행된 행동과 상상된 연속성은 새로운 상태에 적응했습니다.
의의: 이러한 동작은 고정된 궤적 재생(Trajectory replay)과 대조되며, 표현이 반사실적 일관성을 인코딩하고 변경된 현재 상태를 바탕으로 재계획할 수 있음을 보여주는 질적 증거를 제공합니다.

4.3 절제 실험 및 표현 분석

감독 타겟: 다층적 생성기 상태 감독은 미래 픽셀 예측이나 행동 전용 타겟보다 우수한 성능을 보였습니다.
R2G 검증: 학습된 표현을 조건으로 하는 생성기는 미래 비디오 예측 지표(PSNR, SSIM, LPIPS)를 개선하였으며, 이는 제어 이상의 유용성을 가진 표현임을 확인시켜 줍니다.
불필요한 변동 억제: 분석 결과, Enfold는 원시 생성기 특징에 존재하는 불필요한 변동(예: 조명 변화, 생성 노이즈)을 억제하면서도 태스크 관련 구조는 보존함을 보여주었습니다.
미래 지향적 인코딩: 프로브(Probe) 분석 결과, 표현은 정적인 시각적 특징에 비해 더 긴 호라이즌 동안 변화하는 장면 영역(예: 움직이는 로봇 팔 및 조작되는 물체)을 점점 더 잘 예측하게 됩니다.
토큰 기하학: 토큰 유사도 시각화는 Enfold가 단순한 시각적 유사성이 아닌 상호작용 관계(그리퍼-물체 접촉)를 강조하도록 표현을 조직함을 보여주었습니다.

5. 의의 및 주장

본 논문은 Enfold가 세계 생성기의 역할을 런타임 시뮬레이터에서 구조화된 예측 감독의 훈련 시 소스로 재정의한다고 상정합니다.

연산의 내재화: 주요 주장은 "미래의 내부 구조를 현재에 폴딩(Enfold)할 수 있다면, 매 단계마다 미래를 실체화할 필요가 없다"는 것입니다.
비대칭성: 본 프레임워크는 미래에 의존하는 확률적 상태를 미래에 대한 접근 없이 예측하는 인코더의 비대칭성을 활용합니다. 이는 인코더가 교사의 모든 불필요한 변동을 재현하는 대신, 현재 상태로부터 예측 가능한 전이 구조를 유지하도록 강제합니다.
효율성 vs 능력: 결과는 생성 분기를 제어 루프에서 제거하는 것이 제어 품질을 희생하지 않음을 보여줍니다. 오히려 이를 통해 미래를 명시적으로 요청할 때 '상상'할 수 있는 능력을 유지하면서도 실시간 성능(서브-50ms 지연 시간)을 가능하게 합니다.
일반화: 이 방법은 분포 변화와 인간의 개입에 대한 강건함을 보여주며, 이는 학습된 표현이 단순한 궤적 재생 메커니즘보다 더 인과적이고 적응적인 환경 이해를 포착하고 있음을 시사합니다.

저자들은 개입 증거가 질적이라는 점과, 강력한 사전 훈련을 거친 모델과 비교했을 때 대규모 분포 변화에 대한 강건성이 여전히 해결 과제로 남아 있다는 점을 언급하며 범위를 겸허히 제한하고 있습니다. 그러나 이들은 풍부한 생성 연산이 학습 중에 내재화될 수 있으며 제어를 위해 효율적으로 재사용될 수 있다는 더 넓은 원칙을 확립했습니다.