💬 NLP

Looped World Models

이 논문은 파라미터를 공유하는 트랜스포머를 통해 잠재 상태를 반복적으로 정제함으로써 충실한 장기 시뮬레이션과 계산 비용 사이의 긴장을 해결하고, 최대 100배의 파라미터 효율성을 달식하며 반복적 잠재 깊이(iterative latent depth)를 월드 모델링의 새로운 스케일링 축으로 확립하는 새로운 아키텍처인 Looped World Models(LoopWM)를 소개한다.

원저자: Hongyuan Adam Lu, Z. L. Victor Wei, Qun Zhang, Jinrui Zeng, Bowen Cao, Lingwei Meng, Mocheng Li, Zezhong Wang, Haonan Yin, Naifu Xue, Minyu Chen, Cenyuan Zhang, Zefan Zhang, Hao Wei, Jiawei Zhou, Haor

게시일 2026-06-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hongyuan Adam Lu, Z. L. Victor Wei, Qun Zhang, Jinrui Zeng, Bowen Cao, Lingwei Meng, Mocheng Li, Zezhong Wang, Haonan Yin, Naifu Xue, Minyu Chen, Cenyuan Zhang, Zefan Zhang, Hao Wei, Jiawei Zhou, Haoran Xu, Hao Yang, Ronglai Zuo, Tongda Xu, Yonghao Li, Jian Chen, Hebin Wang, Zeyu Gao, Yang Li, Wei Zhao, Qimin Zhong, Siqi Liu, Yumeng Zhang, Leyan Cui, Zhangyu Wang, Wai Lam

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

Looped World Models(루프형 세계 모델)에 대한 설명: 쉬운 언어와 창의적인 비유를 곁들여서

거대한 문제: "지친 여행자" vs "스마트한 가이드"

당신이 비디오 게임이나 방 안을 돌아다니는 로봇처럼 복잡한 환경의 미래를 예측하려고 한다고 상상해 보세요. 이것이 바로 AI가 말하는 **"세계 모델(World Model)"**입니다.

현재의 AI 모델들은 마치 산을 넘으려는 여행자처럼 어려운 선택에 직면해 있습니다:

깊은 하이킹 (The Deep Hike): 다음에 어떤 일이 일어날지 완벽하게 예측하기 위해, AI는 매우 깊게 생각하고 많은 단계를 거쳐야 합니다. 하지만 이는 느리고 비용이 많이 들며, 만약 AI가 초기에 아주 작은 실수라도 한다면 그 실수가 매 단계마다 점점 더 커져서(마치 언덕 아래로 굴러떨어지는 눈덩이처럼) 결국 전체 예측을 망쳐버립니다.
얕은 산책 (The Shallow Walk): 시간과 비용을 아끼기 위해 AI는 빠르고 얕게 훑어봅니다. 이는 빠르지만, 특히 긴 여정에서는 세부 사항을 틀리는 경우가 많습니다.

이 논문은 현재의 모델들이 이 중간 어디쯤에 갇혀 있다고 주장합니다. 즉, 실행하기에는 너무 비싸거나, 시간이 지남에 따라 오류가 발생하기 너무 쉽다는 것입니다.

해결책: "Looped World Model (LoopWM)"

연구진은 **Looped World Models (LoopWM)**라는 새로운 아키텍처를 제안합니다. 이것을 단순히 물건을 전달하는 긴 작업자들의 줄이 아니라, 자신의 답을 계속해서 다듬어 나가는 단 한 명의 초스마트한 전문가라고 생각해보세요.

작동 방식은 다음 세 가지 핵심 개념을 통해 설명할 수 있습니다.

1. "다시 읽기" 루프 (파라미터 공유)

당신이 까다로운 수학 문제를 풀려고 한다고 상상해 봅시다.

기존 방식: 100명의 서로 다른 사람을 고용합니다. 1번 사람이 1단계를 하고, 2번 사람이 2단계를 하는 식입니다. 당신은 100개의 서로 다른 뇌(파라미터)가 필요하며, 만약 5번 사람이 실수한다면 그 뒤의 모든 사람은 실패하게 됩니다.
LoopWM 방식: 당신은 단 한 명의 천재 수학자를 고용합니다. 당신이 문제를 주면, 그는 "잠시만 생각 좀 해볼게요"라고 말합니다. 그러고 나서 다시 생각합니다. 또 다시 생각합니다. 그는 완벽해질 때까지 동일한 뇌를 사용하여 답을 반복해서 다듬습니다.

기술적으로 말하면, 이 모델은 동일한 신경망 레이어 세트를 반복해서 사용합니다. 이 덕분에 모델은 똑똑해지기 위해 거대한 라이브러리가 필요하지 않으므로, 기존 모델보다 최대 100배 더 작고 효율적입니다.

2. "안전망" (스펙트럼 안정성)

그 단 한 명의 수학자에게 연속으로 100번 생각하라고 시킨다면, 그가 혼란에 빠지거나 엉뚱한 숫자들을 환각(mathematical "explosion")처럼 내뱉을 위험이 있습니다.

이 논문은 수학적 안전망을 도입했습니다. 연구진은 모델 안에 충격 흡수기 역할을 하는 특정 규칙을 구축했습니다. 모델이 몇 번을 루프를 돌거나 생각을 다듬더라도, 이 규칙은 숫자들이 차분하고 제한된 범위 내에 머물도록 보장합니다. 이는 AI가 아주 긴 미래를 시뮬레이션하더라도 미쳐 날뛰지 않도록 보장합니다.

3. "스마트한 멈춤" (적응형 계산)

이것이 가장 영리한 부분입니다. 모델은 언제 생각을 멈춰야 할지 스스로 압니다.

시나리오 A: 당신이 AI에게 "진공 상태에서 공을 떨어뜨리면 어떻게 될까?"라고 묻습니다. 물리 법칙이 단순합니다. AI는 루프를 한 번 돌고, 답이 명확하다는 것을 깨달은 뒤, "완료!"라고 말하며 끝냅니다. 이는 엄청난 에너지를 절약합니다.
시나리오 B: 당신이 "비가 오는 동안 자동차가 벽에 충돌하면 어떻게 될까?"라고 묻습니다. 이는 복잡합니다. AI는 충돌, 빗물, 그리고 파손에 대한 예측을 정교하게 만들기 위해 여러 번 루프를 돌며 생각을 다듬은 후에야 최종 답변을 내놓습니다.

이것을 **적응형 계산(Adaptive Computation)**이라고 부릅니다. 모델은 어려운 문제에는 더 많은 "두뇌 에너지"를 쓰고, 쉬운 문제에는 적게 쓰는 법을 스스로 결정합니다.

"지연된 디코딩 (Deferred Decoding)" 기술

이 논문은 또한 Deferred Decoding이라는 기법을 소개합니다.

영화 감독이 촬영을 하고 있다고 상상해 보세요.

기존 방식: 감독은 대사가 한 줄 끝날 때마다 배우를 멈추고, 조명을 확인하고, 대본을 검토한 뒤, 다음 대사를 내뱉게 하기 전까지 노트를 작성합니다. 이는 흐름을 끊고 속도를 늦춥니다.
LoopWM 방식: 감독은 배우들이 카메라를 체크하기 위해 멈추지 않고, 머릿속에서(잠재 공간, latent space) 전체 장면을 연기하도록 둡니다. 오직 마지막 순간에만 감독이 "좋아요, 이제 최종 장면을 보여주세요"라고 말합니다.

AI의 내부적인 생각들을 눈에 보이는 이미지나 구체적인 보상(reward)으로 변환하는 과정을 맨 마지막까지 미룸으로써, 모델은 매 단계마다 "이것이 어떻게 보이는가"라는 세부 사항에 한눈을 팔지 않고, 오직 "다음에 무슨 일이 일어나는가"라는 논리에만 집중할 수 있습니다. 이는 장기적인 계획을 훨씬 더 정확하게 만듭니다.

결과: 작지만 강력함

연구진은 이 새로운 모델(약 10억 개의 파라미터를 가진, AI 치고는 매우 작은 규모)을 Claude Opus나 Gemini 같은 거대하고 유명한 모델들과 테스트했습니다.

테스트: 그들은 모델들에게 복잡한 과학 과제(예: "물 끓이기", "식물 키우기", "물건 찾기")의 결과를 예측하도록 요청했습니다.
결과: 이 작은 LoopWM 모델은 많은 카테고리에서 거대 모델들을 이겼습니다.
- "Lifespan(수명)"이라는 과제에서 거대 모델들은 **0%**를 기록한 반면, LoopWM은 **100%**를 기록했습니다.
- 평균적으로, LoopWM은 100배나 더 작음에도 불구하고 거인들보다 훨씬 더 정확했습니다.

요약

이 논문은 AI의 주요 쟁점을 해결했다고 주장합니다: "어떻게 하면 정확하면서도 저렴하게 장기 예측을 할 수 있을까?"

그들은 다음과 같이 해결했습니다:

자신의 생각을 계속 다듬는 하나의 재사용 가능한 두뇌를 사용했습니다 (루핑).
오류가 폭발하는 것을 막기 위한 수학적 브레이크를 추가했습니다 (안정성).
과제의 난이도에 따라 얼마나 깊게 생각할지 스스로 선택하게 했습니다 (적응형 깊이).
생각을 이미지로 변환하는 과정을 마지막까지 미뤘습니다 (지연된 디코딩).

그 결과, 작고 안정적이며 놀라울 정도로 미래를 잘 예측하는 "세계 모델"을 만들어냈으며, 이는 똑똑한 모델이 되기 위해 반드시 거대한 모델일 필요는 없다는 것을 증명했습니다.

기술 요약: 루프형 월드 모델 (Looped World Models, LoopWM)

문제 정의

현재의 월드 모델은 충실한 장기 시뮬레이션의 필요성과 배포 제약 사이에서 근본적인 긴장 상태에 직면해 있다. 물리적 역학을 정확하게 시뮬레이션하려면 물리 법칙이 반복적으로 적용됨에 따라 깊거나 반복적인 연산이 필요할 때가 많다. 그러나 전통적인 고정 깊이 아키텍처는 복잡도와 상관없이 모든 전이에 동일한 계산 자원을 할당한다. 이는 다음과 같은 두 가지 주요 실패 모드로 이어진다:

오차 누적 (Compounding Errors): 예측 오차가 장기 롤아웃 과정에서 기하급수적으로 누적되어 궤적의 충실도가 저하된다.
배포 비용 (Deployment Costs): 이러한 오차를 완화하기 위해 모델의 깊이를 확장하면 파라미터 수와 추론 비용이 비례하여 증가하며, 이는 자원이 제한된 플랫폼에서의 실시간 배포를 불가능하게 만든다.

루프형 트랜스포머 아키텍처는 매개변수를 깊이 방향으로 재사용함으로써 언어 모델링에서 유망한 가능성을 보여주었으나, 월드 모델링 및 환경 시뮬레이션의 맥락에서는 아직 탐구되지 않은 영역이다.

방법론

저자들은 **Looped World Models (LoopWM)**를 제안한다. 이는 루프형 트랜스포머 아키텍처를 월드 모델링에 적용한 첫 번째 사례이다. 이 접근 방식은 세 가지 핵심 원칙인 물리적 역학과의 구조적 정렬, 증명 가능한 안정성, 그리고 적응형 계산 깊도를 기반으로 한다.

1. 전체 아키텍처

모델은 네 가지 모듈로 구성된다:

관측 인코더 ( $E_\phi$ ): 원시 관측값을 잠재 임베딩(latent embeddings)으로 매핑한다.
액션 임베더 ( $A_\psi$ ): 액션을 잠재 공간으로 투영한다.
루프형 역학 코어 ( $L_\theta$ ): 잠재 상태를 반복적으로 정교화하는 중심 구성 요소이다.
예측 헤드 ( $D_\xi$ ): 잠재 상태를 관측값, 보상, 지속 플래그(continuation flags)로 디코딩하는 경량 MLP이다.

2. 스펙트럼 안정성을 갖춘 루프형 역학 코어

코어는 잠재 상태를 정교화하기 위해 매개변수를 공유하는 재귀적 트랜스포머 블록을 $T$ 번 반복 적용한다. 업데이트 규칙은 다음과 같이 정의된다:
$h^{(t+1)} = \bar{A} h^{(t)} + \bar{B} e + \bar{R}(h^{(t)}, e)$
여기서 $e$ 는 이전 상태, 관측, 액션으로부터 유도된 조건화 신호이다.

스펙트럼 제약 (Spectral Constraint): 임의의 롤아웃 길이에 대해 안정성을 보장하기 위해, 상태 유지 행렬 $\bar{A}$ 는 연속 시간 음의 대각 행렬( $A := \text{diag}(-\exp(a))$ )의 이산화를 통해 매개변수화된다. 이는 $\bar{A}$ 의 모든 고윳값(eigenvalues)을 구간 $(0, 1)$ 내로 제한하여, 스펙트럼 노름(spectral norm)이 1보다 작음을 보장한다. 이를 통해 그래디언트 클리핑이나 사후 정규화 없이도 잠재 상태의 폭주를 방지한다.
구조: 코어는 "프렐류드-재귀-코다(Prelude-Recurrent-Coda)" 설계를 따른다. 프렐류드는 입력을 처리하고, 재귀 블록(공유 매개변수)은 $T$ 번의 반복을 수행하며, 코다(별도 매개변수)는 최종 상태를 투영한다.

3. 적응형 계산 및 조기 종료

모델은 적응형 조기 종료 메커니즘을 채택한다. 경량화된 종료 게이트(exit gate)는 단순한 전이에는 루프를 조기에 종료하고, 복잡한 전이에는 루프를 지속할지 결정한다. 이를 통해 모델은 어려운 이벤트(예: 충돌)에는 더 많은 반복을, 단순한 역학(예: 자유 비행)에는 더 적은 반복을 할당하여 테스트 타임 연산량을 동적으로 조절할 수 있다.

4. 지연 디코딩 (Deferred Decoding)

효율성과 추론 품질을 개선하기 위해, 저자들은 지연 디코딩을 도입한다. 매 단계마다 관측값을 디코딩하는 대신, 일련의 액션에 대해 "디코딩 없는(decode-free)" 잠재 롤아웃을 수행하고 터미널 단계에서만 디코딩을 수행한다. 이는 잠재 궤적이 단계별 시각적 세부 사항보다는 시간적으로 확장된 액션 관련 구조를 인코딩하도록 유도한다. 학습에는 지연 호라이즌(deferral horizon) $K$ 를 점진적으로 늘리는 커리큘럼을 사용한다.

주요 기여

최초의 LoopWM 아키텍처: 월드 모델링을 위해 특별히 설계된 최초의 루프형 트랜스포머 아키텍처를 도입하여, 모델 크기 및 데이터 볼륨과 직교하는 새로운 스케일링 축으로서 반복적 잠재 깊이(iterative latent depth)를 확립하였다.
스펙트럼 안정성: 스펙트럼 노름 제약을 통해 임의의 롤아웃 길이 동안 안정적인 잠재 전이를 보장하는 수학적으로 근거 있는 메커니즘을 제공하여, 오차 누적 문제를 해결하였다.
매개로 효율성: 깊이 방향으로 매개변수를 재사용함으로써 기존 방식 대비 최대 100배의 매개변수 효율성을 달면면서도 경쟁력 있는 예측 정확도를 유지한다.
적응형 깊이: 적응형 계산이 계산 깊이를 전이 복잡도에 맞춤으로써 추론 비용을 크게 줄일 수 있음을 입증하였다.
지연 디코딩: 잠재 역학 추론과 관측값 접지(grounding)를 분리하여 디코더 호출을 줄이고 장기 호라이즌 계획 능력을 향상시키는 새로운 학습 및 추론 전략을 제안하였다.

결과

본 논문은 ScienceWorld 및 AlfWorld 데이터셋에서 LoopWM을 평가하였으며, claude-opus-4-6-max, qwen-3.5-flash, gemini-3-flash-preview를 포함한 강력한 베이스라인들과 비교하였다.

ScienceWorld: 제안된 모델(약 1B 파라미터)은 claude-opus-4-6-max 베이스라인을 크게 능가한다. 특히 "Lifespan" 작업 점수를 0%에서 100%로 향상시켰다. 평균적으로 Exact Match(EM)에서 베이스라인보다 21.2% 높은 성능을 보였으며, F1 및 BLEU 지표에서도 우수한 성능을 달성했다. 또한 대부분의 지표에서 qwen-3.5-flash 및 gemini-3-flash-preview와 같은 작은 모델들보다 뛰어난 성능을 보였다.
AlfWorld: 모델은 비교된 모델 중 가장 높은 BLEU 점수를 기록했으며, 적은 파라미터 수(1B)에도 불구하고 EM 및 Token F1에서 2위를 차지했다.
지연 디코딩 분석: 실험 결과, 지연 디코딩은 특히 롤아웃 호라이즌이 길어질수록(예: Step 5에서 베이스라인 대비 상당한 이득) 실질적인 상대적 개선을 가져오는 것으로 나타났다.

의의 및 주장

논문은 LoopWM이 반복적 잠재 깊이를 도입함으로써 시뮬레이션 충실도와 계산 비용 사이의 긴장을 해결한다고 주장한다.

효율성: 이 방법은 고품질의 월드 시뮬레이션이 반드시 거대한 파라미터 수를 요구하지 않으며, 공유된 매개변수를 통한 반복적 정교화가 극도의 효율성을 위한 경로가 될 수 있음을 보여준다.
안정성: 스펙트럼 제약은 표준 자기회귀적 월드 모델에는 없는 형식적인 안정성 보장을 제공하여, 더 길고 신뢰할 수 있는 롤아웃을 가능하게 한다.
적응성: 적응형 깊이 메커니즘은 계산 노력을 물리적 복잡도에 일치시키며, 이는 고정 깊이 모델보다 자연스러운 시뮬레이션 접근 방식을 제공한다.

저자들은 LoopWM을 RSSM 기반 모델, 자기회귀 비디오 토큰 모델, 확산 기반 모델과는 구별되는 월드 모델 지형의 독특한 지점으로 위치시킨다. 그들은 이 연구가 동시에 더 유능하고, 효율적이며, 확장된 호라이즌에서 안정적인 월드 모델을 구축하는 새로운 방향을 열어줄 것이라고 제안한다. 본 논문은 핵심적인 아키텍처 테제를 확립했으나, 더 넓은 범위의 패밀리 간 포지셔닝 및 풍부한 스케일링 분석은 향후 공개될 과제로 남겨두고 있다.