🤖 AI

Zero-shot World Models Are Developmentally Efficient Learners

이 논문은 단일 아동의 1 인칭 경험으로부터 학습하여 물리 세계 이해 능력을 획득하고 뇌와 유사한 내부 표현을 구축하는 '제로샷 비주얼 월드 모델 (ZWM)'을 제안함으로써, 인간의 발달적 학습 효율성을 모방한 데이터 효율적 AI 시스템의 청사진을 제시합니다.

원저자: Khai Loong Aw, Klemen Kotar, Wanhee Lee, Seungwoo Kim, Khaled Jedoui, Rahul Venkatesh, Lilian Naing Chen, Michael C. Frank, Daniel L. K. Yamins

게시일 2026-04-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Khai Loong Aw, Klemen Kotar, Wanhee Lee, Seungwoo Kim, Khaled Jedoui, Rahul Venkatesh, Lilian Naing Chen, Michael C. Frank, Daniel L. K. Yamins

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"어린아이처럼 적은 경험으로도 세상을 빠르게 이해하고, 새로운 상황에도 유연하게 대처할 수 있는 인공지능 (AI) 을 만드는 방법"**을 소개합니다.

기존의 AI 는 방대한 양의 데이터를 먹고 자라야만 똑똑해지지만, 실제 인간 아이는 몇 달 동안의 일상 경험만으로도 사물이 떨어지거나, 서로 부딪히거나, 숨는 것을 금방 이해합니다. 이 연구는 그 비결을 찾아 **'제로샷 (Zero-shot) 월드 모델 (ZWM)'**이라는 새로운 AI 시스템을 개발했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 핵심 아이디어: "세상의 법칙을 예측하는 상상력"

이 AI 는 단순히 사진을 보고 "이건 개야, 저건 고양이야"라고 분류하는 게 아닙니다. 대신 **"만약 내가 이 물건을 밀면 어떻게 될까?"**라고 상상하며 세상을 이해합니다.

비유: 어린아이가 장난감을 가지고 놀 때, 단순히 장난감 모양을 외우는 게 아니라 "이걸 밀면 넘어질 거야", "이걸 쌓으면 무너질 거야"라고 **상상 (예측)**합니다. 이 AI 도 마찬가지입니다. 화면의 한 부분을 살짝 건드리면 (가상 행동), 나머지 부분이 어떻게 변할지 예측하는 능력을 훈련합니다.

2. 이 AI 가 가진 3 가지 마법 같은 능력

이 시스템은 세 가지 원리를 바탕으로 작동합니다.

① "정적인 모습"과 "움직임"을 분리하다 (시간에 따른 분리)

비유: 우리가 영화를 볼 때, 배우의 얼굴 (외모) 과 배우가 움직이는 동작 (동역학) 을 따로 인식하죠. 이 AI 는 학습할 때 첫 번째 장면은 다 보여주고, 두 번째 장면은 90% 를 가려버립니다.
효과: AI 는 "얼굴은 그대로인데, 손이 움직였구나"라고 추론해야만 가려진 부분을 채울 수 있습니다. 이 과정에서 AI 는 사물의 '모습'과 '움직임'을 자연스럽게 분리해서 배우게 됩니다.

② "만약에 (What-if)" 질문으로 답을 찾아내다 (인과 추론)

비유: AI 가 배운 후, 우리가 "만약 이 공을 왼쪽으로 밀면 어떨까?"라고 묻습니다. AI 는 실제 데이터가 없어도, 배운 규칙을 바탕으로 **"아, 왼쪽으로 밀면 저기서 공이 튀어 오를 거야"**라고 상상합니다.
효과: 이렇게 **가상 실험 (시뮬레이션)**을 통해 깊이, 움직임, 물체 구분 같은 복잡한 능력을 별도의 학습 없이 (Zero-shot) 바로 해냅니다. 마치 아이에게 "공을 밀면 어떨까?"라고 물으면 금방 답을 내놓는 것과 같습니다.

③ 레고 조립처럼 복잡한 능력을 쌓아 올리다 (조합)

비유: 먼저 '움직임'을 이해하는 레고 블록을 만들고, 그 위에 '물체 구분' 블록을 올리고, 그 위에 '물리 법칙' 블록을 올립니다.
효과: 단순한 예측이 모여서, "이 물체가 떨어지면 아래 물체가 튕겨 나갈까?" 같은 복잡한 물리 추론까지 가능해집니다.

3. 놀라운 결과: "한 아이의 눈"으로만 학습해도 된다

이 연구팀은 이 AI 를 실제 아이들의 시선으로 찍은 868 시간 분량의 영상 (하루 10 시간씩 약 3 개월 치) 으로만 훈련시켰습니다.

결과:
- 움직임 추적: 공이 어디로 굴러갈지, 사람이 어떻게 움직일지 정확히 예측했습니다.
- 깊이 감각: 눈으로 본 사물이 얼마나 멀리 있는지 (입체감) 를 잘 파악했습니다.
- 물체 구분: 어떤 것이 하나의 물체인지, 어떤 것이 배경인지 구분했습니다.
- 물리 법칙: "손으로 물건을 밀면 다른 물건도 움직일까?" 같은 직관적인 물리 문제를 100% 에 가깝게 맞췄습니다.

기존의 AI 들은 수천 시간의 인터넷 영상과 수많은 정답 (레이블) 이 필요했지만, 이 AI 는 한 아이의 일상 경험만으로도 인간과 비슷한 수준의 능력을 갖췄습니다.

4. 뇌와 닮은 성장 과정

이 AI 가 성장하는 과정을 지켜보니, 실제 아이의 뇌 발달 과정과 놀랍게 비슷했습니다.

먼저 눈의 기본 기능 (움직임 감지) 이 발달하고, 그다음 깊이 감각, 그리고 나중에는 복잡한 물체 인식과 물리 법칙을 이해하는 순서로 성장했습니다.
또한, AI 의 내부 구조가 인간의 뇌가 시각 정보를 처리하는 방식 (뇌의 층위별 구조) 과도 거의 일치했습니다.

5. 결론: 왜 이 연구가 중요한가요?

지금까지 AI 는 "방대한 데이터 + 정답지"가 없으면 똑똑해질 수 없었습니다. 하지만 이 연구는 **"적은 데이터 + 올바른 학습 방식 (상상력)"**으로도 AI 가 인간처럼 유연하게 세상을 이해할 수 있음을 증명했습니다.

로봇과 의료 분야: 라벨이 붙지 않은 복잡한 현실 세계에서도 로봇이 스스로 상황을 판단하고, 의료 영상에서 드문 병변을 찾아내는 등 데이터가 부족한 환경에서도 강력한 AI 를 만들 수 있는 길을 열었습니다.

한 줄 요약:

"이 AI 는 방대한 시험 문제를 풀기 위해 공부하는 게 아니라, 한 아이처럼 세상을 관찰하며 '만약에'를 상상하는 법을 배워, 적은 경험으로도 세상을 완벽하게 이해하는 똑똑한 친구가 되었습니다."

1. 연구 배경 및 문제 정의 (Problem)

인간의 학습 효율성: 어린 아이들은 제한된 1 인칭 경험 데이터 (단 한 명의 아동이 깨어 있는 동안 경험하는 약 3 개월 분량의 비디오) 로도 깊이, 운동, 물체 일관성, 상호작용 등 복잡한 물리적 세계 이해 능력을 빠르게 습득합니다.
AI 의 한계: 현재의 최첨단 AI 시스템 (심층 신경망 포함) 은 이러한 능력을 모방하기 위해 방대하게 큐레이션된 데이터 (예: ImageNet, 수천 시간의 인터넷 비디오) 와 각 작업별 지도 학습 (지도 레이블) 이 필요합니다.
핵심 질문: "제한된 자연주의적 데이터 (Uncurated data) 로부터 어떻게 데이터 효율적이고 유연한 (Zero-shot) 시각 - 인지 능력을 획득할 수 있는가?"
기존 접근법의 부족: 기존 자기지도 학습 (Self-supervised learning) 모델들은 유용한 표현을 학습하지만, 특정 작업 (광학 흐름, 깊이 추정, 분할 등) 을 수행하기 위해 여전히 작업별 레이블이 필요한 'Readout'을 훈련시켜야 하므로 인간과 같은 유연한 Zero-shot 추론이 불가능합니다.

2. 제안 방법론: Zero-shot Visual World Model (ZWM)

저자들은 ZWM이라는 새로운 계산적 가설을 제시합니다. 이는 세 가지 핵심 설계 원칙에 기반합니다.

A. 희소 시간 분할 예측 (Sparse Temporally-factored Prediction)

핵심 구성 요소: $\Psi$ 로 표기되는 희소 시간 분할 마스크 다중 프레임 비주얼 예측기 (Sparse temporally-factored masked multi-frame visual predictor).
작동 원리: 두 프레임 ( $f_1, f_2$ ) 을 입력받아, $f_1$ 은 완전히 노출시키고 $f_2$ 는 매우 희소하게 (예: 10% 만 노출) 마스크한 상태에서 $f_2$ 의 전체를 예측하도록 훈련됩니다.
효과: 이 제약 조건은 모델이 **외관 (Appearance)**과 **동역학 (Motion/Dynamics)**을 명시적으로 분리 (Factorization) 하여 학습하도록 강제합니다. $f_2$ 의 희소한 패치만으로는 외관을 유추할 수 없으므로, 모델은 $f_1$ 의 외관 정보와 $f_2$ 의 희소 패치에서 운동 정보를 분리하여 압축된 토큰으로 학습하게 됩니다.

B. 근사적 인과 추론을 통한 Zero-shot 추출 (Zero-shot Extraction via Approximate Causal Inference)

메커니즘: 학습된 예측기 $\Psi$ $Ψ$ 를 사용하여 "가상 개입 (Hypothetical Intervention)"을 수행합니다.
1. Perturb (교란): 입력 데이터에 최소한의 변화를 가합니다 (예: 물체 패치를 이동시키거나, 손의 위치를 밝힘).
2. Compare (비교): 교란된 입력과 원래 입력에 대한 예측 결과를 비교합니다.
3. Aggregate (집계): 두 결과의 차이를 집계하여 관심 있는 시각적 양 (광학 흐름, 깊이, 물체 분할 등) 을 추출합니다.
의미: 이는 인과 추론의 일종으로, "만약 이 물체가 움직인다면 어떻게 될까?"라는 가상 시나리오를 통해 물리적 구조를 드러냅니다. 별도의 작업별 레이블 없이 이 프로세스만으로 다양한 작업을 수행할 수 있습니다.

C. 구성적 프롬핑 (Compositional Prompting)

단순한 추출기 (예: 광학 흐름) 를 조합하여 더 복잡한 추론 능력을 구축합니다.
- 예: 광학 흐름을 기반으로 상대적 깊이를 계산하거나, 가상 운동을 시뮬레이션하여 물체 분할을 수행하고, 이를 결합하여 직관적 물리 추론을 수행합니다.

3. 실험 설정 및 데이터 (Experimental Setup)

데이터셋:
- BabyView: 5 개월~5 세 아동의 1 인칭 시점 (Egocentric) 비디오 (약 868 시간).
- Single-Child Subset: 단일 아동 (9~30 개월) 의 132 시간 데이터 (데이터 효율성 극한 테스트).
- 기타: Kinetics-400, Big Video Dataset (BVD) 등 다양한 데이터로 비교 실험 수행.
모델 아키텍처: Vision Transformer (ViT) 기반. 1.7 억 파라미터 (170M) 및 10 억 파라미터 (1B) 버전.
훈련: 지도 학습 없이 자기지도 학습 (Self-supervised) 만 수행. 작업별 레이블은 전혀 사용되지 않음.

4. 주요 결과 (Key Results)

A. Zero-shot 작업 수행 능력

ZWM 은 별도의 추가 학습 없이 다양한 시각 - 인지 작업에서 최첨단 (SOTA) 지도 학습 모델과 경쟁하거나 이를 능가하는 성능을 보였습니다.

광학 흐름 (Optical Flow): TAP-Vid 벤치마크에서 CoTracker3, SeaRAFT 등 지도 학습 모델과 경쟁력 있는 성능을 보임.
상대적 깊이 추정 (Relative Depth): 스테레오 비전을 기반으로 한 깊이 추정이 90% 이상의 정확도를 기록하며, Gemini-1.5, GPT-4o 등 대형 멀티모달 모델보다 우수함.
물체 분할 (Object Segmentation): SpelkeBench 에서 Mask2Former 와 유사한 성능을 보이며, SAM2(대규모 인간 주석 기반) 를 제외하고는 최상위권 성능 달성.
직관적 물리 추론 (Intuitive Physics): 손과 물체의 상호작용 (지지, 힘 전달, 분리 등) 을 예측하는 새로운 벤치마크에서 100% 에 가까운 정확도 달성.

B. 발달적 효율성 (Developmental Efficiency)

단일 아동 데이터: 132 시간의 단일 아동 데이터만으로도 BabyZWM 은 다양한 작업에서 높은 성능을 보였으며, 이는 인간 아동의 학습 효율성을 강력하게 시사합니다.
발달 궤적: 훈련 체크포인트를 분석한 결과, 광학 흐름, 깊이, 분할, 물리 추론 능력의 발현 순서와 속도가 실제 인간 아동의 발달 궤적 (예: 초기에는 단순 운동 추적, 이후 깊이 및 물체 분할, 나중에는 물리 추론) 과 정성적으로 유사함을 확인했습니다.

C. 신경학적 정합성 (Neural Alignment)

뇌 반응 예측: BabyZWM 의 내부 표현은 인간 fMRI(NSD) 및 원숭이 전기생리학 (TVSD) 데이터와 높은 정합성을 보였습니다.
계층적 구조: 모델의 초기 레이어는 뇌의 초기 시각 영역 (V1) 과, 후기 레이어는 고차 시각 영역 (IT 등) 과 각각 정렬되는 계층적 구조를 가지며, 이는 인간 뇌의 발달 순서 ("Early-first") 와 일치합니다.

5. 의의 및 기여 (Significance & Contributions)

데이터 효율성과 유연성의 통합: ZWM 은 대규모 큐레이션 데이터와 작업별 레이블 없이도 인간 수준의 시각 - 인지 능력을 획득할 수 있음을 증명했습니다. 이는 AI 의 데이터 효율성 문제를 해결하는 새로운 패러다임을 제시합니다.
인지 과학적 통찰: "선천성 (Innateness)"에 대한 논쟁에 새로운 관점을 제공합니다. ZWM 은 복잡한 선천적 지식 (콘텐츠) 이 아니라, **구조적 선입견 (아키텍처, 학습 알고리즘, 인과 추론 메커니즘)**이 학습을 통해 효율적으로 작동할 수 있음을 보여줍니다. 즉, "무엇을" 학습하는지는 경험에서 오지만, "어떻게" 학습하는지는 구조적으로 설계될 수 있음을 시사합니다.
AI 시스템 설계의 전환: 기존 '표현 학습 + 작업별 헤드' 방식에서 벗어나, 단일 세계 모델 (World Model) 이 다양한 추론을 Zero-shot 으로 수행하는 방향으로의 전환을 제안합니다. 이는 로봇공학, 의료 영상, embodied AI 등 레이블 데이터가 부족한 분야에서 중요한 의미를 가집니다.
발달 모델링: 컴퓨터 모델이 인간 아동의 발달 단계를 재현할 수 있음을 보여주어, 인공지능과 인지 과학의 융합 연구에 중요한 발판을 마련했습니다.

결론

이 논문은 **Zero-shot Visual World Model (ZWM)**을 통해, 제한된 자연주의적 데이터로부터 인간과 유사한 물리적 세계 이해 능력을 획득하는 새로운 계산적 프레임워크를 제시했습니다. 시간적 분할 예측과 근사적 인과 추론을 결합한 이 모델은 데이터 효율성과 유연성을 동시에 달성하며, 인공지능의 학습 메커니즘과 인간 발달의 본질을 이해하는 데 중요한 통찰을 제공합니다.