🤖 AI

InfiniteDiffusion: Bridging Learned Fidelity and Procedural Utility for Open-World Terrain Generation

본 논문은 학습된 모델의 높은 충실도와 전통적인 절차적 노이즈의 무한한 유용성을 결합하도록 확산 샘플링을 재구성함으로써 실시간, 무한, 그리고 시드 일관성을 갖춘 지형 생성을 가능하게 하는 학습이 불필요한 알고리즘인 InfiniteDiffusion 을 소개합니다.

원저자: Alexander Goslin

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alexander Goslin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 지구 전체보다 크고 가장자리가 없는 진정한 무한한 비디오 게임 세계를 구축하려고 한다고 상상해 보세요. 수십 년 동안 개발자들은 이를 위해 프로시저럴 노이즈(Perlin 노이즈와 같은) 라는 "수학적 레시피"를 사용해 왔습니다. 이는 마치 영원히 흘러나올 수 있는 마법 잉크처럼, 순식간에 언덕과 계곡을 만들어냅니다. 이 방법은 빠르고, 메모리를 고갈시키지 않으며, 특정 코드("시드") 를 입력하면 매번 동일한 산을 생성합니다.

문제점 1: 이 마법 잉크는 속도 면에서는 훌륭하지만, 만들어내는 풍경은 다소 가짜처럼 보입니다. 너무 매끄럽고 반복적입니다. 실제 산, 분수계, 침식된 협곡이 가진 혼란스럽고 사실적인 디테일이 부족합니다.

문제점 2: 최근 **확산 모델 **(Diffusion Models) 이라고 불리는 AI 이미지 생성기들이 초현실적인 이미지를 만드는 데 놀라울 정도로 뛰어났습니다. 이 AI 들은 산을 사진과 똑같이 만들 수 있습니다. 하지만 이러한 AI 모델들은 작은 캔버스만 가진 화가들처럼 행동합니다. 그들은 무한한 세계를 그릴 수 없으며, 영원히 계속해 달라고 요청하면 혼란에 빠지고, 보통 사용자에게 보여주기 전에 전체 이미지를 메모리에 저장해야 합니다.

해결책: InfiniteDiffusion
Alexander Goslin 이 이끄는 이 논문의 저자들은 InfiniteDiffusion이라는 새로운 방법을 개발했습니다. 이는 초현실적인 AI 화가에게 무한한 마법 잉크를 사용하는 법을 가르치는 번역기라고 생각하면 됩니다.

간단한 비유를 통해 작동 원리를 설명해 보겠습니다:

1. "게으른 화가" (Lazy Evaluation)

일반적으로 거대한 이미지를 생성하려면 전체를 한 번에 그려야 합니다. 하지만 InfiniteDiffusion 은 "게으른" 화가입니다. 현재 당신이 보고 있는 세계의 특정 사각형만 그립니다.

비유: 숲을 걷고 있다고 상상해 보세요. 당신은 한 번에 숲 전체를 볼 필요가 없습니다. 바로 주변에 있는 나무들만 보면 됩니다. 왼쪽으로 돌아서면 화가는 즉시 왼쪽의 나무들을 그리고, 오른쪽으로 돌아서면 그쪽 나무들을 그립니다. 당신이 보고 있지 않은 나무는 절대 그리지 않으므로 메모리가 고갈되지 않습니다.

2. "겹치는 스텐실" (Sliding Windows)

한 번에 그려진 사각형이 끝나고 다음 사각형이 시작되는 곳에서 딱딱한 선이 보이지 않도록 세계가 매끄럽게 이어지도록 하기 위해, AI 는 "슬라이딩 윈도우"라는 기법을 사용합니다.

비유: 작은 스텐실을 사용하여 벽에 벽화를 그리는 상황을 상상해 보세요. 한 구역을 그린 후, 스텐실을 약간 밀어 이전 구역과 겹치게 합니다. 겹치는 부분에서 페인트를 섞어 이음새가 없도록 합니다. InfiniteDiffusion 은 무한한 격자 전체에서 수학적 방식으로 이를 수행하여, 수백만 개의 작은 겹치는 예측을 하나의 거대하고 매끄러운 세계로 융합합니다.

3. "예술가 팀" (Hierarchical Modeling)

행성 전체를 만드는 것은 단일 AI 모델에게는 너무 어렵습니다. 따라서 저자들은 세 명의 예술가가 협력하는 팀을 구성했습니다:

**건축가 **(Coarse Model) 이 예술가는 먼저 큰 그림을 그립니다. 간단한 스케치나 사용자의 그림을 사용하여 대륙과 바다의 위치를 결정합니다.
**조각가 **(Core Model) 이 예술가는 큰 스케치를 받아 주요 특징들을 추가합니다. 거대한 산맥, 깊은 계곡, 강 시스템 등이 여기에 해당합니다.
**디테일가 **(Decoder) 이 예술가는 확대하여 작고 사실적인 디테일을 추가합니다. 바위의 질감, 절벽의 구체적인 모양, 정상에 쌓인 눈 등이 여기에 해당합니다.
결과: 이 팀 접근 방식은 세계가 가까이서 볼 때 사실적이면서도 우주에서 볼 때 여전히 논리적으로 보이도록 보장합니다.

4. "마법 시드" (Seed Consistency)

가장 중요한 특징 중 하나는 세계가 **결정론적 **(deterministic) 이라는 점입니다.

비유: AI 에게 동일한 "시드"(시작 숫자) 를 제공하면, 언제 요청하든 항상 동일한 위치에 동일한 산이 생성됩니다. 바다 한가운데 있는 산으로 순간 이동하더라도, AI 는 즉시 그것을 생성하며, 당신이 마지막으로 방문했을 때와 정확히 똑같이 보입니다. 이는 비디오 게임에서 매우 중요하여, 플레이어가 떠나갔다가 돌아왔을 때 세계가 변하는 것을 방지합니다.

5. "스피드 데몬" (Performance)

이 논문은 이 시스템이 놀라울 정도로 빠르다고 주장합니다.

주장: 일반적인 소비자용 그래픽 카드 (게임용 PC 에 구매할 수 있는 것) 에서 이 시스템은 전투기가 비행하는 속도보다 9 배 더 빠르게 지형을 생성할 수 있습니다.
의미: 당신이 이 세계 위로 비행하고 있다면, 컴퓨터는 당신이 날아갈 수 있는 속도보다 더 빠르게 앞쪽의 지면을 생성할 수 있습니다. 이는 지연 없이 행성 크기의 세계를 실시간으로 탐험할 수 있게 해줍니다.

요약

이 논문은 현대 AI 의 사실성과 구식 게임 수학의 무한하고 빠르고 일관된 특성을 결합한 InfiniteDiffusion을 소개합니다. 저자들은 Terrain Diffusion을 구축하여 이를 테스트했는데, 이 시스템은 실시간으로 사실적인 무한 행성을 생성할 수 있습니다. 그들은 심지어 이를 게임 마인크래프트에 연결하여 게임의 네이티브 월드 생성기를 그들의 AI 로 대체했고, 플레이어가 사진처럼 보이지만 비디오 게임처럼 작동하는 프로시저럴 생성 세계를 탐험할 수 있도록 했습니다.

핵심 교훈은 그들이 AI 를 위한 "무한한 캔버스" 문제를 해결했다는 점이며, 이를 통해 우리는 무한하면서도 사진처럼 사실적인 세계를 가질 수 있게 되었습니다.

기술 요약: InfiniteDiffusion

문제 정의

절차적 지형 생성은 무한한 확장성, 시드 일관성, 그리고 상수 시간 무작위 접근을 제공할 수 있는 능력 덕분에 오랫동안 노이즈 함수 (예: 퍼린, 심플렉스) 에 의존해 왔습니다. 그러나 이러한 방법들은 근본적으로 현실성 측면에서 제한적이며, 대륙, 유역, 침식과 같은 자연 지리의 계층적 다중 규모 조직을 결여하고 있습니다. 반면, 현대의 확산 모델은 전례 없는 충실도와 제어를 제공하지만 일반적으로 경계가 있는 캔버스에 국한됩니다. 확산을 무한한 영역으로 확장하려는 기존 시도들은 종종 시드 일관성이나 무작위 접근과 같은 핵심 절차적 속성을 희생하거나 대규모에서 글로벌 일관성을 유지하지 못합니다. 이 논문은 오픈 월드 생성에 대해 학습된 생성 모델의 높은 충실도와 절차적 노이즈의 기능적 유용성을 연결하는 과제를 다룹니다.

방법론

1. InfiniteDiffusion 알고리즘

핵심 기여는 지연된 무제한 생성을 위해 설계된 MultiDiffusion 의 학습 없는 일반화인 InfiniteDiffusion입니다.

재형성: 고정된 캔버스 위의 유한한 창 집합을 가정하는 표준 MultiDiffusion 과 달리, InfiniteDiffusion 은 무한한 영역 ( $\mathbb{Z}^2$ ) 에 대한 샘플링 과정을 재형성합니다. 이는 쿼리된 영역 $R$ 과 교차하는 창만 계산하는 지연 평가 전략을 정의합니다.
지연 평가 및 캐싱: 이 알고리즘은 창 기여도를 저장하기 위해 두 개의 희소 무한 텐서인 $A_t$ (누적 분자) 와 $B_t$ (누적 가중치) 를 유지합니다. 영역이 쿼리될 때 시스템은 필요한 창만 재귀적으로 평가하고 결과를 캐싱하여 재계산을 방지합니다.
단순화된 $T$ : 쿼리를 실행 가능하게 만들기 위해 저자들은 확산 모델 $\Phi$ 를 단일 원자 단계가 아닌 임의의 잡음 제거 함수 (예: 몇 단계 일관성 모델) 로 재정의합니다. 이를 통해 확산 스케줄 ( $T$ ) 을 1 또는 2 단계로 단순화하더라도 일관성에 큰 손실 없이, 추론 단계 수를 내부 확산 스케줄로부터 분리할 수 있습니다.
속성: 이 알고리즘은 다음을 보장합니다:
- 시드 일관성: 전체 무한 출력은 쿼리 순서와 무관하게 단일 시드에 의해 결정론적으로 결정됩니다.
- 상수 시간 무작위 접근: 고정된 크기의 영역을 쿼리하는 것은 위치나 이전 쿼리와 무관하게 $O(1)$ 입니다.
- 병렬화: 고정된 시간 단계에서의 창 업데이트는 독립적이며 병렬로 실행될 수 있습니다.

2. 무한 텐서 프레임워크

메모리 한계를 초과하지 않고 무한 텐서의 저장 및 조작을 지원하기 위해 저자들은 오픈 소스 무한 텐서 (Infinite Tensor) 프레임워크를 소개합니다. 이 파이썬 라이브러리는 슬라이딩 윈도우 계산을 추상화하여 모델이 경계가 있는 일시적 캐시와 타일화된 디스크 저장을 사용하여 암묵적으로 무한한 이미지에서 작동할 수 있게 합니다.

3. 지형 확산 프레임워크

저자들은 Terrain Diffusion을 만들기 위해 InfiniteDiffusion 을 적용합니다. 이는 학습된 절차적 지형 생성기입니다.

데이터: MERIT DEM(육지) 과 ETOPO1(해양) 을 WorldClim 기후 데이터와 병합한 글로벌 데이터셋으로, 극지방 왜곡을 최소화하기 위해 면적이 동일한 2048×2048 타일로 처리되었습니다.
전처리:
- 부호 있는 제곱근 변환: 고지형 값을 압축하고 분산을 더 균일하게 분포시켜 학습 안정성을 개선하기 위해 고도 데이터에 적용되었습니다.
- 라플라시안 인코딩: 지구 고도의 큰 동적 범위를 처리하기 위해 모델은 저주파 성분 (흐릿하게 처리/다운샘플링됨) 과 고주파 잔차를 예측합니다. 잡음 제거 단계는 잡음이 섞인 출력에서 저주파 채널을 재추출하여 저주파 오류를 제거하면서 고주파 세부 정보를 보존합니다.
계층적 아키텍처:
- 대략적 모델: 사용자 스케치나 절차적 노이즈로부터 기본 대륙 구조 (픽셀당 23km) 를 생성합니다.
- 핵심 잠재 모델: 잠재 공간에서 대략적 구조를 46km 타일로 정제하는 잠재 확산 모델 (EDM2 + sCM 백본) 로, 저주파 고도 채널과 잔차 잠재 변수를 예측합니다.
- 일관성 디코더: 잠재 변수를 고충실도 고도 지도로 확장하는 확산 디코더입니다.
- 조건부: 핵심 모델은 글로벌 일관성을 보장하기 위해 대략적 고도 패치와 기후 변수 (기온, 강수량) 를 조건으로 받습니다.

주요 결과

시각적 충실도: 소비자용 GPU(RTX 3090 Ti) 에서 이 시스템은 날카로운 능선, 일관된 유역, 부드러운 전환을 가진 사실적인 지형을 생성합니다.
- FID 점수: $T=2$ 인 InfiniteDiffusion 은 타일링 생성에 대해 14.78 의 FID 를 달성하여, 타일링되지 않은 기본 일관성 모델 (12.72) 과 거의 일치하며 퍼린 블렌딩 (186.70) 과 단순한 타일링 (74.44) 보다 훨씬 뛰어납니다.
- 아티팩트 감소: $T$ 를 1 에서 2 로 증가시키는 것은 무한 타일링 과정에서 발생하는 대부분의 아티팩트를 효과적으로 제거합니다.
성능 및 지연 시간:
- 속도: 이 시스템은 상호작용 속도로 지형을 생성합니다. 512×512 타일 (90m 해상도) 에서 첫 번째 타일 도달 시간 (TTFT) 은 약 1.72 초이며, 두 번째 타일 도달 시간 (TTST) 은 약 0.66 초입니다.
- 이동 속도: 생성 속도는 궤도 속도 (약 7,700 m/s) 보다 9 배 빠릅니다. 고속도로 속도로 이동하는 차량은 170 배의 성능 버퍼를 경험합니다.
- 확장성: 계층적 접근 방식은 캐스케이드 깊이에 관계없이 감가상각 비용이 $O(S^2)$ 로 유지되는 무한한 세계로 확대할 수 있게 합니다.
통합: 이 프레임워크는 Minecraft 엔진에 성공적으로 통합되어 네이티브 월드 생성기를 대체하고 실시간으로 생체군 일관성을 갖춘 지형을 스트리밍합니다.

중요성과 주장

이 논문은 InfiniteDiffusion이 확산 모델의 높은 충실도와 절차적 노이즈의 기능적 유용성 사이의 간극을 성공적으로 연결했다고 주장합니다. 시드 일관성과 상수 시간 무작위 접근을 유지함으로써 현실적이고 상호작용 가능한 "실용적인 무한 가상 세계"의 생성을 가능하게 합니다.

저자들은 Terrain Diffusion을 소비자 하드웨어에서 실시간으로 전체 행성을 스트리밍할 수 있는 최초의 실용적인 학습된 절차적 지형 생성기로 위치 짓습니다. 그들은 이 접근 방식이 구조가 결여된 노이즈 기반 방법과 규모가 결여된 경계 확산 방법의 한계를 넘어선다고 주장하며, 차세대 오픈 월드 생성의 기초를 제공한다고 봅니다. 논문은 창 기반 생성으로 인한 산재된 점 쿼리의 비효율성과 계층의 가장 거친 레이어에 대한 학습 데이터 확보의 어려움과 같은 한계를 겸손하게 지적하며, 잠재적인 해결책으로 합성 데이터를 제안합니다.