🤖 AI

Human-Aligned Procedural Level Generation Reinforcement Learning via Text-Level-Sketch Shared Representation

이 논문은 텍스트, 레벨, 스케치 양식을 공유 임베딩 공간과 대조 학습을 통해 통합함으로써 설계자의 의도를 더 잘 해석하고 제어 가능하며 인간다운 결과물을 생성하도록 하여, 인간의 의도에 부합하는 절차적 레벨 생성을 향상시키는 새로운 심층 강화 학습 프레임워크인 VIPCGRL을 소개한다.

원저자: In-Chang Baek, Seoyoung Lee, Sung-Hyun Kim, Geumhwan Hwang, KyungJoong Kim

게시일 2026-07-20

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: In-Chang Baek, Seoyoung Lee, Sung-Hyun Kim, Geumhwan Hwang, KyungJoong Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 게임 디자이너가 되는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 재미있고 플레이 가능한 레벨을 만들기를 원하지만, 동시에 로봇이 당신이 어떻게 생각하는지를 이해하기를 바랍니다. 이것이 바로 **절차적 콘텐츠 생성(Procedural Content Generation)**의 세계입니다. 이곳에서 컴퓨터는 인간이 모든 벽과 몬스터를 일일이 그리는 대신, 자동으로 게임 세계를 만들어냅니다. 오랫동안 이 로봇들은 엄격한 수학 학생과 같았습니다. 그들은 숫자 목록(예: "여기에 벽 50개를 배치해")은 완벽하게 따를 수 있었지만, "으스스한 느낌이 들게 해줘"라거나 "뱀처럼 보이는 경로를 그려줘"와 같은 모호한 아이디어는 이해할 수 없었습니다. 또한 그들은 인간 디자이너의 무질서하고 창의적인 재기(flair)가 부족한, 차갑고 로봇 같은 레벨을 만드는 경향이 있었습니다. 이 분야의 핵심 질문은 이것입니다: 어떻게 하면 AI가 단순히 규칙을 따르는 것을 넘어, 인간의 파트너처럼 생각하고 창조하도록 가르칠 수 있을까요?

이 논문은 VIPCGRL(Vision-Instruction PCGRL)이라는 새로운 시스템을 소개하며, 이를 위해 서로 다른 유형의 지시사항을 위한 "공유 언어"를 제공함으로써 이 문제를 해결하고자 합니다. 이것은 마치 로봇에게 세 가지 방언을 동시에 말하도록 가르치는 것과 같습니다: 텍스트(단어), 레벨(실제 게임 맵), 그리고 스케치(거친 그림)입니다. 연구진은 이 세 가지를 모두 동일한 비밀 코드로 변환하는 특별한 "번역기"를 구축했습니다. 이를 통해 당신은 "좁은 길을 만들어줘"라는 말을 단어로 전달하거나, 낙서를 하거나, 완성된 맵을 보여줌으로써 전달할 수 있으며, AI는 이 모든 것을 동일한 아이디어로 이해하게 됩니다.

하지만 진짜 마법은 단순히 이해하는 것이 아니라, 바로 스타일에 있습니다. 저자들은 AI가 지시사항을 따를 때조차 결과물이 인간이 만든 것과는 전혀 다르게 보일 수 있다는 점에 주목했습니다. 이를 해결하기 위해, 그들은 AI에게 새로운 종류의 '선생님 점수'를 부여했습니다. AI가 단순히 플레이 가능한 레벨을 만드는 것을 넘어, 생성된 레벨이 실제 인간 디자이너가 만든 레벨과 비슷하게 보이고 느껴지면 보너스 점수를 받도록 한 것입니다. 그들은 5,000개의 인간 설계 레벨과 2,500개의 AI 생성 레벨이 있는 2D 게임 환경에서 이를 테스트했습니다. 결과는 이 새로운 방식이 AI의 레벨을 훨씬 더 "인간답게" 만들고, 특정 규칙을 놓치지 않으면서도 스케치나 그림으로 제어하기 쉽게 만든다는 것을 보여줍니다. 이는 당신과 AI가 함께 게임을 공동 창작할 수 있는 미래를 향한 한 걸음이며, AI가 당신의 거친 스케치와 창의적인 분위기를 타이핑된 명령만큼이나 잘 이해하게 되는 미래를 의미합니다.

문제점: 당신을 "이해하지 못하는" 로봇들

당신이 비디오 게임을 플레이하고 있다고 상상해 보세요. 당신은 레벨을 바꾸고 싶습니다. 당신은 "길고 구불구불한 길을 만들고, 구석에는 몇 마리의 몬스터를 숨겨줘"라고 말할 수 있습니다. 전통적인 게임 AI는 "긴 길"과 "몬스터"라는 말은 알아듣겠지만, 기술적으로는 길지만 지루하고 직선적인 길을 만들거나, 몬스터를 아무 의미 없는 곳에 배치할 수도 있습니다. 그것은 수학은 따르지만, 디자인의 영혼은 놓칩니다.

현재의 게임 레벨 생성 도구(PCGRL이라 불림)는 엄격한 숫자를 따르는 데는 뛰어납니다. 만약 당신이 "맵을 16x16 타일로 만들어줘"라고 하면 완벽하게 수행합니다. 하지만 두 가지 측면에서 어려움을 겪습니다:

제한된 입력: 그들은 보통 숫자나 매우 구체적인 텍스트만을 이해합니다. 그들은 당신이 냅킨 위에 그린 거친 그림을 실제로 "볼" 수 없습니다.
로봇 같은 스타일: 규칙을 따를 때조차, 그들이 만든 레벨은 너무 완벽하거나, 너무 대칭적이거나, 혹은 인간 디자이너의 창의적인 "재기"가 부족하여 마치 기계가 만든 것처럼 보이기 쉽습니다.

연구진은 AI가 계산기가 아닌 창의적인 파트너처럼 행동하도록 만들고 싶었습니다. 그들은 텍ền 설명, 거친 스케치, 또는 부분적인 레벨 맵을 받아 새로운 레벨로 바꿀 수 있는 AI를 원했습니다.

해결책: 게임 디자인을 위한 유니버설 번역기

팀은 VIPCGRL(Vision-Instruction Procedural Content Generation via Reinforcement Learning)을 제작했습니다. 핵심 아이디어는 AI에게 텍스트, 레벨 맵, 스케치라는 세 가지 다른 언어를 동시에 말하도록 가르치는 것입니다.

이를 위해 그들은 "공유 잠재 공간(Shared Latent Space)"을 구축했습니다. 모든 아이디어가 고유한 숫자 코드로 저장되는 거대하고 보이지 않는 도서관을 상상해 보세요.

만약 당신이 "좁은 길"이라고 쓰면, AI는 그 텍스트를 코드로 변환합니다.
만약 당신이 종이에 좁은 길을 그리면, AI는 그 스케치를 코드로 변환합니다.
만약 당신이 좁은 길이 포함된 맵을 보여주면, AI는 그 맵을 코드로 변환합니다.

마법은 AI가 단어, 그림, 또는 맵으로부터 왔더라도 "좁은 길"에 대한 코드가 거의 동일하도록 훈련된다는 점입니다. 이는 **사중 대조 학습(Quadruple Contrastive Learning)**이라는 기술을 통해 이루어집니다. 이것은 "짝 맞추기 게임"과 같습니다. AI는 텍스트 지시사항, 레벨 맵, 스케치, 그리고 제작자의 스타일(인간 vs AI)을 살펴봅니다. 그리고 유사한 것들은 메모리에서 서로 가깝게 끌어당기고, 서로 다른 것들은 멀리 밀어내도록 학습합니다.

예를 들어, AI에게 "좁은 길"이라는 텍스트과 좁은 길의 스케치를 보여주면, AI는 이 두 코드가 같은 동네에 속한다는 것을 배웁니다. 하지만 "넓은 들판"의 스케치를 보여주면, 이 코드는 완전히 다른 동네에 속한다는 것을 배웁니다. 결정적으로, AI는 "인간 스타일" 코드와 "AI 스타일" 코드를 구분하는 법도 배우므로, 자신이 무엇을 목표로 해야 하는지 알게 됩니다.

비법: "인간다움" 보상

단순히 번역기를 갖는 것만으로는 충분하지 않습니다. AI는 여전히 무엇을 만들어야 할지 알아야 합니다. 표준적인 훈련에서는 AI가 규칙을 따랐을 때만(예: "경로를 충분히 길게 만들었는가?") 보상(점수)을 받습니다.

연구진은 새로운 규칙인 **인간다움 보상(Human-Likeness Reward)**을 추가했습니다.
AI가 레벨을 만들 때마다, 그들은 이를 실제 인간이 만든 레벨 라이브러리와 비교합니다. 그들은 공유 코드 시스템을 사용하여 AI의 레벨이 인간의 레벨과 얼마나 "가까운지" 측정합니다.

만약 AI가 인간이 디자인한 것처럼 보이고 느껴지는 레벨을 만들면, 보너스 점수를 받습니다.
만약 로봇처럼 보이는 것을 만들면, 점수를 적게 받습니다.

이는 AI가 단순히 규칙을 따르는 것을 넘어, 인간 디자이너의 스타일을 복제하도록 독려합니다. 이는 마치 수학 문제를 정답만 맞히는 것이 아니라, 선생님이 좋아하는 깔끔하고 창의적인 글씨체로 답안을 작성하는 학생과 같습니다.

발견한 점: 더 나은, 더 인간다운, 더 유연한 결과

팀은 2D 게임 레벨 생성 작업에 이 시스템을 테스트했습니다. 그들은 텍스트나 숫자만을 사용했던 기존 방식들과 VIPCGRL을 비교했습니다.

1. 인간처럼 들린다 (인간다움):
생성된 레벨이 인간이 만든 것과 얼마나 유사한지 측정했을 때, VIPCGRL은 기존 방식보다 유의미하게 높은 점수를 기록했습니다.

타일이 어떻게 배열되어 있는지와 같은 작은 국소적 패턴을 확인하는 TPKL-Div 테스트에서, VIPCGRL은 기존 방식보다 인간의 디자인에 훨씬 더 가까웠습니다.
전체적인 외형을 확인하는 ViT-Sim 테스트에서도 개선되었습니다.
가장 중요한 것은, 실제 인간이 레벨을 플레이하고 평가했을 때 VIPCGRL의 레벨을 선호했다는 점입니다. 인간들은 VIPCGRL의 "인간다움"을 7점 만점에 4.25점으로 평가했는데, 이는 이전의 최고 방식인 2.90점과 비교됩니다. 이 차이는 통계적으로 유의미하며, 이는 단순히 운이 아니라는 것을 의미합니다.

2. 스케치와 맵을 이해한다 (멀티모달 제어):
AI는 주로 텍스트 지시사항으로 훈련되었지만, 공유된 언어 덕분에 테스트 중에 스케치와 레벨 맵을 입력값으로 받을 수 있었습니다.

AI가 스케치에 대해 구체적으로 훈련받지 않았음에도 불구하고, 그림을 바탕으로 레벨을 생성할 수 있었습니다.
스케치에 대한 제어력(지시를 따르는 능력)은 텍스트보다 약간 낮았지만, 여전히 무작위 추측보다는 훨씬 뛰어났습니다.
이는 "공유 라이브러리"가 작동함을 증명합니다: AI는 그림을 텍스트 지시사항과 동일한 코드로 번역하여 올바른 레벨을 구축할 수 있습니다.

3. 트레이드오프 (Trade-Off):
작은 비용이 있었습니다. 연구진이 "인간다움" 보상을 높일수록(즉, 인간처럼 보이려고 더 노력할수록), AI는 엄격한 수치적 규칙(예: 몬스터의 정확한 개수 맞추기)을 따르는 데 있어 약간 덜 완벽해졌습니다. 그러나 논문은 이 트레이드오프가 매우 작다고 언급했습니다. AI는 과업을 매우 잘 수행하면서도 훨씬 더 창의적이고 인간다워졌습니다.

이것이 미래에 의미하는 바

이 논문은 AI에게 여러 가지 방식으로 지시를 이해하도록 가르치고(텍스트, 그림, 맵), 인간의 스타일을 복제하도록 보상함으로써, 게임 디자이너를 위한 훨씬 더 나은 도구를 만들 수 있음을 시사합니다. 단순한 명령 수행 계산기를 넘어, AI는 당신의 분위기를 이해하는 창의적인 파트너가 됩니다.

연구진은 한계점도 인정합니다. 그들의 "스케치"는 예술가의 손으로 직접 그린 낙서가 아니라 맵으로부터 컴퓨터로 생성된 것이었습니다. 또한 시스템이 두 단계(먼저 언어를 배우고, 그다음 구축하는 법을 배우는)로 훈련되므로, 새롭고 특이한 상황에 적응하는 데 시간이 걸릴 수 있다고 언급했습니다. 하지만 결과는 명확한 방향을 제시합니다: 만약 우리가 AI가 우리를 돕게 하고 싶다면, 우리는 AI에게 단순히 로봇이 아니라 인간처럼 생각하고 느끼도록 가르쳐야 합니다.

기술 요약: VIPCGRL – 텍스트-레벨-스케치 공유 표현을 통한 인간 정렬형 절차적 레벨 생성

1. 문제 정의

강화 학습 기반 절차적 콘텐츠 생성(PCGRL)은 게임 레벨 설계를 자동화하여, 종종 인간 디자이너의 공동 창작 워크플로우를 위한 도구로 활용되는 것을 목표로 한다. 그러나 기존의 PCGRL 시스템은 두 가지 주요 한계점에 직면해 있다:

제한된 제어 모달리티: 현재의 접근 방식은 주로 수치적 조건 벡터나 텍스트 전용 입력에 의존한다. 이들은 공간적 의도와 구조적 제약을 직관적으로 표현하는 데 중요한 시각적 입력(예: 레벨 맵 또는 스케치)을 수용하는 능력이 부족하다.
인간 정렬성 결여: 기존 방법들은 특정 작업 조건(예: "5개의 영역이 있는 맵 생성")을 충족할 수는 있지만, 생성된 레벨은 인간이 제작한 콘텐츠의 구조적 및 스타일적 미묘함을 포착하지 못하는 경우가 많다. 생성된 결과물은 기능적으로는 올바를 수 있으나 스타일 면에서는 인간의 디자인과 구별되어, "인간 유사성(human-likeness)"이 핵심 요구사항인 협업 설계 시나리오에서의 유용성을 제한한다.

본 논문은 현재의 프레임워크가 작업 특정 목적을 최적화하지만, 생성된 콘텐츠를 인간의 디자인 스타일과 정렬하거나 다양한 입력 모달리티(텍스트, 비전, 스케치)를 통일된 제어 공간으로 통합하는 메커니즘이 부족하다는 격차를 식별한다.

2. 방법론: VIPCGRL

저자들은 조절 가능하고 인간에게 정렬된 2D 게임 레벨을 생성하도록 설계된 딥 강화 학습 프레임워크인 VIPCGRL(Vision-Instruction PCGRL)을 제안한다. 이 프레임워크는 공유 잠재 표현(shared latent representation)과 유사도 기반 보상을 포함하는 2단계 학습 과정을 통해 작동한다.

A. 데이터셋 구축

시스템 학습을 위해 저자들은 **(지시문, 레벨, 스케치)**로 구성된 멀티모달 데이터셋을 구축하였다.

인간 데이터 ( $D_{human}$ ): 4명의 게임 디자이너가 생성한 5,000개의 샘양으로, 자연어 지시문과 16x16 레벨 맵을 쌍으로 구성하였다. 이 레벨들은 에지 검출(edge detection), 스플라인 보간(spline interpolation), 가우시안 블러링을 사용하여 "스케치 스타일" 이미지로 변환되었다.
AI 데이터 ( $D_{AI}$ ): 사전 학습된 IPCGRL 모델에 의해 생성된 2,500개의 샘플로, 인간과 AI의 디자인 패턴을 명시적으로 구분하기 위해 수정된 지시문(예: "AI-style" 접두사 포함)과 쌍을 이루었다.
공간적 맥락: 레벨과 스케치 입력 모두에는 명시적인 공간적 맥락을 제공하기 위해 (CoordConv에서 영감을 받은) x-y 좌표 채널이 추가되었다.

B. 공유 잠재 표현 (사중 대조 학습)

핵심 구성 요소는 **사중 대조 학습(quadruple contrastive learning)**을 통해 학습된 공유 임베딩 공간이다. 이 방법은 세 가지 모달리티(텍스트, 레벨, 스케치) 간의 표현을 정렬하는 동시에 두 가지 스타일(인간 vs AI)을 구분한다.

인코더: 세 개의 인코더가 입력을 64차원 벡터로 매핑한다:
- $f_\psi$ : 텍스트 인코더 (사전 학습된 CLIP + 학습 가능한 MLP).
- $f_\phi$ : 레벨 인코더 (Residual CNN + MLP).
- $f_\omega$ : 스케치 인코더 (Residual CNN + MLP).
손실 함수: 시스템은 멀티-포지티브(multi-positive) InfoNCE 목적 함수를 사용한다. 이는 동일한 작업 조건과 스타일을 공유하는 임bed딩(예: 특정 텍text 지시문, 그에 대응하는 인간 레벨, 그리고 그 스케치)은 서로 끌어당기고, 조건이나 스타일이 다른 임베딩은 서로 밀어낸다.
결과: 이를 통해 동일한 디자인 의도를 설명하는 서로 다른 모달리티들이 클러스터링되고, 인간/AI 스타일이 분리 가능한 통일된 공간이 생성된다.

C. 인간 정렬 보상을 포함한 조건부 강화 학습

DRL 에이전트는 작업 완수와 스타일 정렬을 결합한 수정된 보상 함수를 사용하여 근사 정책 최적화(PPO)를 통해 학습된다.

제어 보상 ( $r_{ctrl}$ ): 특정 목표(예: 현재 몬스터 수와 목표 수 사이의 차이 감소)를 향한 개선 정도를 측정하는 표준 PCGRL 보상이다.
유사도 보상 ( $r_{sim}$ ): 공유 잠재 공간에서 파생된 보조 보상이다. 각 단계에서 에이전트는 동일한 작업 조건에 따라 현재 레벨 상태( $s_t$ )를 참조 인간 설계 레벨( $s_{human}$ )과 비교한다. 보상은 임베딩 공간 내에서 에이전트의 상태와 인간 참조 모델 간의 코사인 유사도 증가량이다.
총 보상: $r_t = r_{ctrl} + \alpha \cdot \lambda_{sim} \cdot r_{sim}$ , 여기서 $\lambda_{sim}$ 은 작업 성능과 인간 유사성 사이의 트레이드오프를 조절한다.

3. 주요 기여

인간 정렬형 DRL 프레임워크: 단순한 조건 충족을 넘어 유사도 기반 정렬 보상을 통해 인간 유사성을 명시적으로 최적화하는 새로운 PCGRL 프레임워크를 제시한다.
멀티모달 공유 표현: 텍스트, 레벨 맵, 스케치를 통합하는 통일된 잠재 공간을 도입하여, 모달리티 간 일관된 조건부 제어를 가능하게 한다.
사중 대조 학습: 여러 모달리티를 정렬하는 동시에 단일 임베딩 공간 내에서 인간-AI 스타일 차이를 포착하는 학습 목적 함수를 제정한다.
경험적 검증: 정량적 지표와 인간 평가를 통해 제어 가능성을 유지하면서 인간 유사성을 향상시킨다는 점을 입증하였다.

4. 실험 결과

저자들은 다섯 가지 뚜렷한 구조적 제약이 있는 2D 레벨 생성 작업에 대해 VIPCGRL을 평가하였다.

정량적 지표:
- 인간 유사성: VIPCGRL은 TPKL-Div(타일 패턴 KL-발산)와 ViT-Sim(비전 트랜스포머 유사도) 측면에서 베이스라인(CPCGRL, IPCGRL)보다 유의미하게 높은 성능을 보였다. 유사도 보상 계수( $\lambda_{sim}$ )를 높이면 제어 가능성(Progress 지표)의 미미한 손실만으로 인간 유사성이 더욱 향 강화되었다.
- 멀티모달 일반화: 텍스트 입력만으로 학습된 에이전트가 추론 시 보지 못한 레벨 및 스케치 입력을 성공적으로 일반화하여, 텍스트 조건 생성과 대등한 수준의 인간 유사성 점수를 달-성하였다.
인간 평가:
- 26명의 참가자를 대상으로 한 사용자 연구에서, VIPCGRL은 베이스라인에 비해 인간 유사성과 텍스트 정렬성에서 유의미하게 높은 점수를 받았다.
- 또한, 학습 중에 스케치를 사용하지 않았음에도 불구하고 스케치 입력과의 강력한 정렬을 보여주어, 공유 표현의 효과를 입증하였다.
절제 연구(Ablation Studies): 단일 모달리티(텍스트, 레벨, 스케치)의 데이터 양을 줄이면 다른 모달리티의 성능에 부정적인 영향을 미쳤으며, 이는 각 모달리티가 공유 임베딩 공간에 상호 보완적으로 기여함을 확인시켜 준다. 텍스트 데이터의 감소가 가장 두드한 영향을 미쳤는데, 이는 텍스트가 정렬을 위한 주요 앵커 역할을 함을 시사한다.

5. 의의 및 주장

본 논문은 생성된 콘텐츠가 인간 디자이너의 스타일적 충실도가 부족하다는 PCGRL의 근본적인 격차를 VIPCGRL이 해결한다고 주장한다. 공유 표현과 유사도 기반 보상을 도입함으로써 다음과 같은 기능을 가능하게 한다:

공동 창작(Co-creativity): 다양한 인간의 의도(텍스트 또는 스케치)를 해석하고 인간의 디자인 패턴에 부합하는 콘텐츠를 생성할 수 있는 AI 에이전트.
제어 가능한 스타일 정렬: 작업 성능을 완전히 희생하지 않으면서 $\lambda_{sim}$ 파라미터를 통해 "인간 유사성"의 정도를 조절할 수 있는 능력.
모달리티 불가지론(Modality Agnosticism): 정책을 재학습하지 않고도 추론 시점에 입력 모달리티(텍스트, 레벨, 스케치)를 전환할 수 있는 능력.

저자들은 두 단계 학습 과정(DRL 중 인코더 고정)이 중간 상태에 대한 적응성을 제한할 수 있다는 점과, 실제 디자이너의 스케치가 아닌 절차적으로 생성된 스케치를 사용했다는 점을 한계점으로 언급하며 겸허히 밝혔다. 이들은 향후 연구로 엔드 투 엔드(end-to-end) 학습과 더 넓은 범위의 스케치 스타일 탐구를 제안하였다.