Learning Local Constraints for Reinforcement-Learned Content Generators

기술 요약: 강화학습 기반 콘텐츠 생성기를 위한 지역 제약 조건 학습

문제 제기
절차적 콘텐츠 생성 (PCG) 은 시각적 미학과 기능적 플레이 가능성 사이의 근본적인 트레이드오프에 직면해 있습니다. 자기지도학습 접근법인 파동함수 붕괴 (WFC) 와 같은 방법들은 훈련 데이터에서 지역적 시각적 패턴과 미학적 스타일을 포착하는 데 뛰어나지만, 도달 가능성과 같은 전역적 기능적 속성을 보장하는 데는 종종 실패합니다. 반면, 강화학습 (RL) 기반 생성기는 보상 함수에 전역적 속성 (예: 목표 도달 가능성) 을 통합하여 이를 최적화할 수 있지만, 생성된 콘텐츠는 종종 시각적 일관성과 미학적 충실도가 부족하여 "시각적으로 불만족스러운" 모습을 보입니다. 본 논문이 다루는 핵심 과제는 인간이 설계한 예시와 시각적으로 일치하면서도 기능적으로 플레이 가능한 게임 레벨을 생성하기 위해 이 두 패러다임을 어떻게 결합할 것인가입니다.

방법론: WCRL 프레임워크
저자들은 WFC 에서 유래된 지역 규칙을 사용하여 PCGRL 에이전트의 행동 공간을 제약하는 하이브리드 프레임워크인 WCRL(강화학습을 통한 파동 붕괴) 을 제안합니다. 시스템의 작동 방식은 다음과 같습니다:

1. 제약 조건 추출 (WFC): 프레임워크는 하나 이상의 입력 레벨 (특히 Lode Runner 레벨) 을 받아 $N \times N$ 타일 패턴과 그 인접 관계를 추출합니다. 이러한 관계는 생성 과정에 대한 유효한 지역 제약 조건을 정의합니다.
2. 행동 공간 정의: 차기 타일을 선택하기 위해 휴리스틱 (최소 엔트로피) 을 사용하는 표준 WFC 와 달리, WCRL 은 이 선택 단계를 RL 에이전트로 대체합니다. WFC 알고리즘은 현재 이웃에 기반하여 특정 셀에 대해 사용 가능한 유효 패턴 목록을 사전에 계산합니다.
3. RL 에이전트 상호작용:
   • 관측: 에이전트는 붕괴될 셀을 중심으로 한 레벨의 현재 상태를 나타내는 3 차원 관측 배열을 받습니다. 플레이어의 위치는 특정 스폰 포인트가 아닌 연결성에 집중하도록 빈 타일로 처리됩니다.
   • 행동 공간 및 마스킹: 에이전트의 행동 공간은 입력에서 발견된 모든 고유 패턴의 집합입니다. 중요하게도, 시스템은 무효 행동 마스킹을 적용합니다. 각 단계에서 WFC 는 현재 인접 제약 조건을 고려할 때 유효한 패턴 목록을 제공합니다. RL 에이전트는 이러한 유효 옵션 중에서만 선택하도록 마스킹되어 구조적으로 불가능한 레벨이 생성되는 것을 방지합니다.
   • 보상 신호: 보상은 플레이어 위치에서 도달 가능한 금 조각 수를 결정하기 위해 홍수 채우기 (flood-fill) 알고리즘을 사용하는 자동 게임 플레이 에이전트에 의해 계산됩니다. 연결성과 도달 가능성을 개선할 경우 양의 보상을 부여하고, 연결성을 감소시키거나 WFC 전파 과정에서 모순을 초래할 경우 음의 보상을 부여합니다.
4. 생성 과정: 과정은 빈 그리드 (또는 특정 실험에서는 부분적으로 붕괴된 그리드) 로 시작합니다. 에이전트는 가장 제약이 많은 셀에 대한 패턴을 반복적으로 선택하고, WFC 는 이 선택을 전파하여 이웃 셀의 유효성을 업데이트하며, 레벨이 완전히 붕괴되거나 모순이 발생할 때까지 이 사이클이 반복됩니다.

주요 기여 및 실험 설계
본 논문은 Super Mario Bros에 RL 과 WFC 를 결합한 이전 작업 (예: Babin et al.) 을 더 복잡한 Lode Runner 영역으로 확장함으로써 몇 가지 구체적인 기여를 합니다. 저자들은 프레임워크가 세 가지 주요 하이퍼파라미터에 대한 민감도를 분석하기 위해 제거 연구 (ablation study) 를 수행합니다:

1. 입력 데이터 다양성: 단일 입력, 다수 유사 입력, 다수 다양한 입력 시나리오를 비교합니다. 다양성은 타일 패턴 KL-발산 (TPKLDiv) 점수를 사용하여 정량화됩니다.
2. 패턴 제외: 저자들은 "희귀 패턴"(입력 데이터셋에서 한 번만 나타나는 패턴) 을 제외하는 것이 에이전트의 일반화 가능한 규칙 학습 능력을 향상시키는지 확인하기 위해 그 효과를 조사합니다.
3. 시작 상태: 실험은 완전히 빈 레벨에서 훈련하는 것과 WFC 에 의해 레벨의 작은 부분이 미리 채워져 에이전트가 부분적으로 제약된 상태에서 학습하도록 하는 "무작위 붕괴" 상태에서의 훈련을 비교합니다.

결과
이 프레임워크는 Maskable Proximal Policy Optimization (PPO) 을 사용하여 $32 \times 22$ Lode Runner 레벨을 생성하는 데 테스트되었습니다. 주요 발견 사항은 다음과 같습니다:

• 플레이 가능성 대 다양성: 단일 입력에 비해 여러 입력 레벨을 사용하는 것이 일반적으로 플레이 가능성을 높였으나, 입력들이 구조적으로 유사한 경우에 한정되었습니다. 그러나 매우 다양한 입력 (높은 TPKLDiv) 을 사용할 경우 플레이 가능성이 크게 떨어졌습니다. 프레임워크는 상충되는 패턴 스타일 간의 유효한 연결을 찾는 데 어려움을 겪어 전파 과정에서 빈번한 모순이 발생했습니다.
• 희귀 패턴의 영향: 희귀 패턴을 제외하면 생성된 레벨의 다양성이 감소했습니다 (행동 공간이 축소됨). 그러나 다중 입력 시나리오에서는 일반적으로 플레이 가능성이 향상되었습니다. 이는 희귀 패턴이 에이전트가 충족하기 어려운 제약 조건을 도입하는 반면, 일반적인 패턴은 연결된 구조를 용이하게 한다는 것을 시사합니다. 단일 입력 시나리오에서는 희귀 패턴을 제거하는 것이 해로웠는데, 이는 때때로 플레이어 배치 전파에 필요한 패턴을 제거했기 때문입니다.
• 시작 상태: 무작위 부분 붕괴 상태에서 훈련하는 것은 플레이 가능성 지표를 크게 바꾸지 않았으나, 특히 다양한 입력의 경우 약간 더 다양한 출력을 초래했습니다. 저자들은 이 접근법이 에이전트가 더 견고하고 일반화 가능한 정책을 학습하는 데 도움이 된다고 제안합니다.
• 시각적 품질: 가장 성능이 좋은 모델들은 입력 데이터의 지역적 미학적 제약 조건을 준수하면서도 전역적 기능을 유지하여 플레이 가능하고 시각적으로 만족스러운 레벨을 생성했습니다.

의의 및 주장
본 논문은 WCRL 이 지역적 미학 학습과 전역적 기능 최적화 사이의 간극을 성공적으로 메웠다고 주장합니다. WFC 를 사용하여 RL 에이전트의 행동 공간을 엄격하게 제약함으로써, 시스템은 생성된 레벨이 훈련 데이터의 시각적 스타일을 준수하도록 보장하는 반면, RL 에이전트는 플레이 가능성을 최적화합니다. 저자들은 이 방법이 특히 입력 다양성과 패턴 필터링과 관련하여 하이퍼파라미터 튜닝에 민감하지만, 이 접근법은 인간이 설계한 콘텐츠의 시각적 충실도를 유지하면서 복잡하고 플레이 가능한 퍼즐 플랫폼 레벨을 생성할 수 있음을 보여준다고 지적합니다. 연구는 Lode Runner가 단순한 플랫폼 게임인 Super Mario Bros보다 충족하기 어려운 엄격한 연결성 요구 사항과 복잡한 공간 메커니즘을 가지고 있기 때문에 이러한 연구에 대한 엄격한 테스트베드로 작용한다고 결론지었습니다.