수백 명의 플레이어가 동시에 달리고, 점프하고, 물건을 던지는 거대하고 혼란스러운 멀티플레이어 비디오 게임을 보고 있다고 상상해 보세요. 현실 세계에서는 당신과 친구가 모두 떨어지는 나무를 보고 있다면, 서로 다른 위치에 서 있더라도 두 사람 모두 나무가 땅에 부딪히는 것을 동시에 보게 됩니다. 하지만 컴퓨터에게 이를 이해하도록 가르치는 것은 매우 어렵습니다. 보통 세계 모델(world models)이라고 불리는, 장면의 미래를 예측하려는 컴퓨터들은 '1인용 카메라'와 같습니다. 그들은 단 한 사람이 다음에 무엇을 볼지는 추측할 수 있지만, 갑자기 두 번째 사람이나 백 명의 사람이 추가되면 혼란에 빠집니다. 이는 마치 한 명의 손님이 보는 모습만 알고 파티의 그림을 그리려는 것과 같습니다. 만약 더 많은 손님을 추가하려고 하면, 그 그림은 무너지거나 처음부터 완전히 다시 그려야 합니다. 과학자들은 여러 명의 플레이어가 참여하더라도 시스템이 멈추지 않고, 얼마나 많은 사람이 게임에 참여하든 상관없이 모두에게 일관된 세계를 유지할 수 있는 '범용 시뮬레이터'를 구축하기 위해 노력해 왔습니다.

이 논문은 Khora라고 불리는 새로운 시스템을 소개합니다. Khora는 이러한 가상 세계를 위한 매우 똑똑하고 보이지 않는 '게임 마스터' 역할을 합니다. Khora는 컴퓨터가 정해진 수의 플레이어를 감당하도록 강요하는 대신, "세계의 규칙"과 "카메라 뷰"를 분리합니다. 이것은 방 한가운데에 있는 공유 화이트보드와 같습니다. 모든 사람은 자신의 행동과 관찰 내용을 이 화이트보드(저자들이 STBoard라고 부르는 것)에 적습니다. 플레이어가 무슨 일이 일어나고 있는지 알고 싶을 때, 그들은 다른 플레이어들에게 직접 묻지 않습니다. 대신 그저 화이트보드를 보고 자신의 특정 위치에서 보이는 모습을 그릴 뿐입니다. 화이트보드는 방 안에 몇 명의 사람이 있는지 상관하지 않기 때문에, 새로운 플레이어를 언제든 추가할 수 있으며, 그 플레이어는 누군가가 게임 방식을 새로 배울 필요 없이 즉시 보드를 읽고 자신만의 뷰를 그리기 시작할 수 있습니다.

연구진은 이 접근 방식이 매우 효과적이라는 것을 발견했습니다. 실험에서 그들은 소수의 에이전트(가상 캐릭터)로 시작하여 갑자기 더 많은 에이전트를 추가하여 한 번에 64개의 서로 다른 시점을 구현했습니다. 시스템은 재학습되거나 변경될 필요 없이 세계를 일관되게 유지했습니다. 에이전트가 수류탄을 던지든 그냥 걷고 있든, 모두가 동일한 사건이 동시에 일어나는 것을 목격했습니다. 또한 시스템은 매우 빨랐습니다. 80명의 에이전트가 있음에도 불구하고, 시뮬레이션의 한 단계를 생성하는 데 걸리는 시간은 약 116밀리초 정도로 아주 약간만 증가했습니다. 이는 우리가 수많은 에이전트가 실시간으로 상호작용하며, 컴퓨터에 과부하를 주지 않고도 모두가 동일하고 일관된 현실을 볼 수 있는 오픈 월드 시뮬레이션을 마침내 구축할 수 있음을 시사합니다.

문제점: "고정된 좌석"의 함정

당신이 저녁 식사 파티에 있다고 가정해 봅시다. 하지만 테이블에는 정확히 네 개의 의자만 있습니다. 만약 다섯 번째 친구가 도착한다면, 단순히 의자를 가져다 놓는 것으로는 부족합니다. 테이블 전체를 새로 만들고, 음식을 옮기고, 방 전체를 다시 배치해야 합니다. 이것이 현재 대부분의 "멀eri-에이전트 세계 모델"이 작동하는 방식입니다. 이들은 특정한 수의 플레이어를 염두에 두고 훈련됩니다. 만약 10명의 군인을 시뮬레이션하고 싶다면, 10명의 군인을 위한 모델을 훈련합니다. 만약 갑자기 11번째 군인을 추가하고 싶다면, 모델은 고장 납니다. 이는 게임이 시작된 후에 플레이어를 추가하려고 하면 게임이 튕겨버리는 비디오 게임과 같습니다.

저자들은 이것이 세계를 생각하는 잘못된 방식이라고 주장합니다. 현실 세계에서 물리 법칙은 방 안에 몇 명의 사람이 있는지 신경 쓰지 않습니다. 중력은 한 명이 있든 백만 명이 있든 똑같이 작용합니다. 현재 AI의 문제는 특정 그룹 간의 상호작용을 암기함으로써 "규칙"을 학습하려고 한다는 점입니다. 그룹이 바뀌면 규칙도 바뀌는 것처럼 보입니다. 이 논문은 AI에게 가능한 모든 플레이어의 조합을 암기하게 하는 대신, 하나의 공유된 "진실"을 유지하도록 가르치고, 그 후 각 플레이어가 그 진실로부터 자신만의 뷰를 찾아내도록 해야 한다고 제안합니다.

해결책: 공유 화이트보드 (STBoard)

Khora는 문제를 세계를 살아있게 만드는 것과 그림을 그리는 것이라는 두 가지 별개의 부분으로 나눔으로써 이 문제를 해결합니다.

1. 공유 화이트보드 (STBoard): 이것은 운영의 핵심 뇌 역할을 합니다. 이는 세계의 "진실"을 담고 있는 지속적인 메모리입니다. 모든 객체가 어디에 있는지, 모든 에이전트가 어디에 서 있는지, 그리고 무엇을 하고 있는지를 알고 있습니다. 결정적으로, 이 화이트보드는 고정된 수의 슬롯을 가지고 있지 않습니다. 이는 동적인 리스트입니다. 만약 새로운 에이전트가 들어오면, 시스템은 단순히 리스트에 새로운 항목을 추가합니다. 에이전트가 나가면, 단순히 항목을 제거합니다. 화이트보드는 항목이 몇 개인지 상관하지 않습니다.
2. 행동 조건부 진화 (Action-Conditioned Evolution): 이것은 화이트보드를 업데이트하는 부분입니다. 에이전트가 움직이거나 무언가를 던지기로 결정하면, 시스템은 그 행동이 세계 상태를 어떻게 변화시키는지 계산합니다. 시스템은 에이전트가 다음에 어디에 있을지를 예측하고 그에 따라 화이트보드를 업데이트합니다. 이 과정은 그림이 그려지기 전에 일어납니다.
3. 뷰 합성 (View Synthesis, 카메라): 이것은 예술가입니다. 에이전트가 무슨 일이 일어나고 있는지 보고 싶을 때, 시스템은 화이트보드의 현재 상태를 가져와 카메라 렌즈처럼 2D 이미지로 투영합니다. 예술가는 화이트보드와 특정 카메라 각도만을 보면 되기 때문에, 다른 예술가들과 대화할 필요가 없습니다. 각 뷰는 공유된 동일한 진실을 바탕으로 독립적으로 그려집니다.

이것이 왜 중요한가

Khora의 마법은 플레이어의 수와 컴퓨터 뇌의 복잡성 사이의 연결 고리를 끊었다는 점에 있습니다. 이전의 시스템에서는 플레이어를 추가하는 것이 시스템이 모두가 일치하는 내용을 말하도록 만드는 엄청난 추가 작업을 의미했습니다. 그것은 마치 100명의 사람들이 동시에 서로에게 말을 걸어 하나의 이야기에 합의하도록 만드는 것과 같았으며, 이는 매우 혼란스럽고 느려집니다.

Khora에서는 "합의"가 그림을 그리는 과정이 아니라 화이트보드에서 일어납니다. 컴퓨터는 세계 상태를 한 번 업데이트하고, 그 후 누구든 "여기서 무엇이 보이는가?"라고 물으면 즉시 답을 얻을 수 있습니다. 논문은 이 방식이 거의 선형적으로 확장 가능하다는 것을 보여줍니다. 즉, 에이전트의 수가 두 배가 되면, 작업량이 기하급수적으로 폭발하는 것이 아니라 단지 두 배가 될 뿐입니다.

결과: 성장하는 세계

연구진은 Khora가 실제로 작동하는지 확인하기 위해 몇 가지 다른 방식으로 테스트했습니다.

• 시각적 품질: 그들은 그림이 잘 보이는지 확인했습니다. 8개의 서로 다른 시점이 있어도 이미지는 선명하고 깨끗했습니다. 시스템은 품질을 유지했으며, 단순히 관찰하는 사람이 많다고 해서 이미지가 흐릿해지지 않았습니다.
• 일관성: 이것이 핵심 테스트였습니다. 그들은 인간 심사위원들에게 다양한 각도에서 영상을 보여주고 사건이 일치하는지 확인했습니다. 예를 들어, 에이전트 A가 공을 던졌을 때, 에이전트 B도 같은 시간, 같은 방향으로 공이 날아가는 것을 보았는가? Khora는 매우 높은 점수를 받았습니다. Khora는 세계를 일관되게 유지했지만, 공유 화이트보드가 없는 시스템은 한 뷰에서는 공이 움직이는데 다른 뷰에서는 멈춰 있는 것과 같은 모순을 보여주었습니다.
• 동적 인구 구성: 그들은 에이전트들이 실행 도중에 게임에 참여하거나 떠나는 시나리오를 시뮬레이션했습니다. 두 명의 에이전트로 시작하여 두 명을 추가하고, 다시 처음의 두 명을 제거했습니다. 시스템은 이를 매끄럽게 처리했습니다. 새로운 에이전트들은 자연스럽게 나타났고, 기존 에이전트들은 시뮬레이션을 깨뜨리지 않고 사라졌습니다. 재학습은 필요하지 않았습니다.
• 속도: 그들은 프레임을 생성하는 데 걸리는 시간을 측정했습니다. 에이전트가 1명일 때는 약 107밀리초가 걸렸습니다. 80명의 에이전트가 있을 때는 약 117밀리초가 걸렸습니다. 이는 엄청난 복잡도의 증가에도 불구하고 아주 미미한 차이입니다. 시스템은 1명의 에이전트에 대해 초당 37개의 뷰를 렌더링할 수 있었고, 80개의 GPU에 분산했을 때는 초당 2,700개 이상의 뷰를 렌더링할 수 있었습니다.

이것이 미래에 갖는 의미

저자들은 이 접근 방식이 진정한 오픈 월드 시뮬레이션을 향한 디딤돌이 될 수 있다고 제술합니다. 수천 명의 AI 캐릭터가 살고, 일하고, 상호작용하는 가상 도시를 상상해 보세요. 그리고 당신은 언제든지 그들 중 한 명의 관점으로 뛰어들 수 있습니다. 또는 로봇들이 수백 명의 다른 로봇과 함께 협동하며, 시뮬레이션이 멈추는 일 없이 붐비는 공간을 통과하는 법을 배우는 로봇 훈련 시뮬레이션을 생각해 보세요.

하지만 논문은 이것이 아직 마법의 지팡이는 아니라는 점을 주의 깊게 언급합니다. 시스템은 시작할 때 기본 환경 지도("거친 정적 사전 정보", coarse static prior)가 여전히 필요하므로, 아무런 설정 없이 완전히 낯선 세계로 바로 뛰어들 수는 없습니다. 또한, 시스템이 빠르기는 하지만, 특히 많은 에이전트를 동시에 시뮬레이션하고 싶다면 많은 뷰를 렌더링하기 위해 여전히 많은 컴퓨팅 파워가 필요합니다. 그러나 "세계의 규칙"과 "카메라 뷰"를 분리할 수 있다는 핵심 아이디어는 AI 시뮬레이션을 더 유연하고 현실적으로 만드는 견고한 경로로 보입니다.

요약하자면, Khora는 새로운 손님이 올 때마다 집 전체를 다시 지을 필요가 없다는 것을 증명합니다. 당신에게 필요한 것은 그저 잘 공유된 화이트보드와 그것을 보고 그림을 그릴 줄 아는 몇 명의 예술가뿐입니다.