ShareVerse: Multi-Agent Consistent Video Generation for Shared World Modeling

이 논문은 CARLA 시뮬레이션 기반의 대규모 다중 에이전트 상호작용 데이터셋 구축, 4 시점 비디오의 공간적 연결 전략, 그리고 크로스 에이전트 어텐션 블록 통합을 통해 다중 에이전트 간의 상호작용을 지원하고 일관된 공유 세계 모델을 생성하는 'ShareVerse' 프레임워크를 제안합니다.

핵심

공유 우주 (ShareVerse): 여러 명이 함께 보는 같은 세상을 만드는 AI

이 논문은 **"ShareVerse"**라는 새로운 인공지능 시스템을 소개합니다. 쉽게 말해, 이 AI 는 여러 대의 카메라 (또는 로봇, 자동차) 가 동시에 세상을 바라볼 때, 서로 다른 시점에서도 '같은 세상'을 일관되게 만들어주는 기술입니다.

기존의 영상 생성 AI 는 보통 한 사람이 찍은 영상만 만들거나, 여러 각도의 영상이 서로 어긋나는 경우가 많았습니다. 하지만 ShareVerse 는 마치 여러 명이 같은 게임을 할 때, 서로의 위치와 상황을 정확히 공유하듯 여러 주체가 함께 살아가는 '공유된 우주'를 영상으로 구현합니다.

이 기술을 이해하기 위해 세 가지 핵심 아이디어를 일상적인 비유로 설명해 드리겠습니다.

---

1. 거대한 시뮬레이션 놀이터 (데이터셋)

"실제 도로에서 차를 몰며 영상을 찍는 건 너무 비싸고 위험하죠. 그래서 우리는 '가상 놀이터'를 만들었습니다."

• 비유: 실제 도로에서 여러 대의 자동차가 서로 만나고 부딪히는 상황을 찍으려면 카메라를 수십 대나 달고, 운전자도 여러 명 필요하고, 날씨가 변할 때마다 다시 찍어야 합니다.
• ShareVerse 의 방법: 연구팀은 'CARLA'라는 가상 시뮬레이션 게임 엔진을 사용했습니다. 마치 '그랜드 테프트 오토 (GTA)' 같은 게임 안에서, 빨간색 스포츠카 두 대를 조종하며 서로 만나고 회전하는 5 만 5 천 개의 장면을 자동으로 찍었습니다.
• 특징: 각 차에는 앞, 뒤, 왼쪽, 오른쪽에 카메라가 4 개씩 달려 있어 360 도를 모두 볼 수 있습니다. 이렇게 만들어진 데이터는 비가 오고, 해가 뜨고, 밤이 되는 등 모든 날씨와 상황을 완벽하게 통제할 수 있어 AI 학습에 최적입니다.

2. 네 개의 눈을 하나로 합치기 (공간 연결 전략)

"한 사람이 네 개의 카메라로 세상을 보는 것처럼, AI 도 네 방향을 하나로 묶어 이해합니다."

• 비유: 당신이 길을 걷고 있을 때, 앞만 보고 있으면 뒤에 누가 오는지 모릅니다. 하지만 앞, 뒤, 좌, 우 네 방향을 동시에 한 화면에 펼쳐서 보면 주변 상황을 한눈에 파악할 수 있죠.
• ShareVerse 의 방법: 각 차량 (에이전트) 이 찍은 네 개의 영상 (앞/뒤/좌/우) 을 AI 가 하나의 긴 영상처럼 붙여서 (Concatenation) 처리합니다.
• 효과: 이렇게 하면 AI 는 "이 차가 왼쪽으로 돌아갈 때, 오른쪽의 풍경이 어떻게 변하는지"를 자연스럽게 이해하게 됩니다. 결과적으로 한 차량이 보는 네 방향의 영상이 서로 어긋나지 않고 기하학적으로 완벽하게 일치하게 됩니다.

3. 서로의 눈을 공유하는 마법 (크로스 에이전트 어텐션)

"두 친구가 서로의 안경을 끼고 세상을 본다면, 그들이 보는 세상은 완전히 같아집니다."

• 비유: 두 친구가 같은 공원에 갔는데, 한 친구는 "저기 큰 나무가 있네!"라고 말하고 다른 친구는 "아니, 나무는 저기 없어!"라고 한다면 그건 문제가 있죠. ShareVerse 는 두 친구가 서로의 시야를 실시간으로 공유하게 합니다.
• ShareVerse 의 방법: AI 모델 안에 **'크로스 에이전트 어텐션 (Cross-Agent Attention)'**이라는 특별한 장치를 넣었습니다. 이는 두 차량이 서로의 위치와 움직임을 주고받게 해줍니다.
  • 중첩된 영역: 두 차량이 같은 장소를 바라볼 때는 완벽하게 같은 풍경을 만들어냅니다.
  • 서로 다른 영역: 한 차량이 보는 길고, 다른 차량이 보는 길은 다르지만, AI 는 "아, 저 친구가 저쪽으로 갔구나"라고 추론하여 논리적으로 자연스러운 장면을 만들어냅니다.

---

이 기술이 왜 중요한가요?

1. 게임과 메타버스: 멀티플레이어 게임에서 모든 플레이어가 보는 세상이 똑같아야 합니다. ShareVerse 는 이를 가능하게 합니다.
2. 로봇과 드론 군집: 여러 대의 드론이 함께 날아갈 때, 서로의 위치를 정확히 알고 충돌하지 않도록 도와줍니다.
3. 자율주행: 내 차뿐만 아니라 옆 차, 건너편 차가 무엇을 보고 있는지 시뮬레이션하여 더 안전한 주행 계획을 세울 수 있습니다.

결론

ShareVerse 는 **"혼자 보는 세상"이 아니라 "함께 보는 세상"**을 만드는 첫걸음입니다. 마치 여러 명이 같은 꿈을 꾸면서 서로의 꿈을 공유하듯, AI 가 여러 주체의 시점을 하나로 통합하여 일관되고 현실적인 가상 세계를 만들어냅니다. 이는 앞으로 우리가 살게 될 로봇과 AI 가 공존하는 세상을 위한 중요한 기술적 토대가 될 것입니다.

기술 요약

ShareVerse: 다중 에이전트 공유 세계 모델링을 위한 일관된 비디오 생성

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 세계 모델 (World Models) 은 에이전트가 가상 환경을 시뮬레이션하고 상호작용할 수 있도록 하여 게임 개발 및 embodied intelligence 분야에서 중요한 역할을 합니다. 최근 비디오 생성 모델의 발전은 물리적 세계를 모델링하는 잠재력을 보여주고 있습니다.
• 문제점: 기존 연구들은 주로 단일 뷰 (single-view) 비디오 생성에 집중하거나, 소규모 객체 수준의 다중 뷰 생성에 그쳤습니다. 여러 개의 독립적인 에이전트가 상호작용하며 '공유된 세계 (Shared World)'를 구축하는 비디오 생성을 지원하는 연구는 부재했습니다.
  • 기존 방법들은 에이전트 간 상호작용을 위한 통합된 공유 세계 구축이 어렵습니다.
  • 여러 에이전트가 생성한 비디오가 동일한 물리적 세계를 묘사하는지 (글로벌 일관성) 를 보장하지 못합니다.
  • 에이전트 간의 공간적 위치와 시공간적 상호작용을 정확하게 모델링하는 데이터셋과 아키텍처가 부족합니다.

2. 제안 방법 (Methodology)

저자들은 이러한 문제를 해결하기 위해 ShareVerse라는 새로운 비디오 생성 프레임워크를 제안했습니다. 주요 구성 요소는 다음과 같습니다.

가. 대규모 다중 에이전트 상호작용 데이터셋 구축

• CARLA 시뮬레이션 플랫폼을 기반으로 새로운 데이터셋을 구축했습니다.
• 다중 뷰 카메라: 각 에이전트 (차량) 에 전방, 후방, 좌측, 우측의 4 개 카메라를 장착하여 360 도 시야를 확보했습니다.
• 상호작용 시나리오: 직진, 교차로, T 자 교차로 등 다양한 장면과 날씨 조건에서 2 에이전트 간 상호작용 (만남, 회전 등) 을 포함하는 6 가지 주요 궤적 쌍을 정의했습니다.
• 데이터 규모: 약 55,000 쌍의 동기화된 비디오 데이터 (총 8 개 스트림) 를 수집했으며, 각 에이전트의 4 개 뷰를 공간적으로 연결하여 학습했습니다.

나. 모델 아키텍처 및 핵심 기술
ShareVerse 는 사전 학습된 대규모 비디오 모델인 CogVideoX를 기반으로 하며, 다음과 같은 세 가지 핵심 혁신을 도입했습니다.

1. 레이맵 (Raymap) 인코딩 및 카메라 궤적 처리:

   • 카메라의 내파라미터와 포즈를 '레이맵 (raymap)'으로 변환하여 비디오 특징과 호환되도록 처리합니다.
   • 이를 통해 모델이 카메라의 이동 궤적에 기반한 정확한 시공간적 생성을 수행할 수 있게 합니다.

2. 공간적 연결 (Spatial Concatenation) 전략:

   • 개별 에이전트의 4 개 뷰 (전/후/좌/우) 비디오를 공간적으로 연결하여 단일 비디오 스트림으로 만듭니다.
   • 이를 통해 모델은 에이전트 내부의 **다중 뷰 기하학적 일관성 (Multi-view Geometric Consistency)**을 유지하면서 더 넓은 환경을 모델링할 수 있습니다.

3. 크로스 - 에이전트 어텐션 블록 (Cross-Agent Attention Blocks):

   • 사전 학습된 비디오 모델에 크로스 - 에이전트 어텐션 모듈을 통합했습니다.
   • 두 에이전트의 비디오 특징을 연결하여 공간 - 시간적 정보를 에이전트 간에 상호 전달되도록 합니다.
   • 중첩 영역 (Overlapping regions): 두 에이전트가 같은 장면을 볼 때 생성된 프레임의 일관성을 보장합니다.
   • 비중첩 영역 (Non-overlapping regions): 과거 프레임 정보를 기반으로 합리적인 생성을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 연구 과제 제시: 공유 세계 내에서의 비디오 생성이라는 새로운 연구 분야를 개척하고, 이를 위한 기초를 마련했습니다.
2. 대규모 데이터셋 구축: 2 에이전트 상호작용 궤적을 포함한 풍부한 페어 (paired) 비디오 데이터셋을 구축했습니다. 이는 기존 데이터의 한계를 극복하고 대규모 다중 에이전트 모델링을 가능하게 합니다.
3. 혁신적인 모델 아키텍처: 개별 에이전트의 다중 뷰 기하학적 일관성과 여러 에이전트 간의 공유 세계 일관성을 동시에 보장하며, 동적인 타겟 에이전트의 위치를 정확하게 생성하는 모델을 제안했습니다.

4. 실험 결과 (Results)

• 정량적 평가: PSNR, SSIM, LPIPS 등의 이미지 재구성 메트릭에서 우수한 성능을 보였습니다. 특히 크로스 - 에이전트 어텐션 모듈이 세계 일관성 유지에 핵심적인 역할을 함을 입증했습니다.
• 정성적 평가:
  • 내부 일관성: 한 에이전트의 4 개 뷰 비디오가 기하학적으로 일관성을 유지합니다.
  • 공유 세계 일관성: 두 에이전트가 서로 다른 궤적을 따라 이동할 때, 생성된 장면이 동일한 물리적 세계를 묘사하며 객체의 상대적 위치와 스케일이 일관됩니다.
  • 동적 위치 인식: 한 에이전트의 궤적을 고정하고 다른 에이전트의 궤적을 변경했을 때, 모델이 상대방 에이전트의 위치를 정확하게 인식하고 생성하는 것을 확인했습니다.
• VBench 벤치마크: 미적 품질, 영상 품질, 시간적 일관성, 모션 스무스니스 등 다양한 차원에서 높은 점수를 기록했습니다.
• Ablation Study: 단일 뷰 학습보다 4 개 뷰 연결 학습이, 그리고 레이맵 처리가 원시 값 처리보다 성능이 우수함을 확인했습니다. 또한 크로스 - 에이전트 어텐션 모듈이 상호작용 생성에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: ShareVerse 는 단일 에이전트 생성을 넘어 다중 에이전트 간 상호작용이 가능한 공유 세계 모델링을 실현한 최초의 시도 중 하나입니다.
• 응용 가능성: 멀티플레이어 게임, 다중 로봇 협업, 드론 스웜 (Swarm) 등 복잡한 다중 에이전트 시스템의 시뮬레이션 및 훈련에 직접적으로 활용될 수 있는 기반 기술을 제공합니다.
• 미래 전망: 동적인 물리적 상호작용이 포함된 더 복잡한 시나리오로 확장하고, 실시간 장기 일관성 공유 세계 모델을 구축하는 방향으로 연구가 진행될 것으로 기대됩니다.

이 논문은 기존 비디오 생성 모델의 한계를 넘어, 여러 에이전트가 공유하는 일관된 물리적 세계를 생성할 수 있는 새로운 패러다임을 제시했다는 점에서 중요한 의미를 가집니다.