💻 computer science

ConsisDrive: Identity-Preserving Driving World Models for Video Generation by Instance Mask

ConsisDrive는 인스턴스 마스크 기반의 어텐션과 손실 함수를 도입하여 객체의 정체성 유지(identity preservation)를 강화함으로써, 일관성 있는 고품질 주행 비디오를 생성하는 세계 모델(world model)입니다.

원저자: Zhuoran Yang, Yanyong Zhang

게시일 2026-02-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhuoran Yang, Yanyong Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚗 배경: "자율주행차를 위한 완벽한 시뮬레이션 게임이 필요해!"

자율주행 자동차를 안전하게 만들려면 수만 시간 동안 실제 도로를 달리는 데이터를 학습해야 합니다. 하지만 실제 도로에서 사고를 내며 학습할 수는 없죠. 그래서 과학자들은 컴퓨터 그래픽으로 만든 **'가상 주행 영상'**을 만들어 학습시킵니다.

그런데 기존의 AI 기술로 만든 가상 영상에는 아주 치명적인 **'기억력 문제'**가 있었습니다.

😵 기존 AI의 문제점: "방금 본 그 차, 누구세요?" (Identity Drift)

기존의 AI가 만든 영상은 마치 **'꿈을 꾸는 것'**과 비슷합니다. 꿈속에서는 방금 전까지 빨간색 승용차였던 것이 다음 장면에서는 갑자기 검은색 트럭으로 변해 있기도 하죠.

정체성 혼란 (Category Shift): 버스가 갑자기 트럭으로 변함.
색깔 변덕 (Color Shift): 빨간 차가 갑자기 파란 차가 됨.
존재감 상실 (Foreground Dilution): 배경(하늘, 건물)은 너무 잘 그리는데, 정작 중요한 작은 보행자나 표지판은 흐릿하게 뭉개버림.

이렇게 영상이 일관성이 없으면, 자율주행 AI는 "어? 방금 저 차가 트럭이었나? 자동차였나?" 하며 혼란에 빠지고 결국 사고를 낼 수 있습니다.

✨ 해결사 등장: "ConsisDrive (일관성 드라이브)"

연구팀은 이 문제를 해결하기 위해 **'ConsisDrive'**라는 모델을 만들었습니다. 이 모델의 핵심은 AI에게 **'개별 물체에 대한 이름표와 추적 장치'**를 달아준 것입니다.

1. 🏷️ 인스턴스 마스크 어텐션 (Instance-Masked Attention)

[비유: "이름표 붙여주기"]
기존 AI가 모든 사물을 한꺼번에 뭉뚱그려 보았다면, ConsisDrive는 각 물체에 **'이름표'**를 붙여줍니다.

"너는 1번 빨간색 승용차야!", "너는 2번 노란색 버스야!"라고 명확히 지정해 주는 거죠.
AI가 화면을 볼 때, 1번 승용차의 색깔 정보를 2번 버스에게 전달하지 못하도록 **'보이지 않는 벽'**을 세워줍니다. 덕분에 색깔이 섞이거나 물체가 변하는 일이 사라집니다.

2. 📍 인스턴스 궤적 마스크 (Trajectory Mask)

[비유: "끈끈이 추적기"]
물체가 움직일 때, AI가 그 물체를 놓치지 않도록 **'보이지 않는 끈'**으로 물체를 따라다니게 합니다.

차가 왼쪽에서 오른쪽으로 이동할 때, "이 차는 아까 그 차와 같은 녀석이야!"라고 계속 연결해 줍니다. 덕분에 차가 움직여도 색깔이나 모양이 일정하게 유지됩니다.

3. 🔍 인스턴스 마스크 손실 (Instance-Masked Loss)

[비유: "중요한 곳에 집중하는 돋보기"]
기존 AI는 화면 전체(하늘, 도로, 건물 등)를 똑같은 비중으로 공부했습니다. 그러다 보니 정작 중요한 '작은 보행자'는 대충 공부하고 넘어갔죠.

ConsisDrive는 **'돋보기'**를 들고 공부합니다. 배경보다는 '움직이는 자동차, 사람, 표지판' 같은 중요한 물체(Foreground)를 훨씬 더 집중적으로, 꼼꼼하게 학습하도록 명령합니다.

🏆 결과: "진짜보다 더 진짜 같은 가상 세계"

이 기술을 적용했더니 결과가 놀라웠습니다.

눈으로 봐도 완벽: 영상이 끊기거나 물체가 변하지 않고 아주 매끄럽습니다.
자율주행 공부에 최고: 이 AI가 만든 가상 영상으로 자율주행 AI를 학습시켰더니, 실제 도로에서 달리는 것처럼 아주 똑똑하게 운전할 수 있게 되었습니다. (인식 능력과 추적 능력이 대폭 향상됨!)

💡 요약하자면?

ConsisDrive는 AI가 가상 영상을 만들 때 **"물체마다 이름표를 붙여주고(Identity), 움직임을 끝까지 추적하며(Trajectory), 중요한 물체는 돋보기로 보듯 집중해서(Loss) 학습하게 만드는 기술"**입니다. 이를 통해 자율주행차를 위한 완벽한 '가상 훈련장'을 만든 것이죠!

[기술 요약] ConsisDrive: 인스턴스 마스크를 이용한 정체성 보존형 주행 월드 모델

1. 문제 정의 (Problem Statement)

자율주행 학습을 위한 고품질 비디오 데이터를 생성하는 '주행 월드 모델(Driving World Models)'은 최근 큰 주목을 받고 있습니다. 그러나 기존의 확산 기반(Diffusion-based) 모델들은 다음과 같은 '정체성 드리프트(Identity Drift)' 문제를 겪고 있습니다.

범주 변화 (Category Shift): 프레임이 진행됨에 따라 동일한 객체가 버스에서 트럭으로 변하는 등 의미론적 정체성이 유지되지 않음.
색상/외형 변화 (Color/Appearance Shift): 객체의 색상이나 질감이 프레임 간에 일관되지 않게 변함.
전경 희석 (Foreground Dilution): 배경(하늘, 건물 등)이 화면의 대부분을 차지하기 때문에, 학습 시 손실 함수(Loss function)가 작은 객체(보행자, 차량 등)의 세부 특징을 학습하는 데 집중하지 못하고 희석됨.

이러한 문제는 생성된 데이터의 신뢰도를 떨어뜨려, 이를 통해 학습된 자율주행 인지(Perception), 추적(Tracking), 계획(Planning) 모델의 성능을 저하시킵니다.

2. 제안 방법론 (Methodology)

본 논문은 인스턴스 수준의 시간적 일관성을 강제하기 위해 **인스턴스 마스크(Instance Mask)**를 활용한 두 가지 핵심 메커니즘을 제안합니다.

① 인스턴스 마스크 어텐션 (Instance-Masked Attention, IMA)

기존의 3D Full-Attention은 모든 토큰이 서로 상호작용하여 객체 간 정보 누출(Information Leakage)이 발생합니다. 이를 해결하기 위해 두 가지 마스크를 도입합니다.

인스턴스 정체성 마스크 (Instance Identity Mask): 각 시각적 토큰이 자신이 속한 인스턴스의 고유 정체성 임베딩(카테고리, 크기, 트래킹 ID 등)에만 어텐션을 수행하도록 제한합니다. 이를 통해 객체의 의미론적 정체성을 유지합니다.
인스턴스 궤적 마스크 (Instance Trajectory Mask): 서로 다른 인스턴스 간의 상호작용은 차단하고, 동일한 객체의 프레임 간 토큰들끼리만 어텐션을 수행하게 합니다. 이를 통해 색상과 질감 같은 외형 특징이 객체의 이동 경로(Trajectory)를 따라 일관되게 전달되도록 합니다.

② 인스턴스 마스크 손실 (Instance-Masked Loss, IML)

전체 프레임에 균일하게 적용되던 기존의 MSE 손실 함수 대신, 인스턴스 마스크를 활용한 학습 목표를 제안합니다.

전경 강조 (Foreground Emphasis): 인스턴스가 존재하는 영역(전경)에 더 높은 가중치를 두어 학습함으로써, 작은 객체의 세부 특징을 정밀하게 재구성하도록 유도합니다.
확률적 동적 마스킹 (Probabilistic Dynamic Masking): 전경에만 너무 집중하여 배경의 자연스러움이 깨지는 것을 방지하기 위해, 일정 확률( $\alpha$ )로 전체 프레임 손실과 마스크 손실을 적절히 혼합하여 사용합니다.

3. 주요 기여 (Key Contributions)

인스턴스 인식형 아키텍처: 인스턴스 정체성 및 궤적 마스크를 어텐션 메커니즘에 통합하여 객체 간 정보 혼선을 방지하고 시간적 일관성을 확보했습니다.
효율적인 학습 전략: 인스턴스 마스크 기반의 손실 함수를 통해 배경 노이즈를 줄이고 전경 객체의 정체성 보존 능력을 극대화했습니다.
SOTA 성능 달성: 비디오 생성 품질(FID, FVD)뿐만 아니라, 생성된 데이터를 활용한 자율주행 하위 태스크(인지, 추적)에서도 최고 수준의 성능을 입증했습니다.

4. 실험 결과 (Results)

nuScenes 데이터셋을 활용한 실험 결과는 다음과 같습니다.

비디오 생성 품질: 기존 모델(MagicDrive-V2, DriveDreamer2 등) 대비 낮은 **FID(3.88)**와 **FVD(37.23)**를 기록하며 시각적 실사감과 시간적 일관성 모두에서 우위를 점했습니다.
인지 태스크 (Perception): 생성된 데이터를 사용하여 StreamPETR 모델을 학습시킨 결과, 실제 데이터만 사용했을 때보다 NDS(nuScenes Detection Score)가 7.7점 향상되었습니다. 이는 생성된 데이터가 매우 정확한 객체 속성(카테고리, 크기)을 담고 있음을 의미합니다.
객체 추적 태스크 (MOT): 인스턴스 궤적 마스크의 효과로 인해 ID Switch(IDS)가 크게 감소하여, 객체의 정체성이 프레임 간에 안정적으로 유지됨을 확인했습니다.

5. 의의 (Significance)

ConsisDrive는 단순히 "그럴듯한" 비디오를 만드는 것을 넘어, 자율주행 시스템 학습에 실제로 사용 가능한 "신뢰할 수 있는" 합성 데이터 생성 모델의 방향성을 제시했습니다. 인스턴스 단위의 정밀한 제어를 통해 물리적/의미론적 일관성을 확보함으로써, 데이터 수집 비용을 절감하면서도 자율주행 모델의 성능을 높일 수 있는 강력한 도구를 제공합니다.