Each language version is independently generated for its own context, not a direct translation.

날씨 시티 (WeatherCity): 자율주행차를 위한 '날씨 마법사'

이 논문은 자율주행 자동차가 비, 눈, 안개 같은 다양한 날씨에서도 안전하게 운전할 수 있도록 도와주는 새로운 기술, **'WeatherCity(날씨 시티)'**를 소개합니다.

기존의 기술들은 실제 찍은 영상만 재현할 수 있었거나, 단순히 사진만 바꿀 뿐 3D 공간의 일관성이 깨지는 문제가 있었습니다. WeatherCity 는 이를 해결하여 **"원하는 날씨로 자유롭게 변신시키는 4D 도시"**를 만들어냅니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

1. 기존 기술의 한계: "사진 편집기 vs 현실"

기존 3D 재구성 기술 (NeRF, 3DGS 등): 마치 실제 도시를 3D 스캐너로 찍어 만든 정교한 모형과 같습니다. 하지만 이 모형은 찍었을 때의 날씨 (맑은 날) 로만 고정되어 있습니다. 비가 오거나 눈이 내리는 상황을 시뮬레이션하려면 다시 실물을 찍어야 합니다.
기존 2D 이미지 편집 기술: 마치 포토샵으로 사진을 바꿀 때처럼, 비를 뿌리거나 눈을 덮어씌울 수는 있습니다. 하지만 3D 공간의 깊이를 고려하지 않아, 비가 내리는 방향이 뒤죽박죽이 되거나, 건물이 왜곡되는 등 '환각 (Hallucination)' 현상이 발생합니다. 마치 그림을 그릴 때 배경이 흔들리는 것과 같습니다.

2. WeatherCity 의 핵심 마법: "날씨 전용 안경과 입체 파티클"

WeatherCity 는 이 두 가지 문제를 해결하기 위해 세 가지 놀라운 장치를 사용합니다.

① "공유된 뼈대, 날씨별 옷" (Weather Gaussian Representation)

이 기술은 도시의 구조를 **뼈대 (Geometry)**와 **옷 (Appearance)**으로 분리합니다.

비유: 한 명의 배우 (도시 구조) 가 있다고 상상해 보세요. WeatherCity 는 이 배우에게 날씨별 의상을 입혀줍니다.
- 맑은 날에는 선글라스와 모자를 씁니다.
- 비 오는 날에는 투명한 우산과 비옷을 입힙니다.
- 눈 오는 날에는 흰색 목도리와 눈꽃 장식품을 달아줍니다.
결과: 배우의 얼굴과 몸 (건물, 도로, 차의 형태) 은 절대 변하지 않지만, 입은 옷 (날씨 효과) 만 바뀝니다. 그래서 비가 와도 건물이 뭉개지지 않고, 눈이 와도 도로 표시가 사라지지 않습니다.

② "물리 법칙을 따르는 입자" (Physics-Driven Simulation)

단순히 그림을 그리는 게 아니라, 물리 법칙을 적용합니다.

비 (Rain): 빗방울은 중력에 따라 아래로 떨어지고, 바람을 만나면 비스듬히 날아갑니다.
눈 (Snow): 눈송이는 가볍게 나비처럼 흔들리며 (turbulence) 천천히 내려옵니다.
안개 (Fog): 안개는 거리가 멀어질수록 더 짙어지는 (Beer-Lambert 법칙) 자연스러운 원리를 따릅니다.
비유: 기존 기술이 "비처럼 보이는 그림"을 그렸다면, WeatherCity 는 실제 빗방울과 눈송이를 3D 공간에 띄워놓고 물리 엔진으로 움직이게 합니다. 그래서 카메라가 움직일 때 비와 눈도 자연스럽게 따라 움직입니다.

③ "일관성 유지 마법" (Content Consistency)

비나 눈이 내리는 동안에도 도로의 차선이나 건물의 모양이 흔들리지 않도록 강력한 규칙을 적용합니다.

비유: 비가 오더라도 도로 위의 '차선'이 비에 씻겨 사라지거나, 건물이 비에 녹아내리는 일이 없도록 보안관이 지키는 것과 같습니다.

3. 왜 이것이 중요한가요? (자율주행의 훈련장)

자율주행 자동차는 모든 상황을 경험해야 안전합니다. 하지만 비나 눈이 내리는 날에 차를 타고 다니며 데이터를 모으는 것은 위험하고 비용이 많이 듭니다.

WeatherCity 의 역할: 이 기술은 가상의 훈련장을 만들어줍니다.
- "여기를 폭우로 바꿔줘." → 순간적으로 폭우 시뮬레이션 생성.
- "눈이 많이 내리는 밤으로 바꿔줘." → 눈이 쌓인 도로와 시야 확보 테스트.
- "차 한 대를 지우고 눈으로 바꿔줘." → 특정 차량 제거와 날씨 변경 동시 수행.

이렇게 실제와 구별할 수 없을 정도로 사실적인 날씨 환경을 만들어내면, 자율주행 AI 는 위험한 상황을 겪지 않고도 수만 번의 훈련을 통해 더 똑똑하고 안전하게 성장할 수 있습니다.

요약

WeatherCity는 **"날씨라는 옷을 입은 3D 도시"**를 만드는 기술입니다.

뼈대는 그대로 유지하면서 (건물, 도로가 왜곡되지 않음),
날씨 옷만 자유롭게 갈아입히고 (비, 눈, 안개),
물리 법칙에 따라 움직이게 (빗방울이 떨어지는 자연스러운 모습) 하여,
자율주행차가 어떤 날씨에서도 안전하게 운전할 수 있도록 가상의 훈련장을 제공합니다.

이제 우리는 컴퓨터 앞에서 "비 오게 해줘"라고 말하면, 실제로 비가 내리는 도시를 경험할 수 있게 된 것입니다!

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem)

자율주행 기술의 발전에는 고충실도 (High-fidelity) 4D 시뮬레이션이 필수적입니다. 특히 극한 기상 조건 (비, 눈, 안개 등) 을 포함한 엣지 케이스 (edge cases) 학습과 폐쇄 루프 (closed-loop) 평가에 중요한 역할을 합니다. 그러나 기존 기술들은 다음과 같은 한계를 가지고 있습니다.

관측 의존성 (Observation Dependency): NeRF 나 3D Gaussian Splatting (3DGS) 기반의 기존 4D 재구성 방법들은 촬영 당시의 날씨 조건만 재현할 수 있어, 비나 눈과 같은 새로운 기상 조건을 시뮬레이션하는 데 실패합니다.
2D 이미지 편집의 한계: 기존 이미지 수준의 날씨 편집 방법 (GAN, Diffusion 모델 등) 은 장면의 기하학적 구조를 왜곡하거나 (예: 도로 표지판 변형, 건물 왜곡), 3D 일관성이 부족하여 4D 시퀀스 생성에 적합하지 않습니다. 또한, 날씨의 강도 (비/눈의 양, 안개의 농도) 를 세밀하게 제어하기 어렵습니다.
동적 효과 부재: 기존 3D 기반 날씨 편집 연구들은 정적 효과 (눈 덮임 등) 에만 집중하거나, 비/눈 입자의 동적인 움직임과 배경의 일관성을 동시에 제어하지 못했습니다.

2. 방법론 (Methodology)

WeatherCity 는 4D 도시 장면 재구성, 제어 가능한 날씨 편집, 물리 기반 동적 시뮬레이션을 통합한 프레임워크입니다. 주요 구성 요소는 다음과 같습니다.

2.1. 텍스트 기반 이미지 배경 편집 (Text-Guided Image Weather Background Editing)

Qwen-Image와 같은 강력한 텍스트 기반 이미지 편집 모델을 활용하여, 원본 장면의 콘텐츠는 유지하면서 목표하는 날씨 조건 (비, 눈, 안개) 을 적용한 이미지 시퀀스를 생성합니다.
이를 통해 3D 재구성을 위한 다양한 날씨의 감독 신호 (supervision signals) 를 확보합니다.

2.2. 공유 특징 및 다중 날씨 디코더를 가진 Weather Gaussian Representation

Weather Gaussian: 장면의 기하학적 구조와 텍스처는 **공유 특징 (Shared Feature)**으로 인코딩하고, 날씨에 따른 외관 변화는 **날씨 전용 디코더 (Weather-specific Decoders)**를 통해 분리합니다.
- 각 가우스 원시 (Gaussian primitive) 는 위치, 크기, 회전, 불투명도, 그리고 공유 외관 특징 벡터로 파라미터화됩니다.
- 특정 날씨 $w$ 에 대해, 공유 특징은 해당 날씨 전용 MLP( $\phi_w$ ) 를 통과하여 해당 날씨의 색상( $c^w_i$ ) 으로 디코딩됩니다.
이 구조를 통해 다양한 날씨 조건에서도 장면의 구조적 일관성을 유지하면서도, 각 날씨에 맞는 고유한 조명 및 외관 효과를 모델링할 수 있습니다.

2.3. 일관성 최적화 (Consistency Optimization)

RGB Loss: 렌더링된 이미지와 원본/편집된 이미지 간의 색차 및 구조적 유사도 (SSIM) 를 최소화합니다.
콘텐츠 일관성 손실 (Content Consistency Loss, $L_{cc}$ ): VGG 네트워크를 사용하여 렌더링된 이미지와 원본 이미지의 콘텐츠 특징을 추출하고, 두 특징 간의 거리를 최소화합니다. 이는 2D 편집 과정에서 발생할 수 있는 장면 왜곡이나 시간적 깜빡임 (flickering) 을 보정하여 구조적 일관성을 보장합니다.
Depth Loss: LiDAR 프로젝션에서 얻은 희소 깊이 지도와 렌더링된 깊이 간의 오차를 최소화하여 기하학적 정확도를 높입니다.

2.4. 물리 기반 동적 날씨 시뮬레이션 (Physics-Driven Dynamic Weather Simulation)

입자 모델링: 비와 눈은 가우스 타원체 (Gaussian ellipsoids) 로 모델링됩니다.
- 비: 세로로 길쭉한 가우스로 낙하 속도와 운동 흐림 (motion blur) 을 표현합니다.
- 눈: 60 도 각도로 배치된 3 개의 동심 가우스로 결정 구조를 모사하며, 난류 (turbulence) 성분을 추가하여 비틀리는 움직임을 구현합니다.
운동 제어: 중력, 바람 벡터, 난류에 기반한 물리 방정식을 사용하여 입자의 속도와 궤적을 제어합니다.
안개 시뮬레이션: Beer-Lambert 법칙을 기반으로 깊이 인식 (depth-aware) 안개 렌더링을 구현하여, 거리에 따라 가시도가 자연스럽게 감소하는 효과를 생성합니다.
통합 렌더링: 날씨 입자 (비, 눈) 를 장면 그래프의 노드로 통합하여, 배경과 전경이 동시에 렌더링되도록 하여 올바른 가림 (occlusion) 과 합성을 보장합니다.

3. 주요 기여 (Key Contributions)

통합 프레임워크: 4D 재구성 - 날씨 편집 - 동적 시뮬레이션을 하나의 프레임워크로 통합하여, 2D 이미지 편집을 4D 시뮬레이션으로 확장했습니다.
Weather Gaussian Representation: 장면 기하학과 날씨 외관을 분리하는 새로운 표현 방식을 제안하여, 구조적 일관성을 유지하면서 다양한 날씨로의 전환과 편집을 가능하게 했습니다.
물리 기반 동적 시뮬레이션: 입자 시스템과 광학 원리를 적용하여 비, 눈, 안개의 동적 효과를 시각적으로 사실적이고 물리적으로 일관되게 시뮬레이션하며, 강도 조절이 가능합니다.
세밀한 제어: 강우량, 적설량, 안개 농도 등 기상 조건에 대한 세밀한 제어와 장면 내 객체 (차량 등) 수준의 조작을 동시에 지원합니다.

4. 실험 결과 (Results)

데이터셋: Waymo Open Dataset 및 nuScenes Dataset 에서 평가 수행.
정량적 평가: CLIP-Score (콘텐츠 보존), CLIP-DS (텍스트 프롬프트 정렬), Sem-CS (시맨틱 일관성) 등 모든 메트릭에서 기존 방법 (ControlNet, TurboEdit, FRESCO, Qwen-Image 등) 보다 우수한 성능을 기록했습니다. 특히 장면 왜곡이 적고 시맨틱 일관성이 높았습니다.
정성적 평가:
- 날짜 일관성: 기존 2D 편집 방법들은 프레임 간 깜빡임과 기하학적 왜곡이 발생했으나, WeatherCity 는 시간적으로 일관된 결과를 생성했습니다.
- 동적 효과: 떨어지는 비와 눈, 깊이 기반 안개 효과 등 물리적으로 사실적인 동적 날씨 효과를 구현했습니다.
- 객체 편집: "중앙의 빨간색과 흰색 차량만 남기고 나머지를 제거하고 눈으로 변환하라"는 프롬프트에 대해 정확한 객체 제거와 날씨 변환을 동시에 수행했습니다.
실시간 성능: 렌더링 속도가 약 25.67 FPS로, 실시간 시뮬레이션 요구 사항을 충족합니다. (기존 2D 편집 모델들은 0.1 FPS 미만)

5. 의의 및 결론 (Significance)

WeatherCity 는 자율주행 시스템의 훈련 및 평가를 위한 가상 환경 생성에 혁신적인 도구를 제공합니다. 기존 방법들이 가진 "관측된 장면의 재현"이라는 한계를 넘어, 어떤 날씨 조건에서도 제어 가능하고 일관된 4D 도시 장면을 생성할 수 있게 했습니다. 이는 극한 기상 조건에서의 자율주행 알고리즘 검증, 데이터 증강, 그리고 미래의 가상 환경 제작 연구에 중요한 기반을 마련했다는 점에서 의의가 큽니다.

한계점 및 향후 과제: 현재는 날씨 입자 파라미터에 대한 수동 조정이 필요하나, 향후 더 자동화된 편집 알고리즘 개발을 통해 이 과정을 간소화할 계획입니다.

WeatherCity: Urban Scene Reconstruction with Controllable Multi-Weather Transformation