기술 요약: TerraDiT

문제 정의

기존의 제어 가능한 위성 이미지 생성 모델들은 중대한 병목 현상에 직면해 있다. 즉, 생성을 유도하기 위해 조밀한 픽셀 수준의 공간 맵(세그멘테이션 마스크 또는 OpenStreetMap 레이아웃 등)에 의존한다는 점이다. 이러한 방식은 제어에는 효과적이지만, 조밀한 주석(annotation)을 획득하는 데 많은 시간과 비용이 소요되며, 고정된 개념 집합으로 인해 의미론적 제한이 따르는 경우가 많다. 반대로, 표준 텍자-이미지(text-to-image) 모델은 도시 설계나 환경 모니터링과 같은 특화된 원격 탐사 애플리케이션에 필요한 미세한 공간 제어 능력이 부족하다. 따라서 밀집된 픽셀 수준의 감독(supervision)에 따른 계산 및 데이터 획득 오버헤드 없이도, 유연하고 주석 친화적인 공간 제어를 제공할 수 있는 생성 프레임워크가 필요하다.

방법론

저자들은 포인트 기반 제어를 갖춘 텍스트-위성 이미지 생성을 위한 Diffusion Transformer (DiT)인 TerraDiT를 소개한다. 이 접근 방식은 다음과 같은 도메인 특화 설계 선택 사항들을 통합한다.

1. 아키텍처 및 학습 전략

TerraDiT는 DiT 아키텍처(구체적으로 SiT 백본)를 기반으로 구축되었으며, 생성 모델링을 위해 Flow Matching을 활용한다. 학습은 계산 비용을 최소화하면서 안정성을 보장하기 위해 3단계 절차를 따른다:

• 1단계 (무조건부 - Unconditional): 모델은 고해 resolution 위성 이미지의 전반적인 분포를 학습한다.
• 2단계 (텍스트 조건부 - Text Conditioning): LongCLIP을 텍스트 인코더로 사용하여 텍스트-위성 생성을 도입한다. 모델은 조밀한 토큰과 단일 임베딩 표현을 포함하며, 후자는 flow timestep 임베딩에 더해진다.
• 3단계 (포인트 조건부 - Point Conditioning): 포인트 제어 생성을 위해 모델을 학습시킨다. 각 포인트 쿼리는 2D 좌표와 자유 형식의 텍스트 프롬프트로 구성된다. 좌표는 2D sine-cosine 인코딩을 거쳐 MLP로 인코딩되며, 텍스트는 LongCLIP을 통해 인코딩된다.

2. 적응형 로컬 어텐션 (Adaptive Local Attention, ALA)

핵심 혁신은 잠재 이미지 토큰과 포인트 프롬프트 간의 크로스 어텐션(cross-attention)을 규제하기 위해 설계된 적응형 로컬 어텐션 (ALA) 모듈이다. ALA는 두 가지 구성 요소로 이루어진다:

• MetaRBF 모듈: MultiHead Attention 블록과 그 뒤를 잇는 피드포워드 레이어로 구성되며, 각 포인트 쿼리에 대한 공간적 범위 파라미터($\sigma_x, \sigma_y$)를 예측한다. 이 파라미터들은 해당 지점의 위치를 중심으로 하는 2D Radial Basis Function (RBF)을 정의한다.
• 로컬 어텐션 블록 (Local Attention Block): 예측된 RBF 커널은 크로스 어텐션 점수를 조절하여, 모델이 각 포인트 쿼리 주변을 국소적으로 주목(attend)하게 함으로써 예측된 개념의 공간적 범위를 존중하도록 한다. 이는 모델이 엄격한 포즈 제약을 부과하는 것을 방지하여 다양한 의미론적 변이를 가능하게 한다.

3. 표현 정렬 및 지리 위치 정보 (Representation Alignment and Geolocation)

• 위성 표현 정렬: REPA에서 영감을 받아, 저자들은 학습 과정에서 DiT의 은닉 표현(hidden representation)을 사전 학습된 위성 전용 인코더(DINOv3)와 정렬한다. 선형 투영(linear projection)을 통해 DiT 블록 표현을 DINOv3 공간으로 매핑함으로써 도메인 특화 특징 학습을 개선한다.
• 지리 위치 조건부: 모델은 지리 위치 인식을 위해 RANGE 임베딩을 활용하며, 이는 적응형 레이어 정규화(adaptive layer normalization)를 통해 통합된다.

4. 데이터셋

모델은 Git-10M 데이터셋의 확장 버전을 사용하여 학습된다 (줌 레벨 17의 이미지 2백만 장). 포인트 기반 조건부 생성을 가능하게 하기 위해, 저자들은 OpenStreetMap (OSM) 벡터 데이터를 위성 이미지와 공동 등록(co-register)하였으며, 이미지당 10~50개의 포인트를 관련 OSM 태그 및 상대 좌표와 함께 무작위로 샘플링하였다.

주요 기여

1. TerraDiT-XL/2-$\alpha$: 제어 가능한 원격 탐사 합성의 강력한 토대를 구축하는 최첨단 텍스트-위성 이미지 생성 모델이다.
2. TerraDiT-XL/2-$\Sigma$: 최소한의 포인트 기반 입력만으로 미세한 공간 및 의미론적 제어를 가능하게 하는 포인트 조건부 DiT로서, 밀집된 픽셀 수준의 감독에 대한 유연한 대안을 제시한다.
3. 적응형 로컬 어텐션 (ALA): 포인트 기반 조건에 대해 크로스 어텐션을 효과적으로 규제하여, 엄격한 형태 제약 없이도 정밀하고 공간적으로 일관된 생성을 결과하는 새로운 모듈이다.
4. 체계적 설계 분석: 조건부 전략, 지리 위치 인코더, 위성 특화 인코더와의 표현 정렬을 포함하여 위성용 DiT를 위한 도메인 특화 요소들에 대한 포괄적인 연구를 수행하였다.

실험 결과

저자들은 네 가지 데이터셋(Git-Rand-15k, Git-Spatial-15k라는 두 가지 인도메인 홀드아웃 분할, 그리고 RSICD, FMoW라는 두 가지 아웃도메인 데이터셋)에 대해 TerraDiT를 평가하였다.

• 성능: TerraDiT 변체들은 모든 지표(FID, LPIPS, SSIM, CLIP)에서 기존의 최첨단 원격 탐사 생성 모델(예: GeoSynth, DiffusionSat, Text2Earth) 및 일반 목적 모델(SD3, PixArt)을 능가하였다. 특히, 포인트 조건부 변체(TerraDi형-XL/2-$\Sigma$)는 가장 낮은 FID(Git-Rand-15k에서 12.01)와 가장 높은 SSIM을 달성하여 텍스트 전용 변체를 넘어섰다.
• 정성적 품질: 시각화 결과는 TerraDiT가 포인트 쿼리의 의미론을 정확하게 반영하면서 고충실도(high-fidelity) 이미지를 생성함을 보여준다. 맵 기반 제어와 달리, 포인트 쿼리는 의미론적 일관성을 유지하면서도 다양한 구조적 변이를 허용한다.
• 훈련 불필요 인페인팅 (Training-Free Inpainting): 도시 지역에 대한 제로샷 인페인팅 작업에서, TerraDiT-XL/2-$\Sigma$는 지리 공간 베이스라인 모델들과 비교하여 우수한 FID(16.81)와 SSIM(0.7000)을 달성하였으며, 이는 최소한의 주석으로도 효과적인 로컬 의미론적 정렬이 가능함을 입증한다.
• 효율성: 모델은 다른 원격 탐사 생성 모델들과 비교하여 단일 이미지 생성에 대한 가장 낮은 지연 시간(latency)을 달est하였다.

의의 및 주장

본 논문은 TerraDiT가 텍스트-이미지 생성의 유연성과 위성 이미지에 필요한 공간 제어 사이의 간극을 메움으로써 원격 탐사 생성 모델링의 중요한 진전을 이루었다고 주장한다. 밀집되고 비용이 많이 드는 픽설 수준의 맵 대신 의미론적으로 풍부한 포인트 쿼리를 사용함으로써, 저자들은 TerraDiT가 더 **주석 친화적(annotation-friendly)**이고 계산 효율적인 프레임워크를 제공한다고 강조한다. 이 연구는 Diffusion Transformer가 도메인 특화 표현 정렬 및 새로운 어텐션 메커니즘과 결래될 때, 전통적인 UNet 기반 접근 방식보다 지각적 사실성과 구조적 일관성 모두에서 효과적으로 복잡한 위성 이미지 분포를 포착할 수 있음을 입증한다.