기술 요약: LASA – 도메인 일반화 세만틱 세그멘테이션을 위한 언어 및 소스 고정 정렬 (Language-and-Source-Anchored Alignment)

1. 문제 정의

도메인 일반화 세만틱 세그멘테이션(DGSS)은 훈련 중에 타겟 데이터에 접근하지 않고, 레이블이 지정된 소스 도메인으로부터 학습하여 미지의 타겟 도메인으로 일반화하는 것을 목표로 한다. 기존의 방법들은 주로 스타일 무작위화(Style Randomization)(오버피팅을 방지하기 위해 다양한 샘플을 합성) 또는 특징 정규화(Feature Normalization)(도메인 민감한 특징을 억제하여 불변하는 콘텐츠를 추출)에 의존하지만, 저자들은 이러한 접근 방식이 다음과 같은 내재적 한계를 갖는다고 주장한다:

• 스타일 무작위화: 거친 입도(coarse-grained)의 특성으로 인해 기저의 특징 매니폴드(feature manifold)를 왜곡하며, 이로 인해 도메인 지배적인 특징이 다른 범주와 구별 불가능해지는 범주 혼동을 야기한다.
• 특特征 정규화: 경직된 설계로 인해 정밀한 세그멘테이션에 필수적인 변별력 있는 도메인 민감 세만틱 디테일을 억제하며, 이로 인해 모델이 특징을 효과적으로 조직하는 능력을 상실하게 만든다.

핵심 과제는 특징 매니폴드의 구조적 무결성을 파괴하거나 중요한 세만틱 뉘앙스를 억제하지 않으면서 도메인 불변성을 달로 달성하는 것이다.

2. 방법론: LASA 프레임워크

제안된 언어 및 소스 고정 정렬(Language-and-Source-Anchored Alignment, LASA) 프레임워크는 텍스트 및 소스 가이드 스타일 전이(TSGST), 도메인 인식 쿼리 어댑터(DAQA), **도메인 인식 디코더 옵티마이저(DADO)**라는 세 가지 시너지 구성 요소를 통해 이러한 한계를 해결한다.

2.1 텍스트 및 소스 가이드 스타일 전이 (TSGST)

이 모듈은 특징 매니폴드의 구조적 무결성을 보존하면서 훈련 다양성을 확장하도록 설계된 도메인 증강 엔진 역할을 한다. 이는 동결된 CLIP 비주얼 인코더와 텍스트 인코더를 사용하여 두 개의 병렬 증강 특징 스트림을 생성한다.

• 언어 고정 분포 정렬 (LADA): 텍스트 임베딩(범주와 도메인 문맥, 예: "빗속의 자동차"를 인코딩)을 비주얼 가이드로 변환한다. 이는 정렬 매칭(sort-matching) 연산을 통해 채널별 분포 정렬을 수행하며, 이를 통해 비주얼 특징이 소스 콘텐츠의 공간적 토폴로지를 유지하면서 텍스트 사전 정보의 통계적 특성을 상속받도록 보장한다.
• 소스 고정 매니폴드 안정화 (SAMS): 표현 붕괴(representation collapse)를 방지하기 위해, 이 메커니즘은 스타일화된 특징을 원래의 소스 특징(동결된 CLIP 백본으로부터 추출)에 확률적으로 고정한다. 소스 특징을 불변의 참조점으로 취급함으로써, 생성된 스타일 맵이 본질적인 비주얼 매니폴드와 기하학적으로 호환되도록 보장한다.
• 이중 경로 일관성 학습: 두 개의 병렬 브랜치 사이에 일관성 손실($L_{con}$)을 적용하여 불일치를 최소화하고, 확률적인 스타일 변동을 통일된 범주 매니폴드로 끌어당긴다.

2.2 도메인 인식 쿼리 어댑터 (DAQA)

TSGST가 특징 공간을 구조화한다면, DAQA는 객체 쿼리를 정교화하는 인스턴스 수준의 교정기 역할을 하며, 정적인 사전 매칭에서 동적인 도메인 인식 재교정으로 전환한다.

• 도메인 시그니처 (Domain Signature): 밀집 마스크 특징으로부터 1차, 2차 및 돌출된 통계량을 추출하여 현재 입력의 스타일적 문맥을 나타내는 견고한 도메인 시그니처($S$)를 생성한다.
• 세만틱 가이드 (Semantic Guidance): 객체 쿼리를 고정된 텍스트 임베딩과 교차 주의(cross-attention)를 통해 상호작용시켜 범주적 세만틱 가이드($E_{sem}$)를 추출하고 환경 노이즈를 필터링한다.
• 재교정 (Recalibration): $E_{sem}$과 $S$를 결합하여 인스턴스별 스케일링($\alpha$) 및 시프팅($\beta$) 인자를 예측한다. 이 파라미터들은 원래 쿼리에 잔차 교정(residual correction)으로 적용되어, 각 쿼리가 매니폴드 내의 해당 도메인별 서브 클러스터를 향하도록 적응적으로 유도한다.

2.3 도메인 인식 디코더 옵티마이저 (DADO)

DADO는 도메인별 국소화(정확한 마스킹에 필요)와 공유된 도메인 불변 분류기 요구 사항 사이의 기능적 긴장을 해결한다. 이는 예측 헤드를 분리한다:

• 범주 브랜치 (Categorical Branch): 도메인 시그니처에 조건화된 적응형 레이어 정규화(AdaLN)를 사용하여 쿼리를 통일된 정준 분포(canonical distribution)로 투영한다. 이는 인접한 도메인별 서브 클러스터를 안정화된 범주 중심점으로 "끌어당겨", 공유 분류기 간의 클래스 간 혼동을 완화한다.
• 마스크 브랜치 (Mask Branch): 표준 레이어 정규화를 유지하여 쿼리의 활성 도메인 인식 특성을 보존함으로써, 쿼리가 정밀한 공간 세그멘테이션을 위해 변화된 비주얼 특징과 정확하게 상호작용할 수 있도록 보장한다.

3. 주요 기여

1. LASA 프레임워크: 다양한 미지의 시나리오, 특히 극한 환경에서 기존의 최첨단(SOTA) 방법들을 능가하는 혁신적인 DGSS 아키텍처를 제시한다.
2. TSGST 모듈: 소스 특징을 구조적 앵커로 사용하고 VLM 사전 정보를 제어 가능한 스타일 증강을 위한 미세한 가이드로 활용함으로써, 특징 매니폴드의 왜곡에 대한 안정화 메커니즘을 도입한다.
3. DAQA 및 DADO 모듈: 억제된 세만틱 디테일을 복구하고 잔여 도메인 격차를 메우는 2단계 정교화 전략을 제안한다. DAQA는 도메인 인식 시그니처를 통해 국소적인 미세 조절을 제공하며, DADO는 글로벌 분포 최적화 및 범주적 일관성을 보장한다.

4. 실험 결과

저자들은 GTAV-to-Real(GTAV, SYNTHIA에서 Cityscapes, BDD, Mapillary로), Real-to-Mixed 설정, 그리고 악천후 조건(ACDC 데이터셋)을 포함한 표준 DGSS 벤치마크에서 LASA를 평가하였다.

• Synthetic-to-Real: GTAV $\to$ Cityscapes 태스크에서 LASA는 55.93% mIoU를 달성하여 이전의 SOTA인 SCSD보다 +4.21% 높은 성능을 보였다. 모든 타겟 도메인에 대한 평균 mIoU는 **52.48%**로, SCSD 대비 +3.37% 향상되었다.
• 악천후 조건: LASA는 극한 환경에서 상당한 강건성을 입증했다.
  • 눈 (ACDC-Snow): SCSD 대비 mIoU를 +8.91% 개선했다 (41.37% vs 50.28%).
  • 밤 (ACDC-Night): SCSD 대비 mIoU를 +8.64% 개선했다 (15.06% vs 23.70%).
  • 전체 ACDC: 평균 mIoU **42.14%**를 달성하여 기존 방법들보다 +6.48% 높은 성능을 기록했다.
• 매니폴드 품질: 실루엣 점수(Silhouette Score), 데이비스-볼딘 지수(Davies-Bouldin Index), 클래스 내 프록시 A-거리(Intra-Class Proxy A-distance)를 이용한 정량적 분석을 통해, LASA가 이전 방법들과 비교하여 더 조밀한 클래스 클러스터와 더 선명한 결정 경계를 생성함을 확인하였으며, 이는 클래스 내 도메인 구조의 보존을 입증한다.

5. 의의 및 주장

본 논문은 LASA가 도메인 불변성과 특징 무결성 사이의 트레이드오프를 근본적으로 해결함으로써 DGSS 분야에서 중요한 진전을 이루었다고 주장한다.

• 구조적 보존: 특징 매니폴드를 왜곡하거나 중요한 디테일을 억제하는 기존 방법들과 달리, LASA는 학습 과정을 소스 특징과 VLM 사전 정보에 고정한다. 이를 통해 도메인 지배적인 특징이 범주적 경계 내에 클러스터링된 상태를 유지하면서도 명확한 분리 가능성을 유지하도록 보장한다.
• 극한 시나리오에서의 강건성: 타겟 데이터 없이도 미지의 도전적인 환경(예: 폭설 또는 밤)에 일반화할 수 있는 프레임워크의 능력은 핵심적인 성과로 강조되며, 이는 제안된 정렬 전략이 견고하고 전이 가능한 세만틱 표현을 효과적으로 포착함을 시사한다.
• 시너지 설계: 저자들은 텍스트 가이드 스타일 전이, 쿼리 수준의 재교정, 그리고 디코더 수준의 최적화의 조합이 최첨단 성능을 달기 위해 필수적임을 강조한다. 이는 각 구성 요소가 기존 접근 방식의 특정 실패 모드(매니폴드 왜곡, 억제된 디테일, 분류기 불일치)를 해결하기 때문이다.