Open-Vocabulary Domain Generalization in Urban-Scene Segmentation

이 논문은 자율주행 환경에서 미시적 도메인과 미시적 카테고리 모두에 대한 일반화 문제를 해결하기 위해 새로운 벤치마크를 제안하고, 사전 훈련된 비전 - 언어 모델의 도메인 왜곡을 완화하는 상태 공간 기반 텍스트 - 이미지 상관관계 정제 메커니즘인 S2-Corr을 도입한 오픈-보카불러리 도메인 일반화 (OVDG-SS) 설정을 제시합니다.

핵심

🚗 1. 문제: "익숙한 길만 아는 운전기사"

자율주행 자동차의 눈 (카메라) 과 뇌 (AI) 는 훈련을 통해 길을 배우는데, 기존 기술에는 두 가지 큰 한계가 있었습니다.

• 한계 1 (도메인 일반화 부족): 비가 오거나, 눈이 오거나, 밤이 되면 AI 는 당황합니다. 마치 맑은 날에 운전면허를 딴 사람이 비 오는 날에는 차를 못 운전하는 것과 같습니다.
• 한계 2 (개념의 제한): 훈련받은 것만 봅니다. '자동차', '사람', '도로'는 잘 알아내지만, 훈련 데이터에 없던 '우산', '장난감', '공사장 막대' 같은 새로운 물체가 나타나면 "이건 뭐지? 모르겠다"라고 무시해버립니다.

결국: 기존 AI 는 "날씨가 바뀌면 길을 잃고, 새로운 물체가 나오면 눈이 멀어" 안전한 자율주행이 불가능했습니다.

---

🌍 2. 해결책: "모든 상황과 모든 물체를 아는 만능 운전기사"

이 논문은 **'OVDG-SS(개방형 어휘 도메인 일반화)'**라는 새로운 개념을 제안합니다. 쉽게 말해, **"날씨나 장소가 바뀌어도, 처음 보는 물체가 나와도 다 알아내는 AI"**를 만드는 것입니다.

이를 위해 연구팀은 **VLM(시각 - 언어 모델)**이라는 거대한 AI 를 사용했습니다. 이 AI 는 "우산"이라는 글자를 보면 우산의 이미지를 상상할 수 있는 능력을 가지고 있습니다. 하지만 문제는 날씨가 바뀌면 (예: 비 오는 밤) AI 가 "우산"이라는 글자와 실제 우산 이미지를 연결하는 능력이 떨어진다는 점입니다.

---

🛠️ 3. 핵심 기술: "S2-Corr" (소음 제거 필터)

연구팀은 이 연결 고리가 끊어지는 문제를 해결하기 위해 S2-Corr이라는 새로운 장치를 개발했습니다. 이를 비유로 설명하면 다음과 같습니다.

📻 비유: "방해 잡음이 심한 라디오"

• 상황: 비 오는 밤 (도메인 변화) 에 라디오 (AI) 를 틀면, "우산"이라는 방송 (텍스트) 을 듣고 싶지만, 빗소리와 번개 소리 (잡음) 때문에 소리가 잘 들리지 않습니다.
• 기존 방법: 그냥 라디오 볼륨만 높이면 (기존 AI), 잡음까지 함께 커져서 오히려 더 못 알아듣습니다.
• 이 연구의 방법 (S2-Corr):
  1. 잡음 제거 (State-Space driven): 과거의 정보를 잘 기억했다가, 불필요한 잡음은 과감히 잊어버리는 '스마트한 필터'를 달았습니다.
  2. 맥락 이해 (Modulation): "지금 비가 오고 있으니, 우산은 검은색일 수도 있겠구나"라고 상황을 고려해 주의를 줍니다.
  3. 순서대로 듣기 (Snake Scanning): 라디오 소리를 한 번에 다 듣는 게 아니라, 한 줄씩, 한 칸씩 꼼꼼히 훑어보며 중요한 부분만 집중합니다.

이 장치를 통해 AI 는 비 오는 밤에도 "저건 우산이다!"라고 정확하게 식별할 수 있게 됩니다.

---

🏆 4. 성과: "새로운 기준을 세우다"

연구팀은 이 기술을 검증하기 위해 **새로운 시험장 (벤치마크)**을 만들었습니다.

• 시험 내용: 맑은 날 훈련한 AI 를 비, 눈, 안개, 공사장, 낯선 도시 등 다양한 상황에 투입하고, '차량', '도로'뿐만 아니라 '장난감', '동물', '공사 장비' 등 수백 가지 새로운 물체를 찾아내게 했습니다.

결과:

• 기존 AI 들은 날씨만 바뀌어도 성능이 뚝 떨어졌고, 새로운 물체는 아예 못 찾았습니다.
• 하지만 이 연구팀의 S2-Corr은 가장 높은 정확도를 기록했을 뿐만 아니라, 처리 속도도 빠르고 메모리도 적게 썼습니다.

---

💡 5. 요약: 왜 이것이 중요한가?

이 기술은 자율주행차가 **예상치 못한 상황 (갑작스러운 폭우, 낯선 도시, 길가에 떨어진 이상한 물체)**에서도 안전하게 운전할 수 있는 토대를 마련합니다.

"기존의 AI 는 '익은 길'만 다녔다면, 이 기술은 '어디든, 언제든, 어떤 물체가 있어도' 안전하게 갈 수 있는 만능 내비게이션을 만든 것입니다."

이제 자율주행차는 비가 오든, 눈이 오든, 공사장이든, 처음 보는 장난감이 도로에 있어도 당황하지 않고 안전하게 운전할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의semantic segmentation 연구는 주로 두 가지 별도의 영역에서 진행되었습니다.

• 도메인 일반화 (DG-SS): 훈련된 모델이 훈련 데이터와 다른 환경 (날씨, 조명, 지리적 위치 등) 에서도 견고하게 작동하도록 하는 것. 하지만 기존 DG-SS 는 고정된 클래스 집합만 인식할 수 있어, 훈련 데이터에 없는 새로운 객체 (예: 공사 현장의 교통뿔, 비정형 장애물 등) 를 인식하지 못합니다.
• 오픈 보카불러리 분할 (OV-SS): 비전 - 언어 모델 (VLM, 예: CLIP) 을 활용하여 훈련 데이터에 없는 새로운 클래스도 텍스트를 통해 인식할 수 있게 하는 것. 하지만 이러한 모델들은 **도메인 시프트 (Domain Shift)**에 매우 취약하여, 훈련 환경과 다른 조건 (예: 안개, 야간, 다른 도시) 에서는 성능이 급격히 저하됩니다.

핵심 문제:
기존 방법들은 '보이지 않는 도메인 (Unseen Domain)'과 '보이지 않는 클래스 (Unseen Class)'를 동시에 처리하는 데 실패합니다. 자율주행과 같은 안전이 중요한 분야에서는 다양한 환경 변화와 예측 불가능한 새로운 객체들을 모두 인식할 수 있는 모델이 필수적이지만, 현재 이를 해결하는 표준적인 벤치마크나 방법이 부재했습니다.

이 논문은 **OVDG-SS (Open-Vocabulary Domain Generalization in Semantic Segmentation)**라는 새로운 태스크를 정의하여, 훈련되지 않은 도메인과 훈련되지 않은 클래스를 동시에 처리하는 문제를 제기합니다.

2. 제안 방법: S2-Corr (Methodology)

저자들은 VLM 기반 모델이 도메인 시프트 시 텍스트 - 이미지 상관관계 (Text-Image Correlation) 가 왜곡되어 노이즈가 발생하고, 이로 인해 성능이 떨어지는 원인을 분석했습니다. 이를 해결하기 위해 S2-Corr (State-Space-driven Correlation Refinement) 모듈을 제안했습니다.

핵심 구성 요소:

1. 선택적 상태 공간 모델 (Selective State-Space Model, SSM) 기반 집계:

   • 기존 CAT-Seg 등의 방법이 사용하는 '크로스 어텐션 (Cross-Attention)'은 모든 토큰 간의 상호작용을 계산하여 노이즈가 전파되기 쉽고 계산 비용이 높습니다.
   • 대신 S2-Corr 는 SSM을 도입하여 상관관계 맵을 순차적으로 처리합니다. SSM 은 과거 상태의 정보를 선택적으로 유지하거나 잊어버릴 수 있어, 도메인 시프트로 인한 노이즈가 장기적으로 전파되는 것을 방지합니다.

2. 세 가지 주요 혁신 기술:

   • 모듈레이션 (Modulation before Aggregation): 이미지 특징과 텍스트 프롬프트 (도메인 관련 정보 포함) 를 기반으로 상관관계 임베딩에 가중치와 편향을 주입합니다. 이를 통해 도메인 특성에 맞는 맥락을 사전에 반영합니다.
   • 학습 가능한 기하학적 감쇠 (Learnable Geometric Decay): SSM 내부의 게이트 메커니즘에 기하학적 감쇠 (Geometric Decay) 사전 지식을 도입합니다. 이는 먼 거리 (Long-range) 의 불필요한 노이즈 상호작용을 억제하고, 신뢰할 수 있는 정보만 선택적으로 전달되도록 합니다.
   • Chunk-wise Snake Scanning: 2D 이미지 공간을 1D 시퀀스로 변환할 때, 단순 행 단위 스캔이 아닌 '뱀 모양 (Snake-shaped)' 스캔 전략을 사용합니다. 이는 행 간의 경계에서 발생하는 공간적 불연속성을 줄이고, 블록 (Chunk) 단위로 상태 전파를 최적화하여 공간적 일관성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. OVDG-SS 설정 및 벤치마크 구축:

   • 자율주행 시나리오를 위한 최초의 포괄적인 OVDG-SS 벤치마크를 구축했습니다.
   • Synthetic-to-Real (GTA → Real) 및 Real-to-Real (Cityscapes → 다양한 조건) 시나리오를 포함하며, 날씨/조명 변화, 지리적 지역 차이, 건설 현장 등 3 가지 유형의 보이지 않는 도메인과 30 개 이상의 새로운 클래스 (교통뿔, 터널, 철도 등) 를 포함합니다.

2. S2-Corr 모듈 제안:

   • 도메인 시프트 하에서 노이즈가 있는 텍스트 - 이미지 상관관계를 정제하는 효율적이고 강력한 모듈을 개발했습니다.
   • 기존 어텐션 메커니즘보다 계산 효율성이 높고, 긴 시퀀스에서의 노이즈 전파를 효과적으로 차단합니다.

3. 성능 입증:

   • 제안된 방법은 기존 오픈 보카불러리 분할 모델 (CAT-Seg, MaskAdapter 등) 과 도메인 일반화 모델들보다 모든 테스트 도메인에서 우수한 성능을 보였습니다.
   • 특히 보이지 않는 클래스와 도메인 모두에서 높은 mIoU 를 기록하며, 추론 속도 (FPS) 와 메모리 효율성에서도 우수함을 입증했습니다.

4. 실험 결과 (Results)

• Real-to-Real 설정 (Cityscapes → ACDC, BDD, Mapillary):
  • ViT-B/16 백본 기준, Dv-19 (19 클래스) 에서 **50.3%**의 mIoU 를 달성하여 기존 최선 모델 (CAT-Seg) 보다 4.3%p 향상되었습니다.
  • Dv-58 (58 클래스) 에서도 47.9% 를 기록하며, 넓은 보카불러리에서도 강건함을 보였습니다.
• Synthetic-to-Real 설정 (GTA → Real):
  • 합성 데이터에서 실세계로 전이할 때 발생하는 큰 격차에서도 S2-Corr 는 가장 높은 성능을 유지했습니다. (ViT-B/16 기준 Dv-19 에서 48.2%)
• 효율성:
  • 기존 방법들 (CAT-Seg, ESC-Net 등) 은 보카불러리가 커질수록 FPS 가 급격히 떨어지지만, S2-Corr 는 18.3 FPS 를 유지하며 메모리 사용량도 9.2GB 로 낮았습니다.
• OOD (Out-of-Distribution) 탐지:
  • 기존 OOD 분할 벤치마크에서도 텍스트 기반 보카불러리 확장만으로도 S2M 등 전문 OOD 탐지기를 능가하는 성능을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율주행과 같은 오픈 월드 환경에서 모델이 겪는 가장 큰 난제인 "알 수 없는 환경"과 "알 수 없는 객체"를 동시에 해결할 수 있는 프레임워크를 제시했습니다.

• 이론적 기여: VLM 기반 모델이 도메인 시프트 시 왜곡되는 상관관계의 본질을 규명하고, 상태 공간 모델 (SSM) 을 활용하여 이를 정제하는 새로운 패러다임을 제시했습니다.
• 실용적 기여: 제안된 OVDG-SS 벤치마크와 S2-Corr 는 향후 자율주행 시스템이 다양한 기상 조건, 지리적 환경, 그리고 훈련 데이터에 포함되지 않은 새로운 장애물을 안전하게 인식하는 데 필수적인 기반 기술이 될 것입니다.

요약하자면, 이 연구는 **도메인 불변성 (Domain Invariance)**과 **개념 개방성 (Concept Openness)**을 동시에 달성하여, 실제 세계의 복잡하고 역동적인 환경에서 작동하는 차세대 시맨틱 분할 모델의 새로운 표준을 제시했습니다.