WeatherReasonSeg: A Benchmark for Weather-Aware Reasoning Segmentation in Visual Language Models

1. 문제 제기 (Problem Statement)

기존의 비전 - 언어 모델 (VLM) 은 복잡한 언어 설명에 기반한 추론 기반 분할 (Reasoning-based Segmentation) 에서 뛰어난 성능을 보여왔습니다. 그러나 기존 벤치마크들은 대부분 이상적인 조건 (맑은 날씨, 고화질 이미지) 에서 촬영된 데이터로 구성되어 있습니다.

실제 야외 환경에서는 비, 눈, 안개와 같은 **악천후 (Adverse Weather)**로 인해 가시성이 떨어지고 구조가 왜곡되며 노이즈가 발생하는 등 시각적 정보가 심각하게 저하됩니다. 이러한 환경적 열화는 VLM 의 시각 - 언어 정렬을 방해하고, 다단계 추론 파이프라인을 통해 오류가 증폭되어 최종 분할 마스크 예측에 치명적인 영향을 미칩니다. 현재까지 악천후 조건 하에서 VLM 의 추론 기반 분할 능력을 체계적으로 평가하는 벤치마크는 부재했습니다.

2. 방법론 (Methodology)

저자들은 이 격차를 해소하기 위해 WeatherReasonSeg라는 새로운 벤치마크를 제안했습니다. 이 벤치마크는 두 가지 상호 보완적인 구성 요소로 이루어져 있습니다.

가. 제어 가능한 합성 악천후 데이터셋 (Controllable Synthetic Dataset)

• 기반 데이터: 기존 추론 기반 분할 벤치마크인 ReasonSeg 를 기반으로 합니다.
• 합성 과정: 물리적으로 해석 가능한 (physically interpretable) 기상 합성 메커니즘을 도입하여 비, 눈, 안개 (Haze) 를 생성합니다.
  • 비 (Rain): 빗줄기 누적 효과와 밀도 조절을 모델링합니다.
  • 안개 (Fog): 대기 산란 모델 (Atmospheric Scattering Model) 을 사용하여 깊이와 산란 계수를 기반으로 가시성을 저하시킵니다.
  • 눈 (Snow): 입자 가림, 산란, 대비 감소를 시뮬레이션합니다.
• 조절 가능성: 기상 조건의 심각도 (Light, Moderate, Heavy) 를 물리적 파라미터 (예: 빗줄기 수, 산란 계수, 입자 밀도) 를 통해 정밀하게 제어하여, 모델의 강건성이 기상 강도에 따라 어떻게 변화하는지 정량적으로 분석할 수 있습니다.

나. 실세계 악천후 추론 데이터셋 (Real-World Adverse-Weather Dataset)

• 기반 데이터: ACDC (Adverse Conditions Dataset with Correspondences) 와 같은 실제 악천후 이미지를 활용합니다.
• 쿼리 생성 전략 (Mask-guided LLM Prompting):
  • 기존 객체 카테고리나 단순 속성 설명을 넘어, **5 가지 추론 차원 (Dimensions)**에 맞춘 자연어 쿼리를 생성합니다.
  • 5 가지 차원:
    1. Function (기능): 사물의 본질적 목적 (예: "승객을 수송하는 대형 차량").
    2. Application (응용 시나리오): 사용 환경 및 맥락 (예: "도시 중심가에서 정기 노선을 운행하는 차량").
    3. Structure (구조): 관측 가능한 물리적 속성 (예: "미끄럼 방지 문과 유선형 전면 구조를 가진 차량").
    4. Relationship (상호작용): 주변 객체와의 공간적/상호작용 관계.
    5. Requirement (요건 매칭): 특정 필요 조건을 충족하는 객체 (예: "고정된 경로를 따라 운행하는 대용량 교통수단").
• 검증: 생성된 쿼리는 인간 어노테이터와 LLM 을 통한 이중 검증 과정을 거쳐 의미적 일관성과 시각적 근거를 확보합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 악천후 추론 분할 벤치마크: 이상적인 평가와 실제 배포 시나리오 간의 간극을 메우는 WeatherReasonSeg 를 최초로 제안했습니다.
2. 정량적 강건성 분석을 위한 합성 데이터: 다양한 기상 유형과 심각도 수준을 체계적으로 제어할 수 있는 합성 데이터셋을 구축하여, 기상 강도가 추론 과정에 미치는 영향을 정량화했습니다.
3. 고급 추론 능력을 평가하는 실세계 데이터셋: 마스크 기반 LLM 프롬프팅을 통해 5 가지 복잡한 추론 차원을 아우르는 고품질 쿼리를 생성하고, 실제 악천후 환경에서의 모델 성능을 평가할 수 있는 데이터를 확보했습니다.

4. 실험 결과 (Results)

다양한 VLM (Grounded-SAM, LISA, Seg-R1, Seg-Zero 등) 을 대상으로 한 실험 결과는 다음과 같은 두 가지 핵심 발견을 도출했습니다.

• 기상 심각도에 따른 성능의 단조 감소:
  • 모든 모델은 맑은 날씨에서는 우수한 성능을 보였으나, 기상 조건이 심각해질수록 (Light → Heavy) gIoU 및 cIoU 지수가 일관되게 감소했습니다.
  • 특히 Seg-Zero-7B(추론 전용 모델) 의 경우, 맑은 날씨 (gIoU 65.3) 에서 심한 악천후 (gIoU 47.7) 로 전환될 때 약 17.6 포인트의 절대적 성능 저하를 보였습니다. 이는 시각적 열화가 VLM 의 의미적 연관 및 공간적 추론 능력을 직접적으로 약화시킴을 의미합니다.
• 기상 유형별 취약성 패턴의 차이:
  • **눈 (Snow)**이 가장 심각한 성능 저하를 유발했으며, 이어 안개 (Fog), 비 (Rain) 순서였습니다. 이는 눈 환경에서 질감, 대비, 깊이 단서가 극도로 손실되기 때문입니다.
  • 실세계 vs. 추론: 순수 분할 모델 (SAM2) 은 악천후에서도 높은 성능을 유지하는 반면, VLM 기반 추론 분할 모델은 SAM2 성능의 약 50% 수준으로 떨어졌습니다. 이는 저수준 특징 추출이 아닌 고수준 추론 단계에서 악천후로 인한 시각 - 의미 정렬 실패가 주요 병목 현상임을 시사합니다.
• 추론 차원별 성능 편차:
  • **Structure(구조)**와 **Function(기능)**과 같이 직접 관측 가능한 시각적 속성에 기반한 쿼리는 상대적으로 강건했습니다.
  • 반면, **Application(응용)**과 **Requirement(요건)**와 같이 높은 수준의 맥락 추론이나 상황적 추상화가 필요한 쿼리는 악천후 조건에서 성능이 크게 저하되었습니다.

5. 의의 및 결론 (Significance)

• 안전 필수 애플리케이션의 중요성: 자율 주행, 로봇 공학 등 안전이 중요한 실제 환경에서 VLM 기반 시스템의 신뢰성을 보장하기 위해 악천후 강건성 평가가 필수적임을 강조합니다.
• 향후 연구 방향 제시:
  • 현재 VLM 들은 환경 적응형 추론 메커니즘이 부족하므로, 물리 기반 기상 시뮬레이션을 전학습 (Pre-training) 또는 미세 조정 (Fine-tuning) 파이프라인에 통합해야 함을 제안합니다.
  • 불확실성 모델링과 분포 변화 (Distribution Shift) 에 대한 적응 능력을 갖춘 새로운 모델 개발의 필요성을 제기합니다.

결론적으로, WeatherReasonSeg 는 VLM 이 이상적인 환경을 벗어나 실제 악천후 조건에서 얼마나 취약한지를 체계적으로 규명하고, 향후 강건한 추론 시스템 개발을 위한 기준점 (Baseline) 을 제공합니다.