Right Regions, Wrong Labels: Semantic Label Flips in Segmentation under Correlation Shift

1. 문제 정의 (Problem)

• 배경: 기계 학습 모델은 훈련 데이터에서 목표 레이블과 예측력이 높지만 인과관계가 없는 '가짜 단서 (spurious cues)'에 의존하여 학습하는 경향이 있습니다 (예: 배경 맥락, 이미지 아티팩트 등). 이러한 상관관계가 테스트 시점에 깨지면 (distribution shift) 성능이 급격히 저하됩니다.
• 기존 연구의 한계: 기존 연구는 주로 이미지 분류 (classification) 작업에 집중되어 왔으며, 분할 작업에서는 주로 겹침 기반 지표 (mIoU, Dice) 를 사용하여 성능을 평가합니다.
• 핵심 문제: 겹침 기반 지표는 기하학적 일치도 (물체의 위치와 크기) 는 잘 반영하지만, 물체의 경계는 정확히 맞는데 물체 내부의 의미론적 레이블이 잘못 할당되는 경우를 놓칠 수 있습니다. 예를 들어, '고양이'가 '개'로 잘못 분류되더라도 물체 영역 (foreground) 은 정확히 분할되었다면 mIoU 는 여전히 높게 나올 수 있습니다.
• 연구 목표: 상관관계 이동 (correlation shift) 하에서 분할 모델이 물체의 위치는 유지하면서 의미론적 정체성 (semantic identity) 만을 잘못 예측하는 '라벨 반전 (Label Flip)' 현상을 규명하고 정량화하는 것.

2. 방법론 (Methodology)

2.1 데이터셋 및 실험 설정

연구진은 두 가지 데이터셋을 사용하여 상관관계 이동 시나리오를 통제된 환경에서 실험했습니다.

1. WATERBIRDS-SEG: 기존 WATERBIRDS 분류 데이터셋을 분할 작업으로 변환.
   • 레이블 ($Y$): 물새 (Landbird) vs. 수새 (Waterbird).
   • 속성 ($A$): 배경 (육지 vs. 물).
   • 훈련 시 물새는 주로 육지 배경, 수새는 주로 물 배경과 강하게 연관되도록 설정 ($\rho=0.95$).
2. COCO-CD: COCO 데이터셋에서 고양이와 개를 추출.
   • 레이블 ($Y$): 고양이 vs. 개.
   • 속성 ($A$): 실내 (Indoor) vs. 실외 (Outdoor).
   • 훈련 시 고양이는 실내, 개는 실외와 강하게 연관되도록 설정.

2.2 실험 프로토콜

• 상관관계 강도 ($\rho$): 훈련 데이터에서 레이블과 속성의 연관 강도를 0.5 (균형) 와 0.95 (강한 편향) 로 조절.
• 평가: 모든 $(Y, A)$ 조합을 포함하는 균형 잡힌 테스트 세트 (Aligned 및 Counterfactual 그룹) 에서 평가.
• 모델: U-Net 아키텍처 (ResNet-50, MiT-B2 백본) 사용. 다양한 손실 함수 (CE, Dice+CE, Group DRO, CutMix) 적용.

2.3 제안된 진단 지표 (Metrics & Diagnostics)

기존 겹침 지표 외에 의미론적 오류를 분리하기 위한 새로운 지표를 제안했습니다.

1. Flip Rate: 배경은 정답인데, 정답의 전경 (foreground) 픽셀이 다른 전경 클래스로 잘못 예측된 비율.
   • 수식: $Flip = \frac{\sum I[y_i \in \{1,2\}] \land I[\hat{y}_i \in \{1,2\}] \land I[\hat{y}_i \neq y_i]}{\sum I[y_i \in \{1,2\}]}$
2. 오류 분해 (Error Decomposition): 전경 픽셀을 세 가지로 분류.
   • FG-Corr: 정답 전경 → 정답 클래스 (Correct)
   • FG-Flip: 정답 전경 → 잘못된 전경 클래스 (Flip)
   • FG-Miss: 정답 전경 → 배경 (Miss/Deletion)
3. Flip-Risk Score (Ground Truth 불필요): 추론 시 정답 레이블 없이 모델의 출력만 사용하여 '라벨 반전' 위험을 예측하는 엔트로피 기반 점수.
   • 전경 클래스 두 가지에 대한 예측 확률 분포의 엔트로피를 계산하여 불확실성이 높은 경우를 위험군으로 분류.

3. 주요 결과 (Key Results)

1. 라벨 반전의 존재 확인:

   • 훈련 시 강한 상관관계 ($\rho=0.95$) 가 형성되면, Counterfactual 그룹 (예: 물 배경에 있는 물새) 에서 FG-Flip(의미론적 반전) 비율이 급격히 증가했습니다.
   • 반면, FG-Miss(물체 누락) 나 기하학적 오류는 상대적으로 적게 증가하여, 모델은 물체의 위치는 잘 찾지만 라벨만 잘못 붙이는 현상이 발생함을 증명했습니다.
   • 기존 mIoU 지표는 이러한 오류를 과소평가하거나 단순히 성능 저하로만 해석했습니다.

2. 모델 및 손실 함수의 영향:

   • Group DRO 나 CutMix 와 같은 편향 완화 기법을 적용해도 라벨 반전 (Flip) 은 완전히 제거되지 않았습니다.
   • 겹침 (Overlap) 성능을 개선하는 것이 반드시 의미론적 안정성 (Semantic Stability) 을 보장하지는 않음을 보여줍니다.

3. Flip-Risk Score 의 유효성:

   • 제안된 엔트로피 기반의 Flip-Risk 점수는 정답 레이블 없이도 라벨 반전이 발생할 가능성이 높은 이미지를 효과적으로 식별했습니다.
   • 위험도가 높은 데시블 (decile) 일수록 Flip 비율이 급격히 증가하여, 추론 시 위험한 예측을 선별 (triage) 하는 데 활용 가능함을 입증했습니다.

4. 메커니즘 분석:

   • 마스킹 실험 (Oracle-FG) 을 통해 배경 정보를 제거하더라도 강한 상관관계 훈련 모델은 여전히 전경 내부에서 정체성 혼란을 보임을 확인했습니다. 이는 모델이 전경 특징 자체에서도 편향된 속성을 학습했음을 시사합니다.

4. 기여 (Contributions)

1. 새로운 실패 모드 발견: 분할 작업에서 상관관계 이동 하에 발생하는 '의미론적 라벨 반전 (Semantic Label Flip)' 현상을 최초로 식별하고 정의했습니다. 이는 물체의 기하학적 형태는 유지되지만 클래스가 뒤바뀌는 특수한 오류입니다.
2. 밀집 예측을 위한 프로토콜 적용: 분류 작업에서 쓰이던 상관관계 이동 (Correlation Shift) 프로토콜을 분할 작업에 적용하고, WATERBIRDS-SEG 와 COCO-CD 두 가지 데이터셋으로 실험을 검증했습니다.
3. 새로운 진단 도구 제안:
   • 정답 레이블이 있을 때: Flip 지표와 FG-Corr/Flip/Miss 분해를 통해 기하학적 오류와 의미론적 오류를 분리하여 평가.
   • 정답 레이블이 없을 때 (배포 환경): Flip-Risk Score를 제안하여 추론 시 라벨 반전 위험을 모니터링할 수 있는 경량화 방법을 제시.

5. 의의 및 결론 (Significance & Conclusion)

• 평가 기준의 확장: 분할 모델의 강건성을 평가할 때 단순히 겹침 (IoU) 만 보는 것은 부족하며, 정확히 국소화된 영역 내에서의 의미론적 안정성을 반드시 함께 평가해야 함을 강조합니다.
• 실무적 시사점: 의료 영상 (예: 심장 MRI) 이나 자율 주행과 같은 고위험 분야에서 모델이 물체의 위치는 정확히 찾지만, 중요한 클래스 (예: 종양 vs 정상, 보행자 vs 차량) 를 잘못 식별할 경우 치명적일 수 있습니다. 본 논문에서 제안한 진단 도구는 이러한 숨겨진 오류를 발견하고, 배포 시 위험한 예측을 선별하여 인간 검토를 요청하는 시스템 구축에 기여할 수 있습니다.
• 향후 연구 방향: 단순한 2 클래스 설정에서 시작되었으나, 더 복잡한 다중 클래스 환경과 실제 의료/산업용 파이프라인에서의 적용 가능성을 탐구해야 함을 제안합니다.

요약하자면, 이 논문은 **"모델이 물체를 잘 찾았다고 해서 (Right Regions), 그 물체가 무엇인지 올바르게 판단한 것은 아닐 수 있다 (Wrong Labels)"**는 중요한 통찰을 제공하며, 분할 모델의 신뢰성을 높이기 위한 새로운 평가 패러다임을 제시합니다.