기술 요약: 이미지 분할에서의 레이블 편향 하의 공정성 달성

문제 정의

AI 의 알고리즘적 편향은 종종 인구통계학적 하위 집단 간 성능 격차로 나타납니다. 분류 작업에서는 체계적인 그룹 조건부 레이블 오류인 레이블 편향이 잘 연구되어 왔으나, 이미지 분할에서는 아직 충분히 탐구되지 않았습니다. 의료 영상과 같은 안전-중요 도메인에서는 특정 환자 집단에 대한 종양의 체계적 과소 또는 과대 분할과 같은 편향된 주석이 임상 결정에 직접 전파될 수 있습니다.

중요한 도전 과제는 표준 분할 지표 (Dice, IoU) 가 복잡한 공간적 오류를 단일 스칼라로 축소하여 편향의 방향성을 종종 가린다는 점입니다. 또한, 이러한 편향을 탐지하고 완화하려면 일반적으로 깨끗하고 편향 없는 정답 레이블에 대한 접근이 필요하지만, 현실 세계에서는 주석 프로토콜이 본질적으로 주관적이며 인구통계학적 왜곡에 취약하여 이러한 레이블을 구하기 어렵습니다. 기존 완화 도구들은 대부분 깨끗한 레이블이나 알려진 편향 구조를 가정하므로, 정답 레이블이 알려지지 않은 상황에서 레이블 편향을 해결할 수 있는 공백이 존재합니다.

방법론

본 논문은 깨끗한 정답 레이블 없이 분할에서의 레이블 편향을 감사하고 완화하기 위한 데이터 중심 프레임워크를 제안합니다. 이 접근법은 두 가지 주요 단계로 구성됩니다:

1. 적응형 확신 학습 (Confident Learning, CL) 을 통한 감사

저자들은 분류 작업의 데이터셋 감시에 전통적으로 사용되던 확신 학습 (CL) 을 밀도 예측 작업인 분할에 적용합니다.

• 메커니즘: 모델을 진단하는 대신, 이 프레임워크는 데이터셋을 재판의 대상으로 간주합니다. 분할 모델은 K-폴드 교차 검증을 통해 확신 있는 예측 ($\hat{y}$) 을 생성하여 관찰되지 않은 실제 레이블 ($y_{true}$) 을 추정하는 프록시 역할을 합니다.
• 결합 분포 추정: 이 방법은 관찰된 (편향될 수 있는) 레이블인 $y_{obs}$와 모델의 확신 있는 예측 간의 픽셀 단위 결합 분포 행렬 $Q(y_{obs}, \hat{y})$을 계산합니다. 이 행렬은 관찰된 레이블이 모델의 확신 있는 예측과 다른 오류를 나타내는 비대각선 항목을 분리합니다.
• 방향성 지표: Dice/IoU 의 한계를 극복하기 위해, 프레임워크는 $Q$를 두 가지 방향 축으로 투영합니다.
  • 생략률 (Omission Rate, OmR): 배경으로 관찰되었으나 확신 있게 전경으로 예측된 픽셀 (과소 분할).
  • 위임률 (Commission Rate, CoR): 전경으로 관찰되었으나 확신 있게 배경으로 예측된 픽셀 (과대 분할).
• 편향 지표: 프레임워크는 체계적 편향을 무작위 노이즈와 구별하기 위해 통계적 검정을 사용합니다.
  • 카이제곱 독립성 검정: 오류 유형이 하위 집단과 독립적인지 확인합니다.
  • 상대 위험도 (Relative Risk, RR): 편향된 집단이 깨끗한 집단에 비해 오류를 보일 확률을 정량화합니다.
  • 대칭성 점수 (Symmetry Score, S): 오류 분포가 집단 크기에 비례하는지 측정합니다 (높은 S 는 균일한 노이즈를 의미하고, 낮은 S 는 편향을 의미함).

2. 하위 집단 조건부 디코딩을 통한 완화

저자들은 레이블 편향이 **특성 공간 분리성 (feature-space separability)**을 유발한다고 관찰합니다. 즉, 인코더는 시각적 특징뿐만 아니라 손상된 주석 패턴을 기반으로 하위 집단을 구분하도록 학습합니다. 전통적인 불변성 기반 방법들이 이 분리성을 억제하는 대신, 이 프레임워크는 이를 활용합니다.

• 하위 집단 조건부 디코더: 이 방법은 Feature-wise Linear Modulation (FiLM) 을 사용하여 인코더 - 디코더 파이프라인에 학습 가능한 하위 집단 조건을 주입합니다. 학습 중에는 하위 집단별 매개변수가 인코더 특징을 조절합니다.
• 추론 전략: 추론 시, 모델은 실제 하위 집단 정체성과 관계없이 모든 입력에 대해 "깨끗한" 참조 집단 ($g_c$) 을 조건부로 받도록 강제됩니다. 이는 체계적으로 학습된 주석 편향을 억제합니다.
• 비대칭 경계 마스킹: 모델이 편향된 경계 스타일을 학습하는 것을 방지하기 위해, 정교한 경계 감독은 깨끗한 하위 집단 주석에서만 독점적으로 라우팅되며, 내부 객체 질량은 모든 샘플에서 활용됩니다.
• 자동 조건부 (비지도 변형): 편향된 하위 집단이 알려지지 않은 경우, 워밍업 단계에서 평균 손실이 가장 낮은 집단 (안정적인 손실 끌개) 을 "깨끗한" 집단으로 식별하여 시스템이 자동으로 비대칭 손실로 전환되도록 합니다.

주요 기여

1. 분할을 위한 확신 학습의 적응: 본 논문은 깨끗한 정답 없이 훈련 데이터에서 레이블 편향을 직접 탐지하기 위한 프레임워크를 도입하며, 표준 중첩 지표가 포착하지 못하는 방향성 지표 (생략/위임률) 를 활용합니다.
2. 특성 공간 분리성에 대한 실증적 증거: 이 연구는 레이블 편향이 인코더의 잠재 공간에서 하위 집단의 분리성을 증가시킨다는 것을 보여줍니다. 중요한 점은 이 분리성이 손상된 입력의 산물이며, 이를 억제하는 대신 완화 목적으로 건설적으로 활용할 수 있다는 주장입니다.
3. 편향 완화 전략: 깨끗한 레이블 없이 공정한 성능을 달성하는 새로운 하위 집단 조건부 디코딩 전략을 제안하며, 주석 편향의 근본 원인을 해결하지 못하는 기존 공정성 기준 (적대적 편향 제거, 도메인 불변 정렬, 공정성 정규화) 보다 우수한 성능을 보입니다.

결과

이 프레임워크는 세 가지 데이터셋에서 평가되었습니다:

• CelebAMask-HQ: 통제된 인구통계학적 편향 (여성/남성 마스크에 침식/팽창 적용).
• PhC-U373: 반합성 주석 스타일 편향 (세부적 대 거친 경계).
• ISIC 피부 병변: 현실 세계 임상 편향 (밝은 피부 톤에 대한 체계적 과주석).

주요 발견:

• 탐지: 표준 지표 (Dice/IoU) 는 편향을 탐지하지 못하거나 역전된 공정성 진단을 제공하는 경우가 많습니다 (예: 가장 높은 관찰 Dice 를 보인 집단이 실제로는 주석 오류의 영향을 가장 많이 받은 집단). 반면, CL 감사는 깨끗한 레이블 없이도 모든 데이터셋에서 편향된 하위 집단과 오류의 성격 (생략 대 위임) 을 정확하게 식별했습니다.
• 완화: 전통적인 불변성 기반 방법 (적대적, MMD, CORAL) 은 근본적인 주석 스타일을 수정하지 않고 인구통계학적 신호만 억제하므로 미미한 개선만 보였습니다. 제안된 하위 집단 조건부 접근법은 성능 격차를 현저히 줄였으며 (예: CelebAMask-HQ 에서 100% 편향 시 Dice 격차를 약 12% 에서 약 0.3% 로 감소), 오류율의 대칭성을 복원했습니다.
• 특성 분리성: 실험은 레이블 편향이 증가함에 따라 특성 공간 내 하위 집단 분리성이 단조 증가함을 확인하여, 편향이 표현 공간을 손상시킨다는 가설을 검증했습니다.

중요성과 주장

본 논문은 모델 중심 공정성 (깨끗한 데이터 가정) 에서 데이터 중심 편향 감사로 초점을 이동시킴으로써 분할 알고리즘 공정성의 중요한 공백을 해소했다고 주장합니다. 다음과 같이 주장합니다:

• 표준 지표는 주석 오류의 방향성을 가리기 때문에 분할의 공정성 평가에는 부적절합니다.
• 레이블 편향은 단순한 무작위 노이즈가 아니라, 네트워크의 표현 공간을 변경하는 체계적이고 그룹 조건부 기하학적 손상입니다.
• 조건부 디코딩을 통해 하위 집단 분리성을 건설적으로 활용하는 것이 "성능의 평준화 (leveling down)"로 이어질 수 있는 불변성 강요보다 더 효과적인 완화 전략입니다.
• 제안된 프레임워크는 깨끗한 정답이 없는 현실 세계 시나리오에서 편향을 신뢰할 수 있게 탐지하고 완화할 수 있게 하여, 안전-중요 응용 분야에서 주석 파이프라인 감사를 위한 원칙적인 접근법을 제공합니다.

저자들은 한계를 인정하며, 관찰된 레이블과 예측된 레이블 간의 불일치가 감소하는 극단적인 (100%) 균일 편향 상황에서는 감사가 취약할 수 있음을 지적합니다. 또한, 완화 전략은 적어도 하나의 하위 집단이 상대적으로 편향 없는 레이블을 유지한다는 가정에 의존합니다. 향후 연구는 균일하지 않은 형태학적 연산 및 기타 밀도 예측 작업으로 프레임워크를 확장하는 것을 제안합니다.