기술 요약: 제어된 변형을 통한 인스턴스 의존적 레이블 노이즈(CILN) 벤치마킹

문제 정의

현대 머신러닝 시스템은 대규모 레이블링된 데이터셋에 의존하지만, 주석 오류, 모호한 사례 또는 약한 감독으로 인해 레이블이 불완전한 경우가 빈번합니다. 초기 연구는 대칭적 및 클래스 조건부 노이즈(CCN)에 집중했으나, 실제 환경에서는 **인스턴스 의존적 레이블 노이즈(IDN)**가 나타나는 경우가 많습니다. 즉, 레이블링 오류의 확률이 실제 클래스와 입력 인스턴스의 특정 특성 모두에 따라 달라지는 현상입니다.

기존의 합성 IDN 벤치마크는 일반적으로 두 가지 메커즘을 통해 노이즈를 생성합니다:

1. 특징 공간 변환(Feature-space transformations): 특정 예시에 대한 오염 확률을 높이기 위해 잠재적 변환을 적용합니다.
2. 의사 레이블링(Pseudo-labeling): 다양한 분류기를 합성 주석가로 사용하여, 분류기 간의 불일치가 불확실성을 유발하도록 합니다.

한계점: 두 접근 방식 모두에서 모호함의 근원은 **암시적(implicit)**입니다. 특징 공간 방법의 경우, 변환 과정이 해석하기 어려운 경우가 많습니다. 의사 레이블링의 경우, 노이즈가 주석가의 속성(예: 학습 절차)을 수정함으로써 제어되므로, 특정 모호함 메커니즘(예: 블러, 가림, 데이터 누락)을 격리하거나 레이블 오류를 특정 입력 변화와 추적하기 어렵습니다. 결과적으로 기존 벤치마크는 특정 데이터 저하 메커니즘이 분류기의 불일치 및 다운스트림 학습 행동에 어떻게 영향을 미치는지 체계적으로 연구하는 데 한계가 있습니다.

방법론: CILN 프레임워크

저자들은 **제어된 입력 변형(controlled input corruptions)**을 통해 IDN을 생성하는 벤치마크 생성 프레임워크인 **CILN(Corruption-Induced Label Noise)**을 소개합니다. 주석 과정을 변경하는 기존 방식과 달리, CILN은 의미적 내용은 유지하면서 입력 데이터 자체를 변경합니다.

핵심 구성 요소

1. 제어된 변형 (Controlled Corruptions): 프레임워크는 깨끗한 인스턴스에 다양한 심각도 수준($\ell$)으로 특정 변형 유형($c$)을 적용합니다.
   • 이미지 데이터: 노이즈(가우시안, 샷, 임펄스), 블러(디포커스, 글래스, 모션), 날씨(안개, 서리, 눈), 기하학적 변환, 디지털 아티팩트(밝기, 대비, JPEG)를 포함하여 CIFAR-C 및 MNIST-C의 변형 패밀리를 활용합니다.
   • 표 형식 데이터 (Tabular Data): Jenga 벤치마크에서 영감을 얻은 결측 데이터 메커니즘(MCAR, MAR, MNAR) 및 값 변형(노이즈 주입, 스케일링) 연산자를 활용합니다.
2. 투표자 풀 (Voter Pool): 다양한 모델($M$개, 예: ResNet, ViT, XGBoost)이 변형된 인스턴스를 평가합니다.
3. 레이블 생성:
   • 각 투표자는 예측 분포 $p^{(m)}(y|x)$를 생성합니다.
   • 벤치마크는 집계된 레이블 분포 $\bar{p}_i$(투표자 예측의 산술 평균)와 개별 투표자 분포를 공개합니다.
   • 하드 레이블 실험의 경우, PL-IDN 프로토콜을 모방하여 단일 투표자를 무작위로 샘플링하여 학습 레이블로 제공합니다.
4. 클린-스타트 설정 (Clean-Start Configuration): 선택적 모드로, 변형 전 모든 투로가 정답을 일치하게 분류한 인스턴스만 유지하여 데이터 자체의 모호함과 변형으로 인한 불확실성을 분리합니다.

벤치마크 구축

프레임워크는 CIFAR-10, MNIST, Adult의 세 가지 데이터셋에 적용되었습니다.

• CIFAR-10: 45개 설정 (15개 변형 유형 $\times$ 3개 심각도 수준).
• MNIST: 30개 공개 설정 (11개 연속 심각도 유형 + 4개 구조적 유형).
• Adult: 15개 설정 (5개 변형 유형 $\times$ 3개 심각도 수준).
• 총합: 이미지 및 표 형식 도메인을 아우르는 90개의 벤치마크 설정.

주요 기여

1. 메커니즘 제어형 IDN 생성: CILN은 소스(변형 유형)와 모호함의 심각도를 명시적이고 제어 가능하게 제공하여, 입력 저하와 레이블 불확실성 사이의 직접적인 연결 고리를 구축합니다.
2. 진정한 인스턴스 의존성: 저자들은 CILN이 변형 유형과 심각도를 통해 인스턴스 의존성을 체계적으로 조절할 수 있는 진정한 IDN을 생성함을 입증했습니다.
3. 인간 유사 불확실성: 적절한 설정 하에서, CILN이 생성한 레이벨 분포는 기존의 합성 IDN 벤치마크(특히 PL-IDN)보다 인간의 주석 불확실성(CIFAR-10-H 기준)에 통계적으로 더 가깝습니다.
4. 실패 모드 노출: 이 벤치마크는 최첨단 노이즈 레이블 학습 방법들(Co-Teaching, DivideMix)이 레이터 결함 모델(rater-fallibility models)에서 관찰되는 것과는 다른, 높은 심각도의 변형 하에서의 실패 모드를 보인다는 점을 밝혀냈습니다.

실험 결과

1. 인스턴스 의존성의 강도

저자들은 인스턴스 의존성을 측정하기 위해 **노이즈 전이 이질성($n_{th}$)**을 도입했습니다.

• 결과: 모든 CILN 설정은 양수의 $n_{th}$ 값을 생성하며, 이는 진정한 IDN임을 확인시켜 줍니다.
• 제어: $n_{th}$의 크기는 변형 패밀리와 심각도 수준에 따라 크게 달라집니다. 많은 패밀리에서 $n_{th}$는 심각도가 높아짐에 따라 증가하다가, 예측 패턴이 수렴함에 따라 결국 포화되거나 감소합니다.
• 비교: 높은 노이즈율에서 대표적인 CILN 설정은 PL-IDN의 인스턴스 의존성과 일치하거나 이를 상회합니다.

2. 인간 주석 불확실성과의 유사성

CIFAR-10-H에 대한 전 변동(Total Variation, TV) 거리를 사용하여 분석했습니다.

• 결과: 모든 노이즈 수준에서 CILN은 PL-IDN보다 인간의 불확실성에 일관되게 더 가깝습니다.
• 변형 특이성: 완만한 변형(특히 frost, snow, fog, brightness, JPEG와 같은 Weather 및 Digital 패밀리)은 인간의 불일치와 가장 유사한 레이블 분포를 생성합니다. 심한 변형은 인간의 패턴에서 더 멀어지는 경향이 있지만, 여전히 PL-IDN보다는 우수합니다.
• PCA 분석: PCA 공간에서 CIFAR-10-H와 가장 가까운 10개의 CILN 설정은 모두 저심각도 Weather 또는 Digital 변형이었으며, PL-IDN의 릴리스 중 상위 10개에 포함된 것은 없었습니다.

3. 다운스트림 학습 행동

저자들은 CIFAR-10에 대해 ERM, Co-Teaching, DivideMix을 평가했습니다.

• 저/중간 노이즈: CILN과 PL-IDN은 유사한 성능 트렌드를 보입니다.
• 고노이즈 발산: 높은 노이즈율에서, Co-Teaching과 DivideMix은 특정 CILN 설정(예: 고심각도 contrast, pixelate, glass-blur)에서 상당한 성능 저하를 겪는 반면, PL-IDN-H에서는 상대적으로 견고함을 유지합니다.
• 실패 메커니즘:
  • 끌개 클래스(Attractor Classes): 특정 변형은 많은 실제 클래스의 오답 예시들이 하나의 잘못된 클래스로 끌려가는 "끌개 클래스"(예: frog, cat, truck)를 생성합니다.
  • 손실 분포 붕괴(Loss Distribution Collapse): 이러한 설정에서는 잘못된 레이블이 변형된 입력과 일관성을 갖게 됩니다. 결과적으로, 노이즈가 섞인 예시가 깨끗한 예시보다 반드시 더 높은 훈련 손실을 생성하지는 않습니다. 이는 Co-Teaching과 DivideMix이 샘플 선택을 위해 의존하는 작은 손실 가정(small-loss assumption)(깨끗한 예시가 노이즈 예시보다 낮은 손실을 가진다는 가정)을 위반합니다.
  • 클린-스타트 검증: 이러한 실패 모드는 Clean-Start 변형(CILN-C)에서도 지속되며, 이는 문제가 데이터 자체의 모호함이 아니라 변형 구조 자체에서 기인함을 확인시켜 줍니다.

의의 및 주장

본 논문은 노이즈율뿐만 아니라 노이즈 구조가 벤치마크의 난이도와 알고리즘 행동에 결정적인 요소라고 주장합니다.

• 상호 보완성: CILN은 노이즈가 어떻게 생성되는가(주석가 품질)에서 왜 발생하는가(데이터 저하)로 초점을 전환함으로써 기존의 레이터 결함 벤치마크(PL-IDN 등)를 보완합니다.
• 해석 가능성: 모호함 메커니즘을 명시적으로 만듦으로써, CILN은 연구자들이 특정 유형의 데이터 저하(예: 블러 vs 데이터 누락)가 학습 역학에 어떤 영향을 미치는지 연구할 수 있게 합니다.
• 현실성: 제어된 변형이 저~중간 심각도 영역에서 현재의 합성 방식보다 인간의 불확실성을 더 잘 근사하는 레이블 분포를 생성할 수 있음을 보여줍니다.
• 알고리즘적 통찰: 결과는 현재의 노이즈 강건 방법론들이 특정 벤치마크 구조(노이즈가 입력과 독립적인 구조)에 과적합되어 있을 수 있으며, 노이즈가 변형을 통해 입력과 구조적으로 결합될 때 실패할 수 있음을 시사합니다.

저자들은 CILN이 다양한 원천의 인스턴스 난이도 하에서 노이즈 레이블 학습을 평가하기 위한 실용적이고, 해석 가능하며, 메커니즘 제어가 가능한 프레임워크를 제공한다고 결론지으며, 커뮤니티가 벤치마크 설계 시 노이즈율과 함께 노이즈 구조를 고려할 것을 촉구합니다.