A Data-Centric Framework for Detecting and Correcting Corrupted Labels

기술 요약: Relabeler – 오염된 레이블을 탐지하고 수정하기 위한 데이터 중심 프레임워크

문제 정의
머신러닝(ML) 및 딥러닝(DL) 모델의 성능은 근본적으로 학습 데이터의 품질에 의존한다. 실제 환경에서 대규모 데이터셋은 크라우드 소싱이나 자동화된 어노테이션 과정에서의 오류로 인해 잘못된 레이블이 할당되는 "레이블 노이즈(label noise)"를 포함하는 경우가 많다. 보고된 실제 데이터셋의 노이즈 비율은 8%에서 38.5%에 달한다. 이러한 노이즈는 모델의 정확도와 신뢰성을 크게 저하시킨다. 기존의 접근 방식들은 일반적으로 모델 중심(알고리즘의 강건성 개선)과 데이터 중심(데이터셋 품질 개선)의 두 가지 범주로 나뉘지만, 대부분의 데이터 중심 방법론은 레이블 탐지와 레이블 수정을 별개의 작업으로 취급한다. 또한, 많은 기존 솔루션들은 노이즈가 있는 인스턴스를 식별하여 폐기하거나 가중치를 재조정하는 데 주로 집중할 뿐, 올바른 레이블을 명시적으로 추론하고 복구하는 데에는 미치지 못한다. 이러한 분리는 통합된 프레임워크 내에서 입력 특징, 노이즈 레이블, 그리고 깨끗한 레이블 사이의 내재적 관계를 완전히 활용하는 능력을 제한한다.

방법론: Relabeler 프레임워크
저자들은 두 단계의 통합된 과정을 통해 오염된 레이블을 탐지하고 수정하도록 설계된 엔드 투 엔드 데이터 중심 프레임워크인 Relabeler를 제안한다.

1. 오염된 레이블 탐지 (Corrupted Label Detection)
이 단계는 로컬(local) 및 글로벌(global) 인스턴스 관계를 모두 활용하여 노이즈가 있는 데이터셋 $\tilde{D}$를 깨끗한 서브셋($D_{clean}$)과 의심스러운 서브셋($D_{suspicious}$)으로 분할한다.

• 로컬 검증 (Local Verification): 프레임워크는 k-최근접 이웃(k-NN) 알고리즘을 사용하여 특징 공간 내 인스턴스의 즉각적인 이웃들과 해당 인스턴스 레이블 간의 일관성을 조사한다. 이웃의 대다수와 레이블이 일치하는 인스턴스는 잠정적으로 '깨끗한 것'으로 분류된다.
• 글로벌 검증 (Global Verification): 로컬 분석의 한계(예: 클래스 경계 근처의 문제)를 해결하기 위해, Relabeler는 현재 식별된 깨끗한 인스턴스들을 바탕으로 분류 모델($M_{clean}$)을 반복적으로 학습시킨다. 이 모델은 더 넓은 글로벌 패턴을 포착한다. 의심스러운 집합에 있는 인스턴스들은 재평가되며, 만약 원래의 레이블이 $M_{clean}$의 예측과 일치하면 $D_{clean}$으로 이동된다. 이 반복 과정은 더 이상 식별할 수 있는 깨끗한 인스턴스가 없을 때까지 계속된다.

2. 오염된 레이블 수정 (Corrupted Label Correction)
$D_{suspicious}$에 남아 있는 인스턴스들에 대해, Relabeler는 사후 확률 $P(y | x, \tilde{y})$를 최대화함으로써 가장 확률이 높은 깨끗한 레이블($y^*$)을 추정한다. 여기서 $x$는 입력 특징이고 $\tilde{y}$는 관찰된 노이즈 레이블이다. 베이지안 추론을 사용하여, 이는 두 가지 상호 보완적인 요소를 결합하도록 재구성된다:

• 깨끗한 레이블 예측 ($P(y|x)$): $D_{clean}$으로 학습된 모델 $M_{clean}$은 입력 특징을 기반으로 레이블의 가능성을 추정한다.
• 노이즈 레이블 추정 ($P(\tilde{y}|x, y)$): 모델 $M_{noisy}$는 입력과 후보 깨끗한 레이블이 주어졌을 때 특정 노이즈 레이블이 관찰될 확률을 추정한다.
  • $M_{noisy}$ 학습: 정답(ground-truth) 전이 데이터가 없기 때문에, Relabeler는 $D_{suspicious}$에서 "노이즈 시뮬레이터"($M_{simulator}$)를 학습시켜 데이터셋 특유의 노이즈 패턴을 학습한다. 이 시뮬레이터는 $D_{clean}$의 인스턴스들에 대해 합성된 노이즈 레이블을 생성하며, 이를 통해 $M_{noisy}$를 학습시키는 데 사용될 전이 데이터셋을 만든다.
• 추론 (Inference): 최종적으로 복구된 레이블은 $M_{clean}$과 $M_{noisy}$의 예측을 통합하여 결정되며, 이를 통해 수정 과정이 의미론적 특징 정렬과 레이블 오염의 통계적 패턴을 모두 고려하도록 보장한다.

주요 기여

• 통합 프레임워크: 탐지와 수정을 별개로 취급하던 기존의 격차를 해소하며, 탐지와 수정을 공동으로 수행하는 엔드 투 엔드 시스템인 Relabeler를 도입하였다.
• 베이지안 통합: 단순히 특징 기반 예측이나 휴리스틱 투표에 의존하는 대신, 깨끗한 레이블 분포와 노이즈 전이 확률을 모두 모델링하는 새로운 레이블 수정 방식을 제시하였다.
• 반복적 정교화: 깨끗한 데이터를 정교화하여 글로벌 검증 모델을 학습시키는 탐지 메커니즘을 통해, 의심스러운 인스턴스 식별의 정밀도를 높였다.

실험 결과
저자들은 이미지, 텍스트, 소스 코드 분류를 아우르는 다섯 가지 다양한 데이터셋(CIFAR-10, CIFAR-100, Agnews, Clickbait, CodeXGLUE)에서 Relabeler를 평가하였다. 프레임워크는 최첨단 베이스라인인 Docta(투표 및 랭킹 변형 모델 포함)와 비교되었다.

• 레이블 수정 정밀도 (Label Correction Precision): Relabeler는 다양한 데이터셋과 노이즈율(20% 및 40%)에 걸쳐 베이스라인보다 일관되게 우수한 성능을 보이며, 레이블 수정 정밀도에서 최대 58%의 향상을 달起来했다. 예를 들어, 40% 노이즈가 있는 Agnews 데이터셋에서 Relabeler는 89.47%의 정밀도를 달성하여 Docta-R의 61.43%를 앞질렀다.
• 오류율 감소 (Error Rate Reduction): 이 프레임워크는 복구된 데이터셋의 잔류 오류율을 크게 줄였다. 40% 노이즈가 있는 CIFAR-10에서 Relabeler는 오류율을 7.48%로 낮춘 반면, 베이스라인들은 23% 이상의 오류율을 유지했다.
• 강건성 (Robustness): Relabeler는 대칭(symmetric), 비대칭(asymmetric), 인스턴스 의존적(instance-dependent) 노이즈를 포함한 다양한 노이즈 유형에 대해 탁월한 성능을 입증했다. 베이스라인들이 고전했던 복잡하고 혼합된 노이즈 시나리오에서도 높은 정밀도와 낮은 오류율을 유지했다.
• 다운스트림 유용성 (Downstream Utility): Relabeler로 복구된 데이터셋으로 다운스트림 모델(MLP 분류기)을 학습시킨 결과, 가장 높은 정확도와 가중 F1 점수를 기록했다. Agnews 데이터셋의 경우, Relabeler는 다운스트림 정확도를 **75.50%**까지 높였는데, 이는 원본 노이즈 데이터셋 대비 약 6%의 상대적 이득이며, 원본 데이터 및 Docta로 복구된 데이터셋보다 뛰어난 수치이다.
• 구성 요소 분석 (Component Analysis): 절제 연구(Ablation studies)를 통해 노이즈 레이블 추정기($M_{noisy}$)를 깨끗한 레이블 예측기($M_{clean}$)와 통합하는 것이 핵심적임을 확인하였으며, 이는 $M_{clean}$만 사용할 때보다 정밀도 측면에서 최대 50%의 상대적 향상을 가져왔다.

의의 및 주장
본 논문은 Relabeler가 단순한 탐지를 넘어 원칙에 기반한 명시적 레이블 복구로 나아감으로써 데이터 중심 학습의 중요한 공백을 메운다고 주장한다. 레이블 수정을 특징-레이블 관계와 노이즈 전이 패턴을 모두 모델링하는 베이지안 추론 문제로 공식화함으로써, Relableer는 모든 다운스트림 학습자에게 도움이 되는 재사용 가능한 고품질 데이터셋을 제공한다. 저자들은 이 접근 방식이 데이터를 폐기하는 것이 불가능하고 정확한 수정을 위해 특정 노이즈 분포를 이해하는 것이 필수적인 실제 응용 분야에서 특히 실용적이라고 단언한다. 결과에 따르면 Relabeler는 데이터셋의 품질을 개선할 뿐만 아니라, 기존의 모델 중심 노이즈 강건 학습 방법론을 보완하는 강력한 도구 역할을 한다.