Leveraging Dissimilarity Invariance as a Robust Anchor for Learning with Noisy Labels

기술 요약: 노이즈가 있는 레이블 학습을 위한 강건한 앵커로서의 이질성 불변성 활용

문제 정의
딥러닝 모델은 시각적 인식 분야에서 높은 성능을 달ei지만, 레이블이 노이즈에 의해 오염될 경우 상당한 성능 저하를 겪는다. 기존의 접근 방식들은 노이즈 레이블이 데이터의 의미론적 구조, 특히 학습된 샘플 간의 유사성을 왜곡하기 때문에 실패하는 경우가 많다. 저자들은 의미론적 유사성(양의 쌍, positive pairs)이 레이블 노이즈에 본질적으로 취약하다는 점을 관찰했다. 즉, 잘못된 레이블은 쌍별 유사성을 심하게 왜곡하여, 잘못된 친화도 정렬(affinity alignment)을 초래하고 모델이 유의미한 관계를 학습하는 것을 방해한다. 반대로, 본 논문은 서로 관련이 없는 샘플 간의 의미론적 이질성(음의 쌍, negative pairs)은 노이즈 비율이 증가하더라도 놀라울 정도로 안정적으로 유지된다는 미개척된 현상을 식별하였다.

방법론: NegScale
이질성의 취약성을 해결하기 위해, 저자들은 유사성(similarity) 중심의 학습에서 강건한 이질성(dissimilarity) 중심으로 학습의 초점을 전환하는 플러그 앤 플레이(plug-and-play) 프레임워크인 NegScale을 제안한다. 이 프레임워크는 "이질성 불변성(Dissimilarity Invariance)"을 강건한 앵커로 활용하여 작동한다. NegScale은 두 가지 주요 모듈로 구성된다:

1. 구조적 음의 직교성 페널티 (Structured Negative Orthogonality Penalty, SNOP):
   이 모듈은 각 미니배치 내에서 음의 쌍(의미론적으로 관련 없는 샘플) 사이의 직교성을 강제한다. 이는 서로 다른 샘플들이 별개의 서브스페이스(subspace)를 점유해야 한다는 원리에 기반한다. SNOP는 두 가지 구성 요소로 이루어진다:

   • 전역 직교성 손실 ($L_{global}$): 음의 쌍들 사이의 정규화된 차이 벡터 집합이 항등 행렬에 근사하도록 유도하여 전역적인 반발력을 보장한다.
   • 지역 직교성 손실 ($L_{local}$): 신뢰도 가중치가 적용된 페널티로, 음의 쌍 사이의 내적 정렬을 직접적으로 처벌한다. 이 손실은 신뢰도가 낮은(잠재적으로 노이즈인) 샘플을 포함하는 쌍에 더 높은 페널티를 부여함으로써, 필요성이 가장 높은 곳에 더 강력한 이질성 제약을 부과한다.

2. 이질성 교정 유사성 조정 (Dissimilarity-Calibrated Similarity Adjustment, DCSA):
   이 모듈은 잘못 레이블링된 양의 쌍(positive pairs)으로 인해 발생하는 가짜 유사성을 억제한다. 이는 안정적인 이질성 패턴을 앵커로 사용하여 양의 쌍의 유사성에 대해 소프트 상한선(soft upper bounds)을 부과한다.

   • 각 양의 쌍에 대해, 해당 쌍과 음의 샘플 간의 근접도를 기반으로 적응형 교정 계수($\delta_{ij}$)가 계산된다.
   • 만약 양의 쌍이 관련 없는 샘플들과 얽혀 있다면(높은 $\delta_{ij}$), 해당 쌍의 유사성은 제한된다.
   • 손실 함수는 양의 쌍의 유사성이 소프트 상한선($1 - \delta_{ij}$)을 초과할 경우 이를 처벌하여, 모델이 잘못된 연관성을 내면화하는 것을 방지한다.

전체 목적 함수는 원래의 손실($L_{org}$)에 SNOP 및 DCSA 손실을 결합하며, 계수 $\lambda$와 $\mu$에 의해 균형이 조절된다. 이 방법은 외부 데이터나 사전 학습을 필요로 하지 않으며, 기존 파이프라인에 원활하게 통합될 수 있다.

주요 기여

• 이질성 불변성: 본 논문은 레이블 노이즈 하에서 음의 쌍 간의 의미론적 이질성이 유사성의 변동성과 대조적으로 안정적으로 유지되는 현상을 공식적으로 식별하고 분석하였다.
• NegScale 프레임워크: 저자들은 이 불변성을 활용하여 강건한 이질성을 모델링하고 가짜 유사성을 억제하는 새로운 프레임워크를 제안한다.
• 이론적 분석: 본 논문은 대칭 노이즈(symmetric noise) 하에서 음의 쌍에 대한 기대 변동이 양의 쌍보다 작다는 것을 입증하는 이론적 증명을 제공한다. 또한, NegScale이 노이즈 레이블에 의한 특징 섭동(feature perturbations)과 마진 침식(margin erosion)을 완화함을 보여주는 경계값(bounds)을 확립한다.
• 실증적 검증: 광범가한 실험을 통해 NegScale이 합성 노이즈 벤치마크(CIFAR-10/100)와 실제 노이즈 데이터셋(CIFAR-10N, CIFAR-100N, Animal-10N, WebVision) 모두에서 최신 기술(SOTA) 베이스라인들을 일관되게 능가함을 보여준다.

실험 결과

• 합성 노이즈: 대칭, 쌍(pair), 인스턴스 의존적 노이즈가 있는 CIFAR-10 및 CIFAR-100에서 NegScale(RoLR 베이스라인과 결 조합)은 새로운 SOTA 결과를 달성했다. 특히, 80% 노이즈가 있는 CIFAR-100에서 RankMatch 대비 3.6%의 정확도 향상을 보였다.
• 실제 세계 노이즈: 이 방법은 실제 노이즈 데이터셋에서 우수한 강건성을 입증하였으며, CIFAR-10N, Animal-10N, WebVision에서 경쟁 방식들을 능가했다. mini-WebVision 및 ILSVRC12에서 top-1 정확도 기준 UNICON 하이브리드 방식보다 3% 이상 높은 성능을 기록했다.
• 플러그 앤 플레이 능력: NegScale을 DivideMix, RankMatch, ANNE와 같은 다른 방법들과 통합했을 때 성능이 일관되게 향상되었으며, 이는 본 방법의 폭넓은 적용 가능성을 확인시켜 준다.
• 어블레이션 연구(Ablation Studies): SNOP 또는 DCSA 중 하나라도 제거하면 특히 높은 노이즈 비율에서 성능이 크게 하락하여, 두 구성 요소의 필요성을 입증하였다. 민감도 분석을 통해 균형 잡힌 정규화 가중치와 음의 쌍 선택을 위한 정교한 임계값 설정이 최적의 성능을 위해 매우 중요하다는 것을 확인했다.

의의
본 논문은 취약한 유사성에서 강건한 이질성으로 초점을 전환함으로써, 모델이 노이즈가 있는 감독 하에서도 성능을 개선하기 위해 안정적인 패턴을 신뢰성 있게 학습하고 활용할 수 있다고 주장한다. 본 연구의 의의는 "음의(negative)" 관계를 안정적인 앵커로 사용하는 것에 대한 이론적 및 실무적 토대를 제공함으로써, 복잡한 샘플 선택이나 외부 데이터 없이도 레이블 노이즈로 인한 구조적 왜곡을 교정할 수 있는 단순하면서도 효과적인 메커니즘을 제시했다는 점에 있다.