기술 요약: 준지도 학습 가짜 라벨을 통한 라벨 효율적 데이터셋 가지치기

문제 제기

딥러닝 모델은 점점 더 방대한 데이터셋에 의존하게 되어 저장 및 학습 비용이 과도하게 증가하고 있습니다. 데이터셋 가지치기는 더 큰 데이터셋에서 정보량이 풍부한 부분집합 (coreset) 을 선택함으로써 이를 해결합니다. 그러나 기존 가지치기 방법의 대부분은 예시 중요도를 추정하기 위해 완전히 라벨이 지정된 데이터를 필요로 하는데, 이는 라벨링 비용이 높고 라벨이 없는 데이터가 풍부한 실제 시나리오에서는 비현실적입니다.

최근의 "라벨 없는 (label-free)" 가지치기 방법들은 사전 학습된 모델의 특징을 활용하여 예시의 난이도를 추정함으로써 이를 우회하려 시도하지만, 중요한 한계를 안고 있습니다: 그 신뢰성은 사전 학습된 특징 분포와 목표 데이터셋 간의 정렬 여부에 달려 있습니다. 목표 데이터가 사전 학습 분포와 현저히 다를 때 (예: 도메인별 데이터셋, 이미지 손상 변형, 또는 긴 꼬리 분포), 특징 기반 난이도 추정은 진정한 의미 구조를 포착하지 못해 coreset 선택이 부실해집니다.

방법론: SemiPrune

저자들은 SemiPrune을 제안합니다. 이는 준지도 학습 (SSL) 을 통해 전체 데이터셋에 대해 가짜 라벨을 생성하기 위해 소수의 무작위 라벨이 지정된 부분집합을 활용하는 라벨 효율적 데이터셋 가지치기 프레임워크입니다. 이 방법은 두 단계 파이프라인으로 작동합니다:

1. SSL 기반 가짜 라벨 생성:

   • 데이터의 소규모 부분집합 (예: 10%) 이 무작위로 선택되어 라벨이 지정됩니다.
   • 모델은 이 라벨이 지정된 부분집합과 나머지 라벨이 없는 데이터를 결합하여 SSL 목적 함수 (구체적으로 FixMatch) 를 사용하여 학습됩니다.
   • 학습된 모델은 라벨이 없는 예시들에 가짜 라벨을 할당합니다. 이러한 가짜 라벨은 고정된 사전 학습 인코더에 의존하는 방법과 달리 모델이 직접 목표 분포에서 학습되기 때문에 목표 클래스 공간에 고정됩니다.
   • 초기 라벨이 지정된 예시들 (실제 라벨 포함) 과 가짜 라벨이 지정된 예시들은 통합된 학습 풀을 형성합니다.

2. 가짜 라벨 데이터에 대한 지도 학습 가지치기:

   • 지도 학습 모델이 가짜 라벨이 지정된 학습 풀에서 처음부터 학습됩니다.
   • 이 모델의 학습 역학을 기반으로 예시별 중요도 점수가 계산됩니다.
   • 저자들은 두 가지 기존 지도 학습 가지치기 기준을 가짜 라벨과 함께 작동하도록 적응시켰습니다:
     • Semi-AUM: 난이도 분포의 중간에서 예시를 선택하기 위해 마진 아래 면적 (AUM) 점수와 양단 가지치기 전략을 사용합니다.
     • Semi-DUAL: 예측 난이도와 불확실성을 결합한 DUAL 점수를 가지치기 비율에 따라 샘플링 분포를 조정하기 위해 베타 샘플링과 함께 사용합니다.

주요 기여 및 발견

1. 딥 클러스터링 기반 가짜 라벨링의 한계

이 논문은 고정된 사전 학습 특징 (예: DINO) 의 딥 클러스터링에 의존하는 ELFS 와 같은 방법들이 세 가지 특정 시나리오에서 취약하다는 점을 규명했습니다:

• 도메인 불일치: 사전 학습된 특징이 의미 있는 클래스 대신 피상적인 시각적 유사성에 따라 예시를 그룹화할 수 있습니다 (예: Food-101). 이로 인해 노이즈가 많은 가짜 라벨이 생성됩니다.
• 이미지 손상: 손상은 특징 공간을 왜곡시켜 사전 학습된 표현의 분리 가능성을 낮추고 클러스터링 경계를 저하시킵니다.
• 긴 꼬리 분포: 클래스 불균형은 클러스터링 알고리즘이 다수 클래스를 분할하고 소수 클래스를 병합하게 만들어 실제 클래스 비율을 유지하지 못하게 합니다.

반면, 목표 데이터에서 직접 학습된 SSL 기반 가짜 라벨링은 이러한 시나리오에서 일관되게 더 높은 품질의 가짜 라벨을 생성합니다. 이는 딥 클러스터링에 비해 더 높은 정확도, NMI, ARI 지표로 입증되었습니다.

2. 실험적 성능

저자들은 도메인별 (Food-101, SUN397), 손상된 (CIFAR-100-C, Tiny-ImageNet-C), 긴 꼬리 (Caltech-101, CIFAR-100-LT), 그리고 표준 벤치마크 (CIFAR-10/100, ImageNet-1K) 를 포함한 다양한 데이터셋에서 SemiPrune 을 평가했습니다.

• 어려운 설정: 도메인별, 손상된, 그리고 긴 꼬리 설정에서 SemiPrune 은 라벨을 전혀 사용하지 않거나 라벨이 지정된 데이터의 소수만 사용하는 방법들 사이에서 최첨단 성능을 달성합니다. 이는 라벨 없는 기준 (Prototypicality, ZCore, ELFS) 과 소수 라벨 기준 (Score Extrapolation) 을 크게 능가합니다.
• 표준 벤치마크: 사전 학습된 특징이 잘 정렬된 표준 벤치마크에서 SemiPrune 은 경쟁력을 유지하며, 종종 완전한 지도 학습 가지치기 기준 및 라벨 없는 방법의 성능과 일치하거나 약간 초과합니다.
• 라벨 효율성: 이 방법은 매우 작은 라벨 예산 (예: 1%~5%) 만으로도 강력한 라벨 없는 기준을 능가할 수 있음을 보여줍니다. 이는 최소한의 목표 도메인 라벨링이 고정된 사전 학습 표현이나 처음부터 학습된 자기지도 학습 인코더에 전적으로 의존하는 것보다 더 효과적임을 시사합니다.

3. 제거 실험 (Ablation Studies)

• 라벨 예산: 성능은 초기 라벨 예산에 따라 증가하지만, 1% 수준에서도 SemiPrune 은 자기 학습 인코더를 사용하는 ELFS 보다 우수합니다.
• 점수 지표: SSL 기반 가짜 라벨의 이점은 다양한 점수 지표 (AUM, DUAL, EL2N, Forgetting) 에서 지속되며, 특히 도메인 불일치 설정에서 두드러집니다.

중요성 및 주장

이 논문은 SemiPrune이 완전 라벨링이 필요한 완전 지도 학습 가지치기와 잠재적으로 정렬되지 않은 사전 학습 특징에 의존하는 라벨 없는 가지치기 사이의 간극을 효과적으로 메운다고 주장합니다. 준지도 학습을 활용하여 목표 데이터셋에서 직접 가짜 라벨을 생성함으로써, 이 방법은 다음과 같은 이점을 제공합니다:

• 고정된 사전 학습 특징보다 목표 분포를 더 정확하게 포착합니다.
• 특히 비이상적인 데이터 조건 (도메인 이동, 손상, 불균형) 에서 난이도 추정과 coreset 선택을 위한 더 신뢰할 수 있는 신호를 제공합니다.
• 완전 라벨링에 대한 실용적이고 비용 효율적인 대안을 제공하며, 특정 어려운 regimes 에서 완전 지도 학습 방법과 동등하거나 더 나은 성능을 달성하기 위해 라벨이 지정된 데이터의 소수만 필요합니다.

저자들은 이 프레임워크가 FixMatch 에 국한되지 않으며 신뢰할 수 있는 가짜 라벨을 제공하는 모든 SSL 알고리즘을 통합할 수 있다고 언급합니다. 또한 향후 연구는 초기 라벨링 예산을 위해 더 정보량이 풍부한 샘플을 선택하기 위해 능동 학습을 통합하는 것을 탐구할 수 있다고 제안합니다.