기술 요약: 데이터 프루닝: 중복되고, 문제가 있으며, 상호 의존적인 샘플들

문제 정의

딥러닝 모델의 성능은 학습 데이터의 양과 질 모두에 의존합니다. 데이터 프루닝(Data Pruning)은 성능을 유지하거나 향상시키기 위해 가장 "중요한" 샘플만을 남겨 데이터셋 크기를 줄이는 것을 목표로 하지만, 기존 문헌들은 종종 샘플의 중요성에 대한 명확한 정의가 존재한다고 가정합니다. 본 논문은 특히 중복성(redundancy), 문제적 샘플(레이블 노이즈), 그리고 **샘플 간의 상호 의존성(interdependence)**이 데이터의 순위 결정 및 후속 제거에 어떤 영향을 미치는지에 초점을 맞추어, 다양한 조건 하에서 대중적인 데이터 프루닝 방법들의 효능을 조사합니다. 저자들은 기존 연구들이 특정 스코어링 방식을 제안함에도 불구하고, 상당한 수준의 레이블 노이즈가 존재하거나 전체 프러닝 범위(중간 수준에서 거의 완전한 제거까지)에 걸친 동작에 대한 탐구가 미흡하다는 점을 지적하며 중요한 격차를 식명합니다.

방법론

저자들은 샘플의 순위를 매기고, 그 순위에 따라 샘플의 일부를 제거한 뒤, 모델을 재학습시켜 테스트 성능을 평가하는 표준적인 데이터 프러닝 평가 프레임워크를 사용합니다.

• 데이터셋: 합성 데이터셋(10개 클래스, 등방성 가우시안 분포), MNIST, CIFAR-10의 세 가지 다중 클래스 분류 데이터셋을 사용하여 실험을 수행했습니다.
• 모델: 합성 데이터셋과 MNIST에는 다층 퍼셉트론(MLP)을 사용하였고, CIFAR-10에는 VGG-16을 사용했습니다. 모든 모델은 Adam 옵티마이저, 배치 정규화(Batch Normalization), ReLU 활성화 함수를 활용했습니다.
• 스코어링 방법: 두 가지 확립된 스코어링 방법을 평가했습니다:
  1. 샘플 망각 점수 (Sample Forgetting Score, Toneva et al. [16]): 모델이 학습 과정 중에 특정 샘플을 "망각"하는 횟수(시간 $t-1$에서는 올바르게 분류했으나 시간 $t$에서는 오분류하는 경우)를 계산합니다.
  2. Error L2-Norm (EL2N) 점수 (Paul et al. [6]): 초기 학습 단계 동안의 오차 벡터의 평균 유클리드 노름(Euclidean norm)을 계산합니다.
• 실험 프로토콜:
  • 프러닝 전략: 점수의 오름차순(낮은 점수/덜 중요한 샘플을 먼저 제거) 및 내림차순(높은 점수/중요한 샘플을 먼저 제거)으로 샘플의 순위를 매겼습니다.
  • 노이즈 주입: 특정 실험을 위해 학습 세트의 30%에 대칭적 레이블 노이즈(symmetric label noise)를 적용했습니다.
  • 베이스라인: 무작위 프러닝(Random pruning) 베이스라인과 "오라클(Oracle)" 베이스라인(모든 노이즈 레이블을 먼저 제거하는 방식)을 비교 대상으로 사용했습니다.
  • 지표: 테스트 세트 정확도를 프러닝된 학습 세트의 비율에 대해 도식화한 $\psi$-곡선(psi-curve)을 주요 결과물로 사용합니다.

주요 결과

1. 중복성과 완만한 프러닝

깨끗한 데이터셋에서 저자들은 상당한 중복성이 존재함을 발견했습니다. 합성 데이터셋과 CIFAR-10의 경우 약 40%, MNIST의 경우 약 90%의 데이터를 성능 저하 없이 프러닝할 수 있었습니다.

• 관찰 결과: 완만한 수준의 프러닝 상황에서, 두 스코어링 방법은 무작위 베이스라인에 비해 미미한 이득(CIFAR-10의 경우 약 2%)만을 제공했습니다.
• 극한 프러닝의 이상 현상: 극한의 수준까지 프러닝할 때(가장 "중요한" 샘플만 남길 때), 무작위 베이스라인이 스코어링 방법들보다 일관되게 더 나은 성능을 보였습니다. 저자들은 데이터셋의 크기가 클 때 "중복적"이라고 간주되었던 샘플들이 데이터셋이 작아졌을 때는 일반화에 필수적이라는 가설을 세웠습니다. 스코어링 방법들은 이러한 샘플들을 과도하게 제거한 반면, 무작위 베이스라인은 "쉬운" 샘플과 "어려운" 샘플의 필수적인 혼합체를 유지했습니다.

2. 레이블 노이즈의 영향

30%의 레이블 노이즈가 존재하는 환경에서, 샘플 망각 점수와 EL2N 점수를 적용하는 표준적인 방식은 처참하게 실패했습니다.

• 실패 모드: 두 방법 모두 레이블이 오염된 샘플에 높은 점수를 부여하여(이를 "중요"하여 유지해야 할 샘플로 랭킹) 결과적으로 노이즈가 섞인 샘플은 유지하고 깨끗한 샘플은 제거함으로써 모델 성능의 급격한 하락을 초래했습니다.
• 랭킹 안정성: 깨끗한 샘플들은 노이즈가 도입된 후에도 상대적인 순위 위치를 유지한 반면, 오염된 샘플들은 랭킹 상단(높은 점수)으로 크게 이동했습니다.

3. "역순 랭킹(Reverse Ranking)" 현상

순위를 반대로 적용했을 때(점수의 내림차순으로 프러닝) 나타나는 역설적인 발견이 있었습니다:

• 노이즈 데이터: 순서를 뒤집으면 모델이 높은 점수를 가진 노이즈 샘플을 먼저 제거할 수 있었습니다. 이는 모델 성능이 모든 노이즈의 위치를 알고 있는 오라클 베이스라인과 일치하거나 그에 근접하게 만들었습니다.
• 극한 프러닝: 깨끗한 데이터에서도 순위를 뒤집는 것이 극한의 프러닝 단계에서 성능을 향상시켰으며, 이는 샘플의 "중요성"이 고유한 특성이 아니라 나머지 데이터셋의 존재 여부에 따라 상호 의존적임을 시사합니다.

주요 기여

본 논문은 데이터 프러닝 분야에 다음과 같은 통찰을 제공합니다:

1. 맥락 의존적 중요성: "중요한" 샘플의 정의는 절대적이지 않으며, 데이터셋의 중복성 및 모순되는(노이즈가 있는) 샘플의 존재에 의해 크게 혼동될 수 있습니다.
2. 노이즈 하에서의 표준 지표의 실패: 저자들은 인기 있는 스코어링 방법(샘플 망각 및 EL2N)이 표준적인 오름차순 프러닝 방식으로 적용될 경우 레이블 노이즈를 식별하고 제거하는 데 실패함을 입증했습니다.
3. 샘플 간의 상호 의존성: 본 연구는 특정 샘플이 모델 성능에 기여하는 바가 나머지 데이터셋과 상호 의존적임을 강조합니다. "중복적인" 샘플을 제거하는 것은 데이터셋의 크기가 작아질 때 해로울 수 있습니다.
4. 간단한 해결책: 저자들은 이러한 스코어링 방법의 랭킹 순서를 단순히 뒤집는 것만으로도 노이즈가 있는 환경과 극한의 프러닝 시나리오에서 성능을 획기적으로 개선할 수 있으며, 이를 통해 실패 모드를 성공 모드로 전환할 수 있음을 보여줍니다.

의의 및 한계

저자들은 데이터 프러닝의 성공이 중복성, 문제적 샘플, 그리고 상호 의존성에 의해 뚜렷하게 영향을 받는다고 결론짓습니다. 그들은 데이터 프러닝의 순서를 결정하는 방식이 흔히 가정되는 것보다 문헌상에서 훨씬 불분적으로 명확하지 않다고 주장합니다.

저자가 인정한 한계점:

• 일반화 가능성: 이러한 발견이 ImageNet과 같은 더 큰 데이터셋에서도 유효한지는 미지수입니다.
• 노이즈 유형: 인위적인 대칭적 레이블 노이즈의 사용은 실제 세계의 복잡한 데이터 오염에 비해 지나치게 낙관적인 관점을 제시할 수 있습니다.
• 도메인 범위: 실험이 이미지 분류에 국한되었으므로, 시계열 회귀와 같은 다른 도메인으로의 적용 가능성은 불확실합니다.

본 논문은 향ам 샘플의 상호 의존성을 랭킹 프로세스에 통합하고, 다양한 유형의 문제적 샘플에 강건한 스코어링 방법을 개발하기 위한 후속 연구를 촉구합니다.