🤖 machine learning

RCAP: Robust, Class-Aware, Probabilistic Dynamic Dataset Pruning

이 논문은 불균형한 데이터셋에서 단 10%의 데이터만으로도 전체 데이터 학습 성능을 능가하며 최악의 그룹 정확도(worst-group accuracy)와 학습 효율성을 크게 향상시키기 위해, 클래스별로 손실값이 높은 샘플을 적응적으로 선택하는 강건하고 클래스 인지적인 확률적 동적 데이터셋 프루닝 알고리즘인 RCAP을 소개한다.

원저자: Atif Hassan, Swanand Khare, Jiaul H. Paik

게시일 2026-06-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Atif Hassan, Swanand Khare, Jiaul H. Paik

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생에게 기말고사 대비 과외를 하고 있다고 상상해 보세요. 당신에게는 수백만 권의 책이 담긴 도서관(전체 데이터셋)이 있습니다. 전통적인 방식이라면, 최상의 결과를 얻기 위해 학생이 그 모든 책을 다 읽게 만들어야 합니다. 하지만 이는 시간이 너무 오래 걸리고, 전기료와 시간 비용이 엄청나며, 종종 학생을 번아웃에 빠지게 만듭니다.

**데이터 프루닝(Data pruning)**은 "가장 중요한 책들만 골라내고 나머지는 버리자"는 아이디어입니다. 목표는 학생을 훨씬 더 빠르고 저렴하게 가르치는 것입니다.

하지만 함정이 있습니다. 만약 단순히 "가장 어려운" 책들만 고른다면, 학생이 가장 어려워하는 희귀하고 까축한 주제들을 의도치 않게 놓칠 수 있습니다. 학생이 그 희귀한 주제들에서 낙제한다면, 쉬운 문제들을 아무리 잘 풀었더라도 결국 시험 전체를 망치게 됩니다. 이것이 연구자들이 말하는 강건성(robustness)의 결여입니다.

여기에 RCAP(Robust, Class-Aware, Probabilistic Dynamic Dataset Pruning)이 등장합니다. RCAP은 단순히 한 번 공부할 목록을 정해놓고 고수하는 똑똑한 튜터가 아니라, 학생의 성취도에 따라 매일(매 에포크마다) 읽기 목록을 바꾸는 매우 영리하고 적응적인 튜터라고 생각하면 됩니다.

RCAP이 어떻게 작동하는지 단계별로 쉽게 설명해 드리겠습니다.

1. "클래스 인식(Class-Aware)" 전략 (균형 잡힌 식단)

당신의 학생이 100가지의 서로 다른 과목을 공부하고 있다고 가정해 봅시다. 어떤 과목은 쉽고(예: "사과"), 어떤 과목은 매우 어렵습니다(예: "양자 역학").

문제점: 만약 전체 더미에서 단순히 "가장 어려운" 문제들만 뽑는다면, "사과"에 관한 문제가 너무 많다는 이유로 사과 문제만 100개를 뽑고, "양자 역학" 문제는 하나도 뽑지 못할 수도 있습니다. 그러면 학생은 사과 문제는 아주 잘 풀겠지만, 양자 역학 문제를 한 번도 보지 못했기 때문에 결국 시험을 망치게 됩니다.
RCAP의 해결책: RCAP은 각 과목별로 "점수(손실/loss)"를 따로 확인합니다. 만약 학생이 "양자 역학"을 어려워하고 있다면, RCAP은 이렇게 말합니다. "좋아, 오늘 학습 세션에서는 양자 역학을 위한 질문을 반드시 특정 비율만큼 포함하도록 하자." RRCAP은 어떤 주제도 뒤처지지 않도록 모든 개별 주제에 대해 정확히 몇 개의 질문을 유지해야 할지 계산합니다.

2. "동적(Dynamic)" 전략 (일일 스케줄)

대부분의 다른 방법들은 처음에 공부할 목록을 한 번 정하면 절대 바꾸지 않습니다.

RCAP의 해결책: RCAP은 동적입니다. 매일 학생의 숙제를 체크합니다.
- 만약 학생이 어제 "양자 역학"에서 점수가 낮았다면, RCAP은 오늘을 위해 양자 역학 문제의 수를 늘립니다.
- 만약 학생이 "사과"를 아주 쉽게 통과하고 있다면, RCAP은 사과 문제의 수를 줄일 수 있습니다.
- RCAP은 학생이 배우면서 진전함에 따라 이 균형을 매일 다시 계산하여, 학습 계획이 계속 진화하도록 보장합니다.

3. "확률적(Probabilistic)" 전략 (복권 뽑기)

일단 RCAP이 "양자 역학 문제 50개가 필요하다"라고 결정했다면, 그 50개를 어떻게 뽑을까요?

기존 방식: 모든 1,000개의 양자 역학 문제를 난이도순으로 정렬한 뒤 상위 50개를 뽑습니다. 이는 느리고 계산 비용이 많이 듭니다.
RCAP의 방식: "가중치 복권"을 사용합니다. 모든 문제에 티켓을 부여합니다. 학생에게 어려운 문제일수록(손실값이 높을수록) 더 큰 티켓을 받습니다.
- 매우 쉬운 문제는 아주 작은 티켓을 가집니다 (뽑힐 확률이 낮음).
- 매우 어려운 문제는 거대한 티켓을 가집니다 (뽑힐 확률이 높음).
- RCAP은 그 후 50개의 티켓을 뽑습니다. 이는 정렬하는 것보다 훨씬 빠르지만, 여전히 가장 어려운 문제들이 가장 자주 뽑히도록 보장합니다.

4. "강건한(Robust)" 결과 (안전망)

이 논문은 RCAP이 최악의 그룹 정확도(Worst-Group Accuracy) 문제를 해결한다고 주장합니다.

현실 세계에서 "그룹"은 서로 다른 유형의 데이터(예: 고양이 사진 vs 강아지 사진, 또는 다양한 머리카락 색을 가진 사람들의 이미지)를 의미할 수 있습니다.
다른 방법들은 높은 평균 점수를 얻을 수는 있지만, 가장 어려운 그룹에서는 처참하게 실패할 수 있습니다.
RCAP은 심지어 "최악의 성과를 보이는" 그룹에도 충분한 주의를 기울이도록 보장합니다. 논문에 따르면, 불균형한 어려운 데이터셋에서 RCAP은 데이터의 10%만을 사용하면서도 전체 데이터로 학습했을 때보다 실제로 더 나은 성능을 보여줍니다.

요약하자면

RCAP은 다음과 같이 행동하는 스마트하고 적응력 있는 코치와 같습니다:

학생이 어려워하는 모든 구체적인 주제를 모니터링합니다.
약점을 보완하기 위해 일일 학습 계획을 조정합니다.
빠르고 공정한 복권 시스템을 사용하여 가장 어려운 연습 문제를 선택합니다.

결과:

속도: 평균적으로 학습 속도를 8.69배 빠르게 만듭니다.
품질: 단순히 시간을 아끼는 것이 아니라, 어려운 희귀 사례를 처리하는 모델의 능력(강건성)을 종종 향상시킵니다.
효율성: 추가적인 컴퓨팅 파워를 필요로 하지 않고, 일반적인 학습 과정에서 이미 계산되는 "점수(loss)"만을 활용하여 이 효율성을 달-성합니다.

요컨대, RCAP은 A 학점을 받기 위해 도서관의 모든 책을 읽을 필요는 없다는 것을 증명합니다. 단지 적절한 시기에 적절한 책을 골라주는 적절한 튜터가 있으면 됩니다.

기술 요약: RCAP – 강건하고, 클래스 인지적이며, 확률적인 동적 데이터셋 프루닝 (Robust, Class-Aware, Probabilistic Dynamic Dataset Pruning)

1. 문제 정의

딥러닝 모델은 방대한 양의 데이터셋을 필요로 하며, 이는 과도한 계산 비용과 지속 불가능한 학습 시간을 초래합니다. 데이터 프루닝(Data Pruning) 기법은 정보량이 적은 예시들을 제거하여 이러한 비용을 줄이는 것을 목표로 하지만, 기존 방식들은 다음과 같은 중대한 한계에 직면해 있습니다:

정적(Static) vs 동적(Dynamic): 정적 프루닝은 학습 전 고정된 하위 집합을 선택하며, 종종 샘플의 중요도를 결정하기 위해 비용이 많이 드는 사전 학습(Pre-training)에 의존합니다. 동적 프루닝은 학습 중에 하위 집합을 적응시키지만, 강건성(Robustness)을 유지하는 데 실패하는 경우가 많습니다.
최악 그룹 정확도(Worst-Group Accuracy): 현재의 최첨단 동적 프루닝 방법들(예: RS2, InfoBatch)은 평균 성능을 우선시하지만, 최악 그룹 정확도를 간과하는 경우가 빈번합니다. 이는 특히 클래스 불균형 데이터셋(예: CIFAR10에서 "고양이"와 "개"의 차이)에서 특정 클래스가 더 높은 손실(Loss)을 보일 때 치명적이며, 결과적으로 소수 그룹이나 어려운 그룹에 대해 실패하는 비강건한 모델을 만듭니다.
클래스 인지성(Class-Awareness): 기존 방법들은 학습 과정 중 개별 클래스의 난이도(Hardness)에 따라 클래스별 표현을 동적으로 조정하는 원칙적인 메커니즘이 부족합니다.

핵심 질문은 다음과 같습니다: 데이터 프루닝 과정에서 클래스 난이도를 통합하는 것이 균형 잡힌 설정과 불균형한 설정 모두에서 모델의 강건성을 향상시키는가?

2. 방법론: RCAP

저자들은 최악 그룹 정확도를 최적화하면서 효율성을 유지하도록 설계된 동적 데이터셋 프루닝 알고리즘인 RCAP(Robust, Class-Aware, Probabilistic)를 제안합니다. 이 방법은 에포크(Epoch)당 두 가지 주요 단계로 작동합니다.

2.1 적응형 클래스별 하위 집합 크기 (Adaptive Per-Class Subset Size)

RCAP은 각 클래스에 대해 유지할 샘플 수를 결정하는 문제를 해결합니다.

이론적 토대: 저자들은 고정된 프루닝 비율 제약 조건 하에서 총 경험적 오차(Empirical Error)를 최소화하기 위한 폐쇄형 해(Closed-form solution)를 도출했습니다 (정리 3.1). 이 해는 누적 손실이 높은 클래스(더 큰 어려움을 나타냄)에 더 많은 비중의 학습 하위 집합을 할당해야 함을 보여줍니다.
구현: 매 에포크 $t$ $t$ 마다, 클래스 $j$ $j$ 를 유지할 샘플의 비율 $\alpha_j$ $α_{j}$ 는 이전 에포크( $t-1$ $t - 1$ )의 해당 클래스의 집계된 손실을 기반으로 계산됩니다.
- 공식은 다음과 같습니다: $\hat{\alpha}_j^{t+1} \propto \frac{\sqrt{p_j \tilde{E}_j^t}}{n_j}$ (여기서 $p_j$ 는 클래스 비율, $\tilde{E}_j^t$ 는 집계된 손실, $n_j$ 는 클래스 $j$ 의 총 샘플 수입니다).
- 클리핑 메커니즘(Clipping Mechanism): $\alpha_j \leq 1$ 을 보장하기 위해, 계산된 비율이 1을 초과하는 경우, 초과분은 다른 클래스들에 재배분됩니다. 이는 알고리즘이 특정 클래스에 존재하는 샘플보다 더 많은 샘플을 선택하려고 시도하는 것을 방지합니다.

2.2 적응형 클래스별 샘플 선택 (Adaptive Per-Class Sample Selection)

각 클래스의 하위 집합 크기가 결정되면, RCAP은 구체적인 샘플을 선택합니다.

확률적 샘플링: 결정론적 정렬(Deterministic sorting, 계산 비용이 높음) 대신, RCAP은 샘플별 손실에 의해 정의된 확률 분포로부터 샘플을 추출합니다.
손실 기반 확률: 클래스 $j$ 에 대한 샘플 $X_i$ 를 선택할 확률은 $e^{\phi_j(X_i)/\beta}$ 에 비례합니다 (여기서 $\phi_j$ 는 샘플의 손실을, $\beta$ 는 온도 하이퍼파라미터를 나타냅니다).
손실 클리핑(Loss Clipping): 이상치(예: 극도로 높은 손실을 유발하는 레이블 노이즈)로 인한 불안정성을 방지하기 위해, 손실 값은 초기화 시점(에포크 0)에 관찰된 최대 손실에 대해 클리핑됩니다. 이를 통해 샘플링 분포가 견고하게 유지되고 노이즈가 섞인 이상치에 과도하게 편향되지 않도록 합니다.
반복 업데이트: 손실 값 $\phi$ 는 현재 모델 상태를 기반으로 매 에포크가 끝날 때 업데이트되며, 이 과정이 반복됩니다.

복잡도: 이 방법은 모든 지표가 학습 중 계산된 손실로부터 파생되므로, 표준 순전파(Forward pass) 외에 추가적인 계산 오버헤드가 발생하지 않습니다. 샘플당 시간 복잡도는 $O(1)$ 입니다.

3. 주요 기여

새로운 알고리즘: 클래스별 하위 집합 크기 조절을 위한 폐쇄형 해와 적응형 확률적 샘플링 전략을 명시적으로 결합한 최초의 동적 프루닝 방법인 RCAP을 도입했습니다.
강건성 중심: RCAP은 기존 프루닝 문헌에서 흔히 발생하는 문제인 소수 그룹 또는 어려운 클래스의 과소 표현 문제를 해결하기 위해 최악 그룹 정확도 개선을 명시적으로 목표로 합니다.
포괄적 평가: 본 논문은 6개의 데이터셋(CIFAR10, CIFAR100, ImageNet, Waterbirds, CelebA, iNaturalist)과 5개의 서로 다른 아키텍처(ResNet, EfficientNet, Dinov2 등)에 걸쳐 클래스 균형 및 불균형 데이터셋 모두에서 동적 프루닝에 대한 최초의 포괄적인 평가를 제공합니다.
효율성: 성능 저하 없이 상당한 속도 향상을 달야하며, 특히 불균형 데이터에서 탁월한 성능을 보입니다.

4. 실험 결과

저자들은 세 가지 학습 패러다임(Scratch부터 학습, 전이 학습, 파인튜닝)에 대해 7개의 최첨단 베이스라인(CCS, MetriQ, TDDS, UCB, InfoBatch, RS2 포함)과 RCAP을 비교 평가했습니다.

최악 그룹 정확도: RCAP은 모든 데이터셋과 프루닝 비율에 대해 모든 베이스라인을 일관되게 능가했습니다. 특히 불균형 데이터셋(Waterbirds, CelebA, iNaturalist)에서 RCAP은 90% 프루닝 비율에서도 우수한 최악 그룹 정확도를 달성했으며, 종종 전체 데이터로 학습된 모델의 성능을 상회했습니다.
- 예시: iNaturalist(90% 프루닝)에서 RCAP은 약 68.5%의 최악 그룹 정확도를 달성한 반면, 다른 방법들은 크게 하락했습니다 (예: InfoBatch는 약 5.5%, TDDS는 0%).
평균 정확도: 클래스 균형 데이터셋(CIFAR10, CIFAR100)에서 RCP는 기존 방법들과 대등하거나 더 나은 경쟁력 있는 평균 정확도를 유지했습니다.
효율성: RCAP은 전체 데이터 학습 대비 평균 8.69배의 속도 향상을 제공했습니다. 불균형 데이터셋에서는 학습 시간을 획기적으로 줄이면서도 전체 데이터 학습보다 1% 이상의 성능 향상을 달성했습니다.
하이퍼파라미터 민감도: 온도 파라미터 $\beta$ 에 대한 절제 연구(Ablation study) 결과, 높은 프러닝 비율(90%)에서 높은 손실 샘플을 우선시하려면 $\beta < 1$ 이 필수적이며, 중간 정도의 비율(50%)에서는 $\beta > 1$ 이 더 높은 안정성을 제공한다는 것이 밝혀졌습니다.

5. 의의 및 주장

본 논문은 RCAP이 강건한 동적 데이터셋 프루닝의 새로운 최첨단(SOTA)을 확립한다고 주장합니다. 그 의의는 다음과 같습니다:

불균형 문제 해결: 손실에 기반하여 클래스별 표현을 동적으로 조정함으로써, RCAP은 특히 높은 프루닝 비율에서 기존 프루닝 방법들을 괴롭히는 소수 그룹에 대한 편향을 자연스럽게 완화합니다.
실용적 효율성: "최선의 결과(Best-of-both-worlds)" 시나리오를 제공합니다. 즉, 학습 시간(속도 향상)을 획기적으로 줄이면서도 모델의 강건성(최악 그룹 정확도)을 높여, 프루닝이 반드시 성능과 속도 사이의 트레이드오프를 수반해야 한다는 통념에 도전합니다.
일반화 가능성: 이 방법은 모델에 구애받지 않으며(Model-agnostic), 다양한 아키텍처와 학습 패러다임에서 효과적입니다.

저자들이 인정한 한계점:

RCAP은 최적의 클래스별 비율을 정확하게 근사하기 위해 몇 번의 초기 에포크가 필요하며, 이는 즉각적인 효과가 필요한 시나리오(예: LLM의 Few-shot learning)에서의 활용을 제한할 수 있습니다.
온도 하이퍼파라미터 $\beta$ 는 현재 수동 튜닝이 필요합니다. 저자들은 향가 $\beta$ 를 학습 중에 적응형으로 만드는 후속 연구를 제안합니다.