💻 computer science

FRAP: Fisher–Rao Geometric Trajectory Pruning for Class-Aware Dataset Selection

본 논문은 분류 성능을 유지하면서 계산 비용을 줄이기 위해 유효 정보 기하학적 변위(Effective Information-Geometric Displacement) 점수를 통해 훈련 샘플의 예측 궤적을 정량화하는 피셔-라오 기하학(Fisher–Rao geometry)을 활용한 클래스 인지형 데이터셋 프루닝 프레임워크인 FRAP을 제안한다.

원저자: Bahar Niknam, Hedieh Sajedi

게시일 2026-09-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bahar Niknam, Hedieh Sajedi

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

딥러닝은 의료 진단에서 자율주행 자동차에 이르기까지 모든 분야를 뒷받침하며 기계가 세상을 보고 이해하는 방식을 변화시켰습니다. 이러한 진보는 인공지능 시스템에 방대한 양의 라벨링된 예시를 제공하여, 시스템이 내부 설정을 조정함으로써 패턴을 학습할 수 있도록 하는 것에 의존합니다. 그러나 데이터셋이 수백만 장의 이미지로 늘어남에 따라, 이를 처리하는 비용은 막대한 컴퓨팅 파워와 메모리를 요구하는 상당한 부담이 되었습니다. 연구자들은 이 거대한 라이브러리의 모든 예시가 똑같이 유용한 것은 아니라고 오랫동안 의심해 왔습니다. 실제로, 시스템이 기초적인 내용을 학습하고 나면 많은 데이터가 새로운 정보를 거의 제공하지 않는 중복된 상태일 수 있습니다. 따라서 과제는 어떤 특정 예시가 모델을 가르치는 데 필수적인지, 그리고 성능을 해치지 않으면서 어떤 것을 안전하게 폐기할 수 있는지 식별하는 것입니다.

테헤란 대학교의 연구진은 이 문제를 해결하기 위해 FRAP이라는 새로운 방법을 개발했습니다. 연구진은 데이터 포인트를 단일 점수로 판단되는 정적인 항목으로 취급하는 대신, 모델이 각 이미지에 대한 이해가 시간에 따라 어떻게 변하는지를 관찰했습니다. 그들은 전체 데이터셋으로 모델을 훈련시키고 매 훈련 세션이 끝날 때마다 예측값을 기록했습니다. 모델이 학습함에 따라 이 예측들이 밟아나가는 경로를 추적함으로써, 그들은 모든 개별 이미지의 고유한 '여정'을 볼 수 있었습니다. 어떤 이미지는 모델이 정답에 안착하기 전까지 여러 가지 추측 사이를 격렬하게 오가게 만들었지만, 어떤 이미지들은 즉시 인식되어 일관성을 유지했습니다. 연구진은 이 예측 경로의 형태와 길이가 가장 가치 있는 학습 데이터를 식별하는 핵심이라는 점을 깨달았습니다.

이 경로를 측정하기 위해 연구진은 확률을 곡선 공간으로 취급하여 서로 다른 불확실성 상태 사이의 진정한 거리를 계산할 수 있는 수학적 개념을 사용했습니다. 그들은 이 움직임의 측정값과 모델이 정답에 대해 얼마나 확신하는지에 대한 간단한 검사를 결합했습니다. 이는 이중 신호를 만들어냈습니다. 한 부분은 모델의 사고가 얼마나 진화했는지를 측정했고, 다른 한 부분은 이미지가 모델에게 얼마나 어려운지를 측정했습니다. 결정적으로, 이 방법은 단순히 모든 카테고리에 걸쳐 이미지를 쉬운 것부터 어려운 것 순으로 순위를 매기는 것이 아닙니다. 대신, 이 방법은 각 카테고리에서 얼마나 많은 이미지를 남길지를 먼저 결정하여, 희귀하거나 어려운 그룹이 실수로 삭제되지 않도록 보장합니다. 그런 다음 각 그룹 내에서 고유한 학습 여정에 기반하여 최상의 예시들을 선택합니다.

수만 장의 사진이 포함된 표준 이미지 라이브러리에서 테스트했을 때, 이 접근 방식은 기존 방법들보다 일관되게 우수한 성능을 보였습니다. 10개의 카테고리가 있는 데이터셋에서, 이 새로운 방법은 데이터의 30%만을 유지했을 때 95.58%의 정확도를 달ال성했는데, 이는 테스트된 다른 어떤 기술보다 높은 결과였습니다. 심지어 1,000개의 카테고리가 있는 훨씬 더 큰 데이터셋에서도, 이 방법은 원래 데이터의 절반만 사용하고도 거의 80%의 정확도에 도달하며 경쟁자들 사이에서 가장 높은 정확도를 유지했습니다. 연구진은 이미지의 최종 예측만을 살펴보는 것은 충분하지 않으며, 모델이 그 예측에 도달하기까지의 역사가 그만큼 중요하다는 것을 발견했습니다. 모든 카테고리로부터 쉽고 어려운 예시들의 특정 조합을 보존함으로써, 시스템은 훨씬 적은 양의 데이터로부터도 똑같이 잘 학습할 수 있었습니다.

이 연구는 데이터셋을 축소하는 가장 효과적인 방법은 학습 과정 자체의 다양성을 존중하는 것임을 시사합니다. 연구진은 성능의 단일 스냅샷에 근거하여 데이터를 폐기하는 것은 종종 중요한 정보의 손실을 초래하는 반면, 모델 이해의 전체 진화 과정을 추적하는 것은 필요한 교훈을 보존한다는 것을 보여주었습니다. 이 방법은 학습 경로를 지도화하기 위해 초기 훈련 기간이 필요하지만, 그 결과로 얻은 더 작은 데이터셋은 향후 더 빠르고 효율적인 훈련을 가능하게 합니다. 이 작업은 딥러닝을 더 지속 가능하게 만드는 실질적인 청사진을 제공하며, 때로는 적게 아는 것이 학습이 정확히 어떻게 일어났는지를 이해할 때만 가능하다는 것을 증명합니다.

기술 요약: FRAP – 클래스 인지적 데이터셋 선택을 위한 Fisher–Rao 기하학적 궤적 가지치기

1. 문제 정의

딥러닝 데이터셋의 규모가 커짐에 따라 상당한 계산 및 메모리 비용이 발생하고 있으며, 이는 효과적인 데이터셋 가지치기(pruning)의 필요성을 불러일으켰습니다. 추가적인 데이터는 일반화 성능을 향상시킬 수 있지만, 중복성(redundancy)은 상당 부분의 훈련 샘플이 실질적인 이득을 제공하지 못함을 시사합니다. 기존의 가지치기 방법들은 종종 정적인 속성(예: 손실, 그래디언트)이나 단일 시점에서 수집된 스칼라 불확실성 척도에 의존합니다. 이러한 접근 방식은 시간에 따른 샘플의 예측 분포의 전체적인 기하학적 진화를 포착하지 못합니다. 또한, 많은 방법론이 전역적 순위 지정(global ranking) 전략을 채택하여, 가지치기된 하위 집합 내에서 클래스 간의 분포를 명시적으로 제어하지 못하며, 이는 잠재적으로 바람직하지 않은 클래스 불균형을 초래할 수 있습니다.

2. 방법론

저자들은 클래스 인지적 프레임워크인 **FRAP (Fisher–Rao Geometric Trajectory Pruning)**를 제안합니다. 이 방법은 기록된 훈련 에포크(epoch) 동안의 예측 분포 궤적을 통해 훈련 샘플의 특성을 규명합니다. 이 방법은 궤적 기반 점수 산출와 계층적 클래스 인지 선택이라는 두 가지 결합된 단계로 작동합니다.

2.1 예측 궤적 추출

참조 모델(reference model)을 전체 데이터셋에 대해 $T$ 에포크 동안 훈련시킵니다. 각 에포크가 끝날 때마다, 모델은 훈련 세트를 평가하여 각 샘플 $n$ 에 대한 예측 확률 벡터 $p^{(t)}_n$ 를 기록합니다. 이 시퀀스는 예측 궤적 $\mathcal{T}_n$ 을 형성합니다.

2.2 Fisher–Rao 기하학적 점수 산출 (EIGD)

샘플의 예측 분포 이동을 정량화하기 위해, FRAP은 확률 심플렉스(probability simplex) 상의 **Fisher–Rao 측지선 거리(geodesic distance)**를 활용합니다.

평활화(Smoothing): 기하학적 계산을 위해 구성 요소가 엄격히 양수가 되도록 예측 벡터를 평활화합니다.
경로 길이 ( $L_n$ ): 에포크에 따른 연속적인 예측 상태 사이의 누적 Fisher–Rao 거리로, 총 예측 이동량을 나타냅니다.
순 변위 (Net Displacement, $G_n$ ): 초기( $t=1$ ) 상태와 최종( $t=T$ ) 상태 사이의 Fisher–Rao 거리입니다.
궤적 효율성 ( $E_n$ ): 순 변위를 누적 경로 길이( $L_n + \epsilon_d$ )로 나눈 비율( $G_n / (L_n + \epsilon_d)$ )로 정의되며, 샘플이 최종 상태를 향해 얼마나 직접적으로 이동하는지를 측정합니다.
EIGD 점수 ( $Q_n$ ): **유효 정보-기하학적 변위(Effective Information-Geometric Displacement)**는 크기와 효율성을 결합합니다:
$Q_n = G_n E_n = \frac{G_n^2}{L_n + \epsilon_d}$
이 점수는 과도한 중간 진동 없이 실질적인 예측 변화를 겪는 샘플을 선호합니다.

2.3 강건화된 레이블 인지 난이도

궤적 점수를 보완하기 위해, 정답 클래스에 대한 평균 확신도( $q^{(t)}_n$ )를 기반으로 레이블 인지 난이도 신호를 계산합니다. 난이도 $H_n$ 은 $1 - \text{mean}(q^{(t)}_n)$ 으로 정의됩니다. 극단적인 값이 지배하는 것을 방지하기 위해, $\kappa$ -백분위수에서 상위 꼬리 클리핑(upper-tail clipping)이 적용되어 $H^{rob}_n$ 을 생성합니다.

2.4 계층적 클래스 인지 선택

FRAP은 전역 순위 지정 대신 두 단계의 프로세스를 사용합니다:

클래스 수준 예산 할당: 클래스 수준의 통계량(평균 EIGD 및 평균 클리핑된 난이도)을 집계하고 정규화합니다. 클래스 수준의 우선순위 점수 $D_c$ 는 이러한 정규화된 통계량의 가중 합으로 계산됩니다. 이 우선순위는 클래스 크기와 결합되어 각 클래스에 대한 유지 할당량(retention quota) $K_c$ 를 결정하며, 이를 통해 전역 가지치기 예산이 클래스별 예측 행동에 따라 배분되도록 보장합니다.
클래스 내 샘플 선택: 각 클래스 내에서 샘플은 결합 점수 $S_n = (1-\alpha)\tilde{Q}_n + \alpha\tilde{H}^{rob}_n$ 를 기준으로 순위가 매겨지며, 여기서 $\tilde{Q}$ 와 $\tilde{H}$ 는 클래스 내에서 정규화된 값입니다. 상위 $K_c$ 개의 샘플이 유지됩니다.

3. 주요 기여

Fisher–Rao 궤적 표현: 스칼라 통계량이 아닌, Fisher–Rao 기하학을 사용하여 예측 이동을 측정함으로써 전체 예측 분포의 진화를 통해 샘플을 표현하는 새로운 프레임워크를 제시합니다.
EIGD 점수: 순 예측 변위와 누적 궤적의 효율성을 통합하는 유효 정보-기하학적 변위를 도입했습니다.
클래스 인지 계층 구조 메커니즘: 클래스 수준의 예산 할당과 클래스 내 샘플 순위 지정을 명시적으로 분리하여, 전역 순위 지정 방식에 내재된 클래스 불균형 문제를 해결합니다.
포괄적인 평가: 여러 데이터셋(CIFAR-10, CIFAR-100, ImageNet-1K, Waterbirds)과 가지치기 비율에 걸친 실험적 검증을 통해 대표적인 베이스라인 모델들보다 우수한 성능을 입증했습니다.

4. 실험 결과

저자들은 Random, Forgetting, EL2N, CCS, MetriQ, Dyn-Unc, TDDS, InfoBatch를 포함한 방법들과 FRAP을 비교 평가했습니다.

성능: FRAP은 테스트된 모든 데이터셋과 가지치기 비율에서 일관되게 가장 높은 Top-1 정확도를 달升했습니다.
- CIFAR-10: 30% 가지치기 시 95.58%, 90% 가지치기 시 87.86% 달성.
- CIFAR-100: 30% 가지치기 시 77.78%, 90% 가지치기 시 56.72% 달성.
- ImageNet-1K: 25% 가지치기 시 79.83%, 50% 가지치기 시 78.58% 달성.
- Waterbirds: 30% 가지치기 시 96.42%, 90% 가지치기 시 93.18% 달성.
절제 연구 (Ablation Studies):
- 클래스 수준의 할당 또는 난이도 신호를 제거하면 정확도가 낮아졌으며, 이는 두 구성 요소의 필요성을 확인시켜 줍니다.
- 전체 EIGD 점수를 단순 종단점 변위( $G_n$ )로 대체했을 때 성능이 낮아졌으며, 이는 궤적 효율성의 중요성을 입증합니다.
민감도: 혼합 계수 $\alpha$ (궤적과 난이도의 균형)는 CIFAR-100에서 $\alpha=0.5$ 일 때 최적의 성능을 보였습니다.

5. 의의 및 주장

본 논문은 FRAP이 예측 분포의 기하학적 진화를 포착하고 클래스 수준의 유지 예산을 명시적으로 관리함으로써 기존 가지치기 방법의 결정적인 한계를 해결한다고 주장합니다. 저자들은 이 접근 방식이 궤적을 수집하는 데 드는 계산 비용 대비 예측 궤적으로부터 얻는 정보의 균형을 효과적으로 맞춘다고 설명합니다.

결과에 따르면, 샘플을 스칼라 척도가 아닌 확률 심플렉스 상의 전체 예측 궤적을 통해 표현하는 것이 정보가 풍부한 데이터를 식별하는 데 더 강력한 신호를 제공합니다. 계층적 선택 메커니즘은 공격적인 가지치기가 특정 클래스에 불균형한 피해를 주지 않도록 보장하기 위한 필수적인 단계로 제시됩니다. 저자들은 FRAP이 테스트된 조건 하에서 데이터셋 가지치기의 새로운 SOTA(State-of-the-art)를 설정한다고 결론짓지만, 전체 훈련 궤적을 추출하는 데 따르는 계산 오버헤드를 줄이기 위한 향후 연구가 필요함을 인정합니다.