기술 요약: 저데이터 환경에서의 효과적인 데이터 가지치기를 위한 제약 - 데이터 - 가치 최대화

1. 문제 제기

머신러닝 모델, 특히 대규모 언어 모델은 데이터에 대한 끝없는 수요를 겪는 반면, 데이터 가용성은 정체되어 있습니다. 데이터 가치 평가 방법들은 모델 성능에 대한 개별 학습 인스턴스의 영향을 귀속시켜 데이터셋 크기를 줄임으로써 에너지를 절약하고 학습 효율성을 향상시키는 것을 목표로 합니다. 그러나 기존 데이터 가지치기(저가치 데이터 제거) 접근법들은 특히 데이터셋의 소수 부분만 남는 저데이터 환경에서 치명적인 한계를 겪습니다.

저자들은 현재 최첨단 방법들 (특히 Shapley 및 Banzhaf 가치 기반 접근법) 에서 세 가지 주요 단점을 확인했습니다:

1. 클러스터 크기 편향: Shapley 및 Banzhaf 값은 클러스터의 총 유틸리티를 그 구성원들에게 분배합니다. 결과적으로, 더 큰 데이터 클러스터에 있는 점들은 더 작은 클러스터에 있는 점들보다 더 작은 한계 가치를 받습니다. 이는 전체적인 큰 클러스터의 조기 제거로 이어져, 클러스터의 마지막 대표자가 가지치기되면 모델 성능이 급격히 떨어지게 됩니다.
2. 중복성 편향: Leave-One-Out (LOO) 방법은 종종 중복된 샘플에 0 의 값을 부여하여, 하나의 대표자를 유지하는 것과 여러 개를 유지하는 것 사이의 유틸리티 차이를 구별하지 못합니다.
3. 중첩되지 않은 최적 부분집합: 특정 유지 예산 (예: 10%) 에 대해 정확도를 최대화하는 데이터 부분집합이 반드시 다른 예산 (예: 5%) 에 대한 최적 집합의 부분집합인 것은 아닙니다. 중첩성을 가정하는 표준 가지치기 전략들은 이러한 예산별 최적점에 적응하지 못합니다.

2. 방법론: 제약 - 데이터 - 가치 최대화 (CDVM)

이러한 한계를 해결하기 위해 저자들은 **제약 - 데이터 - 가치 최대화 (Constraint-Data-Value-Maximization, CDVM)**를 제안합니다. 이는 데이터 귀속 행렬에 대한 제약 최적화 문제로 데이터 가지치기를 다루는 최적화 기반 프레임워크입니다.

핵심 개념

• 데이터 귀속 행렬 ($T$): 스칼라 데이터 가치와 달리, CDVM 은 $n$개의 학습 인스턴스와 $m$개의 테스트 인스턴수를 가진 행렬 $T \in \mathbb{R}^{n \times m}$을 활용합니다. 항목 $T_{i,j}$는 학습 인스턴스 $i$가 테스트 인스턴스 $j$의 예측에 미치는 영향을 정량화합니다. 이 행렬은 최대 샘플 재사용 (Maximum Sample Reuse, MSR) 원리를 사용하여 추정되며, 모든 인스턴스에 대한 전체 재학습 없이 샘플링된 부분집합으로 모델을 학습하여 영향을 근사합니다.
• 최적화 공식화: CDVM 은 가지치기를 $S$개의 학습 인스턴스를 유지할 것인지를 나타내는 이진 벡터 $w \in \{0, 1\}^n$을 선택하여 제약 조건 하에서 유틸리티 함수를 최대화하는 문제로 공식화합니다.
  • 목적: 몇몇 테스트 샘플에 대한 영향의 과도한 집중을 패널티로 부과하면서 테스트 샘플에 대한 총 영향을 최대화합니다.
  • 제약: 유지된 인스턴스의 수는 예산 $S$와 같아야 합니다.
  • 슬랙 변수: 소수의 테스트 샘플이 유틸리티를 독점하는 '승자 독식' 시나리오를 방지하기 위해, 이 방법은 테스트 샘플당 영향을 임계값 $\kappa$로 제한하는 슬랙 변수 $t_j$를 도입합니다. $\kappa$를 초과하는 모든 영향은 패널티를 받습니다.

공식적인 최적화 문제는 다음과 같습니다:
$$\begin{aligned} \max_{w, t} \quad & \alpha \sum_{j=1}^m v_j - (1-\alpha) \sum_{j=1}^m t_j \\ \text{s.t.} \quad & v = T^\top w \\ & \sum_{i=1}^n w_i = S \\ & t_j \ge 0, \quad t_j \ge v_j - \kappa \\ & w_i \in \{0, 1\} \end{aligned}$$
여기서 $v_j$는 테스트 샘플 $j$에 대한 유도된 유틸리티이며, $\alpha$는 임계값 초과에 대한 패널티 대비 총 유틸리티의 균형을 맞춥니다.

구현

저자들은 문제를 Disciplined Parametrized Programming 프레임워크를 사용하여 혼합 정수 선형 계획법 (MILP) 으로 풀기 위해 이진 제약 $w_i \in \{0, 1\}$을 $w_i \in [0, 1]$로 완화합니다. 해결 후, $w$의 상위 $S$개 항목이 유지됩니다. 이 접근법은 균형 잡힌 커버리지를 보장하여, 예산이 허용하는 한 어떤 테스트 샘플 (따라서 암시적 데이터 클러스터) 도 총 영향이 0 이 되지 않도록 합니다.

3. 주요 기여

이 논문은 네 가지 주요 기여를 합니다:

1. 기존 한계 분석: 저자들은 이론적 및 실증적으로 Shapley 및 Banzhaf 귀속이 더 큰 데이터 클러스터에 있는 인스턴스에 더 작은 한계 기여도를 할당하여, 저데이터 체제에서 불균형 제거 패턴과 비최적 가지치기 성능을 초래함을 입증합니다.
2. 예산별 특성 통찰: 최적 유지 집합은 예산에 따라 다르며, 한 유지 수준에 대한 정확도를 최대화하는 부분집합이 반드시 다른 수준에 대해 최적화된 부분집합을 포함하지는 않음을 보여줍니다.
3. CDVM 알고리즘: 귀속 행렬에 대한 최적화로서 가지치기를 제시하는 CDVM 의 도입으로, 테스트 샘플 전반에 걸쳐 균형 잡힌 영향을 강제함으로써 중복성과 클러스터 크기 편향을 명시적으로 해결합니다.
4. 벤치마킹: OpenDataVal 벤치마크의 여섯 개 데이터셋에 대한 포괄적인 평가로, 최첨단 기술에 비해 강력한 성능과 경쟁력 있는 런타임을 입증합니다.

4. 실험 결과

저자들은 OpenDataVal 벤치마크의 여섯 개 데이터셋 (CIFAR-10, Adult, IMDB, BBC, Pol, Nomao 포함) 에서 5% 에서 30% 까지의 유지 수준에 걸쳐 CDVM 을 평가했습니다.

• 성능: CDVM 은 36 개 구성 (6 개 데이터셋 $\times$ 6 가지 가지치기 비율) 중 28 개에서 최첨단 성능을 달성했습니다. 이는 무작위 제거, DataBanzhaf, DataOob/기억 방법보다 일관되게 우월했습니다.
• 영향 최적화와의 비교: 영향 최적화 방법 (Yang et al., 2023) 은 일부 데이터셋 (특히 Nomao) 에서 경쟁력 있는 성능을 보였으나, CDVM 은 하이퍼파라미터가 적절히 조정되었을 때 모든 여섯 개 벤치마크에서 무작위 기준선을 일관되게 능가한 유일한 방법이었습니다.
• 런타임 효율성: CDVM 은 우수한 속도 - 정확도 트레이드오프를 제공합니다. 귀속 행렬 $T$를 계산하는 것은 모든 반 - 가치 기반 방법의 주요 병목 현상이지만, 최적화 단계는 빠릅니다. 5,000 개의 모델을 사용한 CDVM 은 10,000 개의 모델을 요구하는 방법들과 비교해 동등하거나 더 나은 결과를 달성했으며, Hessian 역행렬 계산이 필요한 영향 최적화보다 훨씬 짧은 최적화 시간을 보였습니다.
• 강건성: 이 방법은 하이퍼파라미터 선택에 강건합니다. 기본 구성 ($\alpha=0.5$, $\kappa$는 데이터셋 통계에서 유도됨) 은 그리드 검색된 파라미터와 거의 동등한 성능을 발휘하여 검색 오버헤드를 전혀 발생시키지 않았습니다.

5. 중요성 및 주장

이 논문은 CDVM 이 기존 Shapley 기반 방법들이 내재된 편향으로 인해 종종 실패하는 저데이터 체제에서의 데이터 가지치기를 위한 강력한 해결책을 제공한다고 주장합니다. 스칼라 데이터 가치에서 귀속 행렬에 대한 제약 최적화로 전환함으로써, CDVM 은 남은 데이터셋이 테스트 분포에 대한 균형 잡힌 커버리지를 유지하도록 보장합니다.

저자들은 그들의 발견이 "데이터 가지치기를 개선할 상당한 여지"를 강조하며, 이는 직접적으로 학습 비용과 에너지 소비 감소로 이어진다고 강조합니다. CDVM 이 계산적으로 경쟁력 있지만, 주요 병목 현상은 여전히 귀속 행렬 $T$의 계산과 저장에 있음을 지적합니다. 향후 연구는 더 효율적인 귀속 추정기를 탐구하거나 $T$의 희소성을 활용하여 ImageNet 과 같은 더 큰 데이터셋으로 확장할 수 있을 것입니다.

이 논문은 CDVM 이 모델 품질을 희생하지 않고 저가치 예시를 가지치기 위해 데이터 귀속을 효과적으로 활용하여, 무작위 선택 및 기존 가치 기반 가지치기 전략에 대한 실용적인 대안을 제공한다고 결론지었습니다.