기술적 요약: 궤적 기반 데이터 귀속의 충실도는 어느 정도인가?

1. 문제 제기

궤적 기반 데이터 귀속 방법들 (예: SGD-influence, TracIn, SOURCE) 은 훈련 궤적을 풀어서 (unrolling) 개별 훈련 샘플이 모델 예측에 미치는 영향을 추정합니다. 데이터 선택, 가치 평가, 모델 진단에 널리 사용되지만, 이러한 방법들은 포괄적인 오차 분석이 부족합니다. 실무자들은 귀속 오차의 크기와 기원에 대해 근본적인 불확실성에 직면해 있습니다. 특히 오차가 귀속 공식과 실제 훈련 동역학 간의 불일치 (예: 최적화기 불일치) 에서 비롯된 것인지, 아니면 1 차 테일러 전개와 같은 고유한 알고리즘적 근사에서 비롯된 것인지에 대한 의문입니다. 이러한 불확실성은 기존 이론적 유도에서 가정하는 SGD 대신 주로 AdamW 와 같은 최적화기를 사용하는 현대의 딥러닝 파이프라인에서 이러한 방법들의 신뢰할 수 있는 배포를 방해합니다.

2. 방법론 및 분류 체계

저자들은 궤적 기반 귀속에 대한 최초의 체계적인 오차 분석을 제안하며, 총 오차를 세 가지 명확한 범주로 조직화합니다:

1. 구성 수준 (Config-level) 오차: 귀속 공식이 실제 훈련 절차를 충실하게 반영하지 않을 때 발생합니다. 식별된 주된 원인은 최적화기 불일치로, 모델이 AdamW 로 훈련되었음에도 불구하고 방법론들이 확률적 경사 하강법 (SGD) 동역학을 가정하는 경우입니다.
2. 알고리즘 수준 (Algorithm-level) 오차: 효율성 근사로 인해 발생하며, 구체적으로 매개변수 궤적을 선형화하는 데 사용되는 1 차 테일러 전개에서 비롯됩니다.
3. 시스템 수준 (System-level) 오차: 부동 소수점 정밀도와 GPU 비결정성으로 인한 불가피한 오차로, 이는 실제 재훈련 (ground-truth retraining) 에도 영향을 미칩니다.

이러한 문제들을 해결하기 위해 논문은 다음을 도입합니다:

• AdamW-influence: SGD 를 가정하는 대신 실제 AdamW 최적화 동역학 (모멘텀 상태 및 좌표별 적응적 스케일링 포함) 을 풀어서 전개하는 새로운 알고리즘입니다. AdamW 의 2 차 모멘트 업데이트의 비선형성을 올바르게 처리하기 위해 기울기 수준에서 교란을 주입합니다.
• 오차 프록시 (Error Proxy): 재훈련 없이 원래 궤적을 따라 샘플별 알고리즘 수준 오차 (업데이트 추정 오차) 를 추정하는 폐쇄형 표현식입니다.
• K-Step Look-Ahead Framework: 오프라인 및 온라인 전략을 지평 (horizon) 매개변수 $K$의 경계 사례로 취급하는 데이터 선택을 위한 통합 이론적 프레임워크로, 전망 정보와 누적 근사 오차 간의 트레이드오프를 분석할 수 있게 합니다.

3. 주요 기여

A. 구성 수준 오차 (최적화기 불일치) 교정

저자들은 기존 방법들이 SGD 가정 하에 귀속을 유도하여 AdamW 로 훈련된 모델에 적용될 때 체계적인 편차를 발생시킨다는 것을 입증합니다. 그들은 AdamW 의 모멘텀과 적응적 스케일링을 올바르게 고려하는 AdamW-influence를 제안합니다.

• 결과: MLP, CNN, GPT-2, Llama 3.2-1B 의 네 가지 설정에서 AdamW-influence 는 SGD 기반 기준 대비 추정된 영향력과 실제 영향력 (TSLOO) 간의 스피어만 상관관계를 10% 에서 300% 이상 개선했습니다.
• 의미: 최적화기 정렬은 나머지 알고리즘 수준 오차를 분리하고 분석하기 위한 필수 전제 조건입니다.

B. 알고리즘 수준 오차 해부

구성 수준 오차가 교정된 상태에서 저자들은 1 차 테일러 전개에서 비롯된 오차를 분리해 냅니다. 그들은 두 가지 지배 요인을 식별합니다:

1. 학습률 ($\eta$): 더 큰 학습률은 단계별 선형화 오차를 증가시킵니다.
2. 궤적 길이 ($T - t^*$): 더 긴 잔여 궤적은 오차가 누적되도록 허용합니다.

• 결과: 오차 크기는 학습률에 반비례하고 잔여 궤적 길이에 비례합니다.
• 기여: 저자들은 최적화기가 이미 유지하는 양들을 사용하여 샘플별 오차 노름을 추정하는 폐쇄형 오차 프록시 (식 4) 를 유도했습니다. 이 프록시는 leave-one-out 재훈련을 통해 얻은 실제 오차 노름과 강한 상관관계 ($\rho \in [0.83, 0.89]$) 를 보여 재훈련 없이 오차를 인지한 결정을 내릴 수 있게 합니다.

C. 데이터 선택을 위한 실용적 가이드라인

이 논문은 $K$가 선택 결정이 고려하는 미래 단계 수를 나타내는 K-Step Look-Ahead Framework 하에서 오프라인 및 온라인 데이터 선택 전략을 통합합니다.

• 발견 사항:
  • 최적화기 정렬: AdamW-influence 를 사용한 온라인 선택은 일관되게 온라인 SGD-influence 를 능가하며, 충실도 향상을 하류 선택 성능으로 이전합니다.
  • 지평 vs. 오차: 오프라인 선택은 가장 긴 지평 ($K = T-t$) 에 해당하며 가장 큰 근사 오차를 누적합니다. 짧거나 중간 정도의 지평을 가진 온라인 선택은 종종 오프라인 성능과 일치하거나 이를 초과합니다.
  • $K$ 튜닝: 최적 지평 $K$는 학습률이 감소함에 따라 증가합니다. 더 작은 학습률은 근사 오차가 지배적이 되기 전에 $K$-step 합계를 더 확장할 수 있게 합니다.
• 가이드라인: 실무자는 $K$를 학습률과 별도로 고정하는 것이 아니라 함께 튜닝해야 하며, 정렬된 최적화기를 사용한 짧은 지평 온라인 선택은 신뢰할 수 있고 실행 가능한 방안입니다.

4. 실험 결과

저자들은 다음에서 그들의 방법을 평가했습니다:

• 모델: MLP, CNN, GPT-2, Llama 3.2-1B.
• 데이터셋: MNIST, WikiText-2, Alpaca, Tulu3.
• 지표: 충실도를 위한 TSLOO 실제 값에 대한 스피어만 순위 상관관계, 데이터 선택 품질을 위한 검증/테스트 오차율 또는 퍼플렉시티.

주요 결과:

• 충실도: AdamW-influence 는 모든 학습률과 아키텍처에서 SGD-influence 를 크게 능가했습니다. 예를 들어, $lr=10^{-3}$인 MNIST+CNN 에서 상관관계는 0.015 에서 0.090 으로 개선되어 (+500%) 증가했습니다.
• 선택 품질: 데이터 선택 작업에서 온라인 AdamW-influence는 온라인 SGD-influence 와 오프라인 AdamW-influence 모두에 비해 MNIST 에서 더 낮은 오차율과 Llama 3.2 에서 더 낮은 퍼플렉시티를 일관되게 달성했습니다.
• 오차 프록시: 유도된 프록시는 높은 스피어만 상관관계 ($\rho \approx 0.85$) 로 실제 오차 노름을 성공적으로 추적하여 궤적 인지 결정을 위한 실용적 신호로서의 타당성을 입증했습니다.

5. 중요성과 주장

이 논문은 궤적 기반 데이터 귀속에 대한 최초의 체계적인 오차 분석을 제공한다고 주장하며, 해당 분야를 이러한 방법들을 "블랙박스 스코어링 함수"로 취급하는 것에서 "진단 가능한 추정기"로 이동시킵니다.

• 이론적 영향: 오차를 구성, 알고리즘, 시스템 수준으로 분류함으로써 현대 딥러닝 맥락에서 충실하지 않은 원인을 명확히 합니다.
• 실용적 영향: AdamW-influence 와 K-Step 프레임워크의 도입은 실무자에게 구체적이고 실행 가능한 해결책을 제공합니다. 귀속 공식을 실제 최적화기 (AdamW) 와 정렬하고 전망 지평을 신중하게 튜닝함으로써 데이터 선택 및 모델 진단의 신뢰성을 크게 향상시킬 수 있음을 보여줍니다.
• 확장성: 제안된 방법은 $O(T)$ 복잡성을 유지하며 (증가된 상태 저장으로 인해 SGD-influence 대비 약 3 배의 고정 오버헤드), 무작위 마스킹 기술과 결합할 때 대규모 모델에 실행 가능합니다.

저자들은 분석이 계산적 제약으로 인해 1 차 테일러 기반 방법과 Llama 3.2-1B 까지 모델로 제한되며, 다른 영역 (예: 강화 학습, 확산 모델) 으로 일반화하는 것은 여전히 열린 방향임을 지적하며 한계를 인정합니다.