Bayesian Influence Functions for Hessian-Free Data Attribution

이 논문은 심층 신경망에서 헤시안 역행렬 계산의 한계를 극복하기 위해 확률적 경사 MCMC 샘플링을 기반으로 한 국소 베이지안 영향 함수 (BIF) 를 제안하여, 수십억 개의 매개변수를 가진 모델에서도 재학습 실험을 예측하는 데 있어 최첨단 성능을 달성함을 보여줍니다.

핵심

이 논문은 **"인공지능 (AI) 이 왜 이런 대답을 했는지, 그 이유를 찾아주는 새로운 방법"**을 소개합니다.

기존의 방법들은 AI 가 너무 복잡해져서 (수십억 개의 부품이 있는 거대한 기계처럼) 이유를 찾기 어렵다는 문제가 있었습니다. 이 논문은 그 문제를 해결하기 위해 **"확률 (Bayesian)"**과 **"우주 탐사"**에 비유할 수 있는 새로운 아이디어를 제안합니다.

이 내용을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

---

1. 문제: 거대한 미로와 잃어버린 지도

기존의 방법 (고전적 영향 함수)
예전에는 AI 가 어떤 답을 내놓은 이유를 찾을 때, "만약 이 훈련 데이터를 하나 빼면 AI 는 어떻게 변할까?"라고 계산했습니다.
하지만 현대의 AI(딥러닝) 는 부품이 너무 많고 복잡해서, 이 계산을 하려면 거대한 지도를 뒤집어야 하는 (Hessian 역행렬 계산) 작업이 필요했습니다.

• 비유: 마치 거대한 미로에서 길을 찾기 위해 지도를 뒤집어 보려는데, 지도가 너무 무거워서 들 수 없거나, 지도 자체가 찢어져서 (수학적으로 '특이점'이 발생) 아예 뒤집을 수 없는 상황입니다. 그래서 기존 방법은 거대한 AI 에게는 쓸모가 없게 되었습니다.

2. 해결책: "베이시안 영향 함수 (BIF)"라는 새로운 나침반

저자들은 이 문제를 해결하기 위해 "지도 뒤집기" 대신 "우주 탐사" 방식을 도입했습니다.

• 핵심 아이디어: AI 의 정답을 하나의 점으로 고정하지 않고, **"AI 가 가질 수 있는 모든 가능한 상태 (확률 분포)"**를 상상합니다.
• 비유:
  • 기존 방법: "이 AI 는 딱 이 위치 (점) 에 있다. 여기서 출발해서 데이터를 빼면 어떻게 될까?"라고 계산하려다 막혔습니다.
  • 새로운 방법 (BIF): "이 AI 는 이 위치 주변에 구름처럼 퍼져 있을 수 있다."라고 생각합니다. 그리고 그 구름 (확률 분포) 을 따라 움직여 보며 데이터를 빼면 구름의 모양이 어떻게 변하는지 관찰합니다.

이 방법은 지도를 뒤집을 필요가 없기 때문에, 부품이 수십억 개 달린 거대한 AI(대규모 언어 모델) 에도 적용할 수 있습니다.

3. 어떻게 작동할까요? (확률적 샘플링)

이 방법은 AI 의 상태를 한 번에 계산하는 대신, 랜덤하게 여러 번 샘플링해서 평균을 냅니다.

• 비유:
  • 한 번에 전체 산을 다 측정하는 건 불가능합니다.
  • 대신, 등산가 (SGLD 라는 알고리즘) 를 여러 명 보내서 산의 각 지점을 랜덤하게 찍어보게 합니다.
  • "어? 이 지점에서는 훈련 데이터 A 가 있으면 산이 높고, 없으면 산이 낮네?"
  • "저 지점에서는 데이터 B 가 있으면 구름이 낀다?"
  • 이렇게 수천 번의 랜덤 등산 기록을 모아서, "어떤 데이터가 AI 의 결정에 가장 큰 영향을 미쳤는지"를 통계적으로 추론합니다.

4. 왜 이것이 혁신적인가요? (실제 효과)

이 논문은 이 새로운 방법이 실제로 잘 작동한다는 것을 증명했습니다.

1. 거대한 AI 도 가능: 수백억 개의 파라미터를 가진 최신 AI 모델 (Pythia 등) 에도 적용할 수 있습니다.
2. 단어 단위 분석: 단순히 "이 문장이 중요했다"가 아니라, **"이 문장 속의 '사과'라는 단어와 '오렌지'라는 단어가 서로 어떤 관계가 있는지"**까지 세세하게 찾아냅니다. (예: 번역 관계, 동의어 관계 등을 발견)
3. 재학습 예측: "이 데이터를 지우면 AI 가 얼마나 달라질까?"를 예측하는 데 기존 방법과 비슷하거나 더 좋은 성능을 냈습니다.

5. 한 줄 요약

"기존에는 AI 의 복잡한 구조를 분석하려다 막혔다면, 이 새로운 방법은 AI 를 '확률의 구름'으로 보고, 그 구름을 랜덤하게 훑어보며 데이터의 영향을 찾아냅니다. 덕분에 거대한 AI 모델에서도 어떤 데이터가 AI 의 행동을 바꿨는지 정밀하게 추적할 수 있게 되었습니다."

이 방법은 AI 가 왜 그런 결정을 내렸는지, 그 '이유'를 더 투명하고 안전하게 설명해 주는 AI 해석 (Interpretability) 의 새로운 도약이라고 볼 수 있습니다.

기술 요약

1. 문제 정의 (Problem)

• 기존 방법의 한계: 전통적인 영향 함수 (IF) 는 훈련 데이터의 미세한 변화가 모델 예측에 미치는 영향을 측정하는 강력한 도구입니다. 그러나 현대의 심층 신경망 (DNN) 에 적용할 때 두 가지 주요 문제가 발생합니다.
  1. 비가역적 헤시안 (Non-invertible Hessian): DNN 의 손실 함수는 특이점 (singular) 을 가지며, 헤시안 행렬이 가역적이지 않습니다. 이는 IF 의 수학적 정의 (헤시안 역행렬 계산) 를 무효화합니다.
  2. 계산 비용: 파라미터 수가 수십억 개에 달하는 대규모 모델에서 헤시안 행렬을 직접 계산하거나 역행렬을 구하는 것은 계산적으로 불가능합니다.
• 현재의 대안: 기존 연구들은 K-FAC(Kronecker-factored Approximate Curvature) 과 같은 구조적 근사 기법을 사용하지만, 이는 특정 레이어 구조에 제한을 두고 구조적 편향 (structural bias) 을 도입합니다.

2. 제안 방법론 (Methodology)

저자들은 헤시안 역행렬 계산을 손실 지형 (Loss Landscape) 의 통계적 특성 추정으로 대체하는 국소 베이지안 영향 함수 (Local BIF) 를 제안합니다.

• 핵심 아이디어:

  • 베이지안 관점: 파라미터를 단일 점 추정 (point estimate) 이 아닌 분포로 간주합니다.
  • 공분산 추정: 고전적 IF 가 $-\nabla \phi^\top H^{-1} \nabla \ell$ 형태라면, BIF 는 관측치와 샘플 손실 간의 공분산 (Covariance) 으로 정의됩니다.
    $$\text{BIF}(z_i, \phi) = -\text{Cov}(\ell_i(w), \phi(w))$$
  • 국소화 (Localization): 전역 베이지안 사후분포는 계산이 불가능하므로, 훈련된 모델 파라미터 $w^*$ 주변에 가우시안 정규화 항을 추가하여 국소 사후분포 (Localized Posterior) 를 정의합니다.
    $$p_\gamma(w | D_{train}, w^*) \propto \exp\left(-\sum \ell_i(w) - \frac{\gamma}{2}\|w - w^*\|^2\right)$$
  • 수렴성: 비특이 (non-singular) 모델의 경우, BIF 는 점근적으로 고전적 IF 로 수렴하며, 이는 BIF 가 고전적 IF 의 자연스러운 일반화임을 보여줍니다.

• 구현 (SGLD 기반):

  • 이 공분산을 추정하기 위해 확률적 경사 랑주 역학 (Stochastic Gradient Langevin Dynamics, SGLD) 을 사용합니다.
  • SGLD 를 통해 파라미터 공간에서 샘플을 추출하고, 이 샘플들 간의 손실 값 공분산을 계산하여 BIF 를 구합니다.
  • 이 방식은 헤시안 행렬을 전혀 계산하거나 역행렬을 구하지 않으므로 (Hessian-free) DNN 의 특이점 문제를 우회합니다.

3. 주요 기여 (Key Contributions)

1. 이론적 확장: 개별 DNN 체크포인트에 적용 가능한 국소 베이지안 영향 함수 (Local BIF) 를 이론적으로 정립했습니다.
2. 실용적 추정기: SGMCMC(Stochastic Gradient MCMC) 를 기반으로 한 배치 처리 추정기를 개발했습니다. 이는 아키텍처에 구애받지 않으며 (Architecture-agnostic), 수십억 개의 파라미터를 가진 모델에도 확장 가능합니다.
3. 성능 검증:
   • 재훈련 실험 (Retraining Experiments) 에서 기존 최첨단 (SOTA) 방법인 EK-FAC 과 동등하거나 더 나은 성능을 보였습니다.
   • 계산 효율성: 대규모 모델과 세분화된 (fine-grained) 데이터 귀속 작업 (예: 토큰 단위 영향 분석) 에서 EK-FAC 보다 계산 효율이 뛰어납니다.

4. 실험 결과 (Results)

• 시각화 및 해석 가능성:
  • 이미지 분류 (Inception-v1): BIF 와 EK-FAC 모두 시각적, 의미적으로 유사한 훈련 이미지를 가장 영향력 있는 샘플로 식별했습니다.
  • 언어 모델 (Pythia-2.8B): 토큰 단위 (Per-token) 영향 분석을 수행했습니다. BIF 는 번역 ('She' ↔ 'elle'), 동의어, 숫자와 철자 ('3' ↔ 'three') 등 의미적 관계를 가진 토큰 간에 높은 상관관계를 포착했습니다. 이는 고전적 IF 가 토큰 단위 분석에 비효율적인 것과 대조적입니다.
• 재훈련 실험 (Retraining Experiments):
  • CIFAR-10 데이터셋에서 ResNet-9 모델을 재훈련하는 실험을 통해 선형 데이터 모델링 점수 (LDS, Linear Datamodelling Score) 를 측정했습니다.
  • BIF 는 EK-FAC, TRAK, GradSim 과 비교하여 재훈련 결과 예측 정확도에서 최첨단 수준을 유지했습니다. 특히 데이터 양이 적거나 모델이 작은 경우 BIF 가 더 높은 점수를 기록했습니다.
• 확장성 분석 (Scaling Analysis):
  • Pythia 모델 시리즈 (최대 28 억 파라미터) 에서 성능을 비교했습니다.
  • EK-FAC: 헤시안 근사 (Fit 단계) 에 높은 초기 비용과 메모리 (Kronecker 인자 저장) 가 필요하며, 모델 크기가 커질수록 계산 시간이 급증합니다.
  • BIF: 초기 피팅 비용이 없으며, 모델 크기가 커질수록 평가 시간이 EK-FAC 보다 훨씬 효율적으로 증가합니다. 가장 큰 모델 (28 억 파라미터) 에서 BIF 는 EK-FAC 보다 약 100 배 (2 orders of magnitude) 빠르며, 동일한 GPU 메모리를 사용합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 의의: 데이터 귀속 (Data Attribution) 문제를 단일 점 추정에서 분포 기반 (Distributional) 접근으로 전환했습니다. 이는 DNN 의 특이한 손실 지형 (Singular Loss Landscape) 을 자연스럽게 처리할 수 있는 이론적 토대를 마련합니다.
• 실용적 의의:
  • 헤시안 불필요: 헤시안 역행렬 계산 없이 대규모 모델의 데이터 영향력을 분석할 수 있어, LLM 과 같은 초대규모 모델의 해석 가능성 (Interpretability) 연구에 새로운 길을 엽니다.
  • 세분화된 분석: 토큰 단위와 같은 미세한 수준의 데이터 영향 분석을 가능하게 하여, 모델이 특정 개념을 학습하는 과정을 더 정밀하게 추적할 수 있습니다.
  • 유연성: 특정 레이어 구조에 제한받지 않으므로 Transformer 의 어텐션 레이어 등 다양한 아키텍처에 적용 가능합니다.

요약하자면, 이 논문은 계산적, 이론적 장벽으로 인해 사용이 제한되었던 영향 함수를 베이지안 통계와 MCMC 샘플링을 결합하여 현대의 초대규모 심층 신경망에 적용 가능한 강력한 도구로 재탄생시켰습니다.