기술 요약: 커널 트릭을 영향 함수로 확장하기

문제 제기

영향 함수 (Influence functions) 는 원래 강건 통계학에서 개발되어 Koh 와 Liang [1] 에 의해 머신러닝에 적용되었으며, 훈련 데이터 포인트가 교란되거나 제거될 때 모델 파라미터와 출력이 어떻게 변화하는지 추정하는 방법을 제공합니다. 이 능력은 머신 언러닝, 해석 가능성, 그리고 프라이버시에 중요합니다. 그러나 대규모 딥러닝 모델에 영향 함수를 표준적으로 적용하는 것은 상당한 확장성 병목 현상에 직면해 있습니다.

핵심적인 계산적 도전 과제는 잊힘 집합 (forget set) $D_f$를 제거한 후 파라미터 ($\theta_r^*$) 의 변화를 근사하는 데 필요한 역 헤시안 - 벡터 곱 (Inverse Hessian–Vector Product, IHVP), $H_{\theta^*}^{-1} \nabla_\theta L_{D_f}(\theta^*)$에 있습니다. 원래 공식에서 헤시안 행렬 $H_{\theta^*}$는 모델 파라미터 수 ($d_\theta$) 의 제곱에 비례하여 커집니다. 대규모 모델 (예: 심층 신경망) 의 경우 이 행렬을 구체화하고 역행렬을 구하는 것은 불가능합니다. 켤레 기울기법 (Conjugate Gradients, CG) 과 같은 반복적 방법은 헤시안을 구체화하지는 않지만, 여전히 모델 크기에 비례하는 헤시안 - 벡터 곱 (HVPs) 에 의존하므로 $d_\theta$가 데이터셋 크기에 비해 클 때 계산 비용이 매우 많이 듭니다.

방법론

저자들은 모델 크기 ($d_\theta$) 에 비례하던 계산 복잡도를 데이터셋 크기 ($|D|$) 와 출력 차원 ($d_{out}$) 에 비례하도록 전환하는 영향 함수의 **이중 표현 (dual representation)**을 제안합니다. 이 접근법은 선형화 가능 모델 (linearizable models) 이론과 신경망 접선 커널 (Neural Tangent Kernel, NTK) 에 기반합니다.

1. 선형화 및 재파라미터화

이 방법은 모델 $f(\cdot, \theta)$가 "선형화 가능"하다고 가정합니다. 즉, 훈련 전반에 걸친 모델의 동작이 기준점 $\theta'$ (보통 초기화) 주변의 선형화로 근사될 수 있다는 것입니다. 저자들은 선형화된 모델 $f^{lin}$과 이에 해당하는 정규화된 경험적 위험 $\hat{L}_D(\theta)$를 정의합니다.

유도 과정의 핵심은 명제 3.1로, 이는 임의의 데이터 하집합에 대해 선형화된 모델의 최적 파라미터와 전체 데이터셋의 최적 파라미터 간의 차이가 $\mathbb{R}^{d_\theta}$의 특정 선형 부분 공간에 있음을 확립합니다:
$$\hat{\theta}_r^* - \hat{\theta}^* = \nabla_\theta f(X, \theta')^\top \Delta \alpha_r^*$$
여기서 $\Delta \alpha_r^* \in \mathbb{R}^{d_{out}|D|}$입니다.

이 관찰은 저자들이 최적화 문제를 재파라미터화할 수 있게 합니다. 고차원 파라미터 공간 $\theta$를 최적화하는 대신, 이중 변수 $\Delta \alpha$를 최적화합니다. $\theta$에서의 제약 문제가 $\Delta \alpha$ 공간의 비제약 문제로 변환됩니다:
$$\tilde{L}_D(\Delta \alpha) := \frac{1}{|D|} \sum_{(x,y) \in D} \left( \ell(g^{lin}(x, \Delta \alpha), y) + \frac{\lambda}{2} \|\phi(\Delta \alpha) - \theta'\|_2^2 \right)$$
여기서 $g^{lin}$은 경험적 NTK, $K(\cdot, \cdot) = \nabla_\theta f(\cdot, \theta') \nabla_\theta f(\cdot, \theta')^\top$를 포함합니다.

2. 이중 영향 함수

$\Delta \alpha$ 공간에서 데이터 포인트를 제거하는 영향은 이중 위험의 헤시안인 $H_{\Delta \alpha^*}$를 포함하는 선형 시스템을 풀어 근사합니다. 중요한 점은 이 헤시안이 $d_\theta \times d_\theta$가 아닌 $d_{out}|D| \times d_{out}|D|$ 크기로 확장된다는 것입니다.

이중 변수의 변화에 대한 근사는 다음과 같습니다:
$$\Delta \alpha_r^* \approx \frac{|D_f|}{|D|} H_{\Delta \alpha^*}^{-1} \nabla_{\Delta \alpha} \tilde{L}_{D_f}(0)$$
저자들은 이 시스템을 효율적으로 풀 수 있음을 보여줍니다. 구체적으로, 잊힘 집합 $D_f$가 크다면, 풀어야 할 선형 시스템의 차원은 실제로 감소합니다. 이는 $D_f$에 해당하는 $\Delta \alpha_r^*$의 알려진 성분들을 분리할 수 있기 때문입니다.

3. 변화 추정

$\Delta \alpha_r^*$를 얻으면 NTK 를 사용하여 테스트 포인트에 대한 모델 출력 및 손실의 변화를 추정할 수 있습니다:

• 출력 변화: $f^{lin}(x_t, \hat{\theta}_r^*) - f^{lin}(x_t, \hat{\theta}^*) \approx K(x_t, X) \Delta \alpha_r^*$
• 손실 변화: $\Delta \alpha$에 대한 이중 손실의 기울기를 통해 추정됩니다.

이 공식은 NTK 가 분석적 형태를 가진다면 무한히 많은 파라미터를 가진 모델에 대한 영향 계산을 가능하게 합니다.

주요 기여

1. 이중 표현: 이 논문은 계산 복잡도가 모델 파라미터 수 ($d_\theta$) 가 아닌 데이터셋 크기 ($|D|$) 와 출력 차원 ($d_{out}$) 에 의존하는 영향 함수의 이중 공식을 도입합니다.
2. 대규모 모델을 위한 효율성: $d_\theta \gg d_{out}|D|$일 때, 이 방법은 기존 영향 함수에 대한 효율적인 대안을 제공합니다. 거대한 파라미터 공간에 대한 HVP 계산의 필요성을 피합니다.
3. 무한 폭 적용 가능성: 이 프레임워크는 분석적 NTK 를 활용하여 신경망의 무한 폭 극한으로 영향 분석을 확장하며, 무한한 파라미터 극한에서 파라미터 및 출력 변화를 추정할 수 있게 합니다.
4. 계산적 단축: 저자들은 이중 공간에서 선형 시스템의 크기가 잊힘 집합 ($|D_f|$) 의 크기가 증가함에 따라 감소함을 식별했습니다. 이는 대규모 언러닝 작업에 대해 직관에 반하는 효율성 향상을 제공합니다.

실험 결과

저자들은 MNIST 및 CIFAR-10 하위 집합으로 훈련된 완전 연결 신경망 (FCNN) 과 합성곱 신경망 (CNN) 의 선형화된 버전에서 이 방법을 검증했습니다.

• 실행 시간: $\Delta \alpha$-공간 방법은 "콜드 스타트 (첫 번째 실행)"와 "웜 스타트 (반복 실행)" 시나리오 모두에서 기존 $\theta$-공간 방법보다 일관되게 우수한 성능을 보입니다. 모델 크기가 데이터셋에 비해 커질수록 성능 격차는 더욱 벌어집니다.
• 정확도: 언러닝 성능 (잊힘 집합에서 재훈련된 파라미터 간의 상대적 $\ell_2$ 거리 및 잊힘 집합에서의 정확도로 측정) 은 기존 방법과 비교 가능합니다.
• 정규화 ($\lambda$) 의 효과: 비선형 모델에 대한 실험은 정규화 상수 $\lambda$의 값이 클수록 비선형 모델의 훈련 역학이 그 선형화와 더 밀접하게 유사해짐을 보여줍니다. 이는 비선형 모델에 대한 이중 표현의 신뢰성을 향상시키지만, 테스트 정확도가 낮아지는 대가가 따릅니다.
• 무한 폭 네트워크: 이 방법은 무한히 넓은 FCNN 과 CNN 에 대한 출력 및 손실 변화를 성공적으로 추정하며, 추정치는 커널 경사 하강법을 통해 계산된 실제 변화와 밀접하게 일치합니다.

중요성 및 주장

이 논문은 모델 크기가 기존 파라미터 공간 방법으로는 처리하기 어려울 정도로 큰 상황에서 머신 언러닝 및 영향 분석을 위한 확장 가능한 솔루션을 이중 표현이 제공한다고 주장합니다.

• 확장성: 파라미터 공간에서 기존 영향 함수를 평가하는 것이 불가능한 모델에 대한 영향 추정을 가능하게 합니다.
• 이론적 확장: 신경망의 무한 폭 극한에서 영향을 분석하기 위한 이론적 다리를 제공합니다.
• 한계점: 저자들은 이 방법이 선형화 가능한 모델로 제한된다고 명시적으로 밝힙니다. 큰 정규화 ($\lambda$) 를 사용하면 비선형 모델을 선형화 가능한 것으로 근사할 수 있지만, 이는 모델 성능을 저하시킵니다. 또한, 이 방법은 데이터셋 크기와 출력 차원의 곱에 비례하여 확장되는 NTK 행렬을 구체화하거나 암시적으로 연산해야 하므로, 클래스가 많은 매우 큰 데이터셋의 경우 병목 현상이 될 수 있습니다.

이 연구는 모든 딥러닝 모델에 대한 언러닝 문제를 해결한다고 주장하는 것이 아니라, 데이터셋이 모델 용량에 비해 상대적으로 작거나 모델을 효과적으로 선형으로 간주할 수 있는 시나리오를 위한 전문적이고 효율적인 도구를 제공합니다.