Interaction-Aware Influence Functions for Group Attribution

기술적 요약: 그룹 할당을 위한 상호작용 인식 영향 함수

문제 제기
영향 함수 (influence functions) 는 훈련 예제를 제거했을 때 홀드아웃 손실과 같은 대상 함수가 어떻게 변하는지 근사하는 기초적인 도구입니다. 예제 그룹의 영향을 추정하는 표준적인 관행은 구성원들의 개별 영향을 합산하는 것입니다. 그러나 이 가법적 접근법은 예제들이 독립적으로 기여한다고 가정하여, 결합 효과를 포착하지 못합니다. 실제로 예제들은 중복적일 수 있습니다 (예: 거의 동일한 복제본) 또는 상호 보완적일 수 있습니다 (예: 다른 레이블을 가진 유사한 특징). 개별 영향을 합산하면 중복된 예제가 이중으로 계산되고, 상호 보완적인 예제들의 시너지 효과가 간과되어, 열악한 그룹 할당과 비최적의 데이터 선택 (예: 매우 중복된 부분집합을 선택하는 경우) 을 초래합니다. 파라미터 이동에 대한 2 차 보정과 같은 이를 해결하려는 이전 시도들은 종종 대상 함수 자체가 이러한 이동에 어떻게 반응하는지를 놓쳤습니다.

방법론
저자들은 예제 간의 상호작용이 대상 함수에 어떻게 공동으로 영향을 미치는지 특징짓는 상호작용 인식 영향 함수를 제안합니다. 핵심 혁신은 파라미터 이동만을 선형화하는 것이 아니라, 훈련된 파라미터 $\hat{\theta}$ 주변에서 대상 함수 $f$를 2 차로 확장하는 것입니다.

1. 2 차 확장:
   정확한 그룹 제외 효과 $I^-(S) = f(\hat{\theta}_{D\setminus S}) - f(\hat{\theta})$는 $f$를 2 차까지 확장하여 근사합니다:
   $$\hat{I}^-(S) \approx \underbrace{\frac{1}{N} \nabla_\theta f(\hat{\theta})^\top u_S}_{\text{1 차 영향}} + \underbrace{\frac{1}{2N^2} u_S^\top H_f u_S}_{\text{상호작용 항}}$$
   여기서 $u_S = \sum_{z_i \in S} u_i$는 집계된 파라미터 이동이며, $u_i = H^{-1}\nabla_\theta \ell(z_i, \hat{\theta})$이고, $H_f = \nabla^2_\theta f(\hat{\theta})$는 대상 함수의 헤시안 (Hessian) 입니다.

2. 쌍별 상호작용 항:
   두 번째 항 (상호작용 항) 은 쌍별 기여도 $\kappa(z_i, z_j) = u_i^\top H_f u_j$의 합으로 분해됩니다.

   • 해석: $H_f$가 양정치 (positive definite) 일 경우, $\kappa(z_i, z_j)$는 두 예제의 효과가 대상에 미치는 정렬을 측정하는 내적으로 작용합니다.
   • 중복성 vs 상호 보완성: 이 항은 예제들이 모델이 유사한 방향으로 밀어낼 때 (중복성, 체감하는 수익) 양수이고, 반대 방향으로 밀어낼 때 (상호 보완성, 유익한 결합 효과) 음수입니다.
   • 폐형 분해 (Closed-Form Factorization): 이진 로지스틱 회귀의 경우, 저자들은 $\kappa(a, b) = (\sigma_a - y_a)(\sigma_b - y_b) \cdot \langle x_a, x_b \rangle_M$임을 증명합니다. 이는 공식적으로 서로 다른 레이블을 가진 유사한 예제들은 상호 보완적이고, 동일한 레이블을 가진 유사한 예제들은 중복적이라는 원리를 회복합니다.

3. 탐욕적 데이터 선택:
   이를 데이터 선택 (추가되었을 때 대상을 최소화하는 부분집합 $S$ 찾기) 에 적용하기 위해, 저자들은 이미 선택된 집합 $S$에 후보 $z_i$를 추가할 때의 한계 점수 $m(z_i | S)$를 유도했습니다. 이 점수는 이미 선택된 것들과 유사한 후보들을 처벌하는 $u_S^\top H_f u_i$ 항을 포함하여, 외부의 다양성 휴리스틱 없이도 개별 품질과 그룹 다양성을 효과적으로 균형 잡습니다.

주요 기여

• 이론적 프레임워크: 대상 함수의 2 차 확장에서 유도된 쌍별 상호작용 항으로 표준 1 차 합계를 보강한 새로운 영향 함수 추정기입니다. 이는 파라미터 이동을 확장한 이전 연구 (예: Basu et al. [5]) 와 구별되며, 더 안정적이고 해석 가능한 쌍별 구조를 제공합니다.
• 이론적 보장: 로지스틱 회귀에 대한 폐형 분해에서 상호작용 항이 고전적인 지도 학습 원칙 (다른 클래스 간 유사 쌍의 상호 보완성, 동일한 클래스 내 유사 쌍의 중복성) 을 인코딩함을 증명하였으며, 심층 다중 클래스 분류기로 확장 가능합니다.
• 알고리즘적 효율성: 필요한 양을 사전 계산하고 누적기를 업데이트하는 $O(KPd)$ 복잡도의 탐욕적 선택 절차 (알고리즘 1) 로, 대규모 데이터셋과 모델에 확장 가능합니다.

실험 결과
이 방법은 두 가지 주요 설정에서 평가되었습니다:

1. 재훈련에 대한 충실도 (소규모 모델):

   • 설정: 분류 및 회귀 작업 전반에 걸쳐 여섯 가지 데이터셋 - 모델 쌍 (로지스틱 회귀, MLP, ResNet-9) 에서 평가했습니다.
   • 지표: 추정된 영향과 실제 그룹 제외 재훈련 효과 간의 스피어만 순위 상관관계.
   • 결과: 상호작용 인식 추정기 (F+I) 는 모든 설정에서 가장 높은 상관관계를 달성하여, 표준 1 차 영향 (F) 과 2 차 파라미터 이동 보정 (F+B) 을 크게 능가했습니다. 특히 F+B 는 불안정성을 보였는데, 이는 비볼록 설정에서 파라미터 이동 확장의 이론적 조건 불량이 확인된 것입니다.

2. 부분집합 선택 (소규모 및 대규모 언어 모델):

   • 소규모 (MLP): MNIST 및 FashionMNIST 에서 표준 영향 기반 선택 (F) 은 소수의 클래스로 붕괴되어 무작위 선택보다 더 나쁜 성능을 보였습니다. 상호작용 인식 방법은 무작위 선택과 비교 가능한 클래스 엔트로피를 유지하며 가장 낮은 홀드아웃 테스트 손실을 달성했습니다.
   • 대규모 언어 모델 (Llama-3.1-8B): 약 27 만 개의 예제 풀에서 지시 튜닝 데이터 선택에 적용되었습니다.
   • 결과: 제안된 방법은 7 개의 하위 작업 (GSM8K, AQuA, ARC-E, HellaSwag, PIQA, ECQA, SQuAD) 모두에서 무작위 선택을 능가했습니다. 7 개 작업 중 5 개에서 전체적으로 가장 좋은 성능을 달성하여, 영향 기반 기준 (가법적 IF, LESS) 과 표현 유사성 기준 (RDS+, NV-Embed) 을 모두 능가했습니다. 중요한 점은 표준 영향 기반 선택 (가법적 IF) 이 대부분의 작업에서 무작위 선택보다 못 미쳤으며, 이는 이 영역에서 가법적 점수 매기기의 실패를 강조합니다.

의의 및 주장
이 논문은 그룹 할당이 단순히 파라미터 이동이 아니라 훈련 예제가 대상에 어떻게 영향을 미치는지에 관한 근본적인 문제라고 주장합니다. 대상에 대한 결합 효과를 통해 상호작용을 특징짓음으로써, 제안된 방법은 중복적인 데이터 선택으로 이어지는 가법적 점수 매기기의 "맹점"을 해결합니다. 저자들은 이러한 상호작용을 고려하는 것이 그룹 영향을 정확하게 추정하고 다양하며 효과적인 훈련 부분집합을 선택하는 데 모두 필수적임을 입증했습니다. 이 방법은 외부에서 부과된 다양성 페널티에 의존하는 것이 아니라, 대상 함수의 곡률에서 자연스럽게 도출되는 원칙적인 2 차 보정을 제공합니다.

한계점
저자들은 두 가지 주요 한계를 지적합니다:

1. 효과적인 탐욕적 선택 절차는 형식적인 최적성 보장이 부족합니다.
2. 추정기는 근본적인 헤시안 근사 (예: EK-FAC, 저랭크 투영) 로부터의 근사 오차를 계승합니다. 향후 연구는 확장 가능한 역헤시안 추정의 발전으로부터 혜택을 받을 수 있습니다.