기술 요약: Influcoder

문제 정의

대규모 언어 모델(LLM)의 능력이 향와함에 따라, 고품질 학습 데이터셋을 큐레이션하는 필요성이 심화되고 있습니다. 특히, 특정 학습 샘플이 독성 행동과 같은 특정 출력을 생성하도록 사전 조건화하는지를 식별할 수 있는 데이터 귀속(Data Attribution, DA) 방법에 대한 수요가 존재합니다. 영향력 함수(Influence Functions) (Koh and Liang, 2017)는 테스트 손실에 대한 학습 샘플의 효과를 정량화함으로써 이를 위한 이론적 프레임워크를 제공하지만, 그 실제 적용은 과도한 계산 비용과 저장 요구량으로 인해 제약을 받습니다. 기존 방법들은 종종 per-example 그래디언트나 역 헤시안(inverse Hessian) 근사를 필요로 하며, 이는 불안정하고 느립니다. 또한, 최근 연구들(Li et al., 2025; Ivison et al., 2025)은 많은 영향력 방법론들이 규모를 키울 때 무작위 베이스라인보다 성능이 나은 것을 보여주는 데 어려움을 겪는다는 점을 지적하며, 다른 연구들(Jiao et al., 2025)은 필터링에는 유망하지만 여전히 계산 비용이 많이 든다는 점을 보여줍니다.

방법론: Influcoder

저자들은 효율적이고 확장 가능한 데이터 귀속을 달성하기 위해, 압축된 인코더 모델에 그래디언트 영향력 순위를 증류(distill)하는 방법인 Influcoder를 제안합니다. 이 접근 방식은 LoRA(Low-Rank Adaptation) 그래디언트의 코사인 유사성에 기반한 1차 영향력 공식을 사용하여 역 헤시안 추정의 불안정성을 피합니다.

1. 그래디언트 영향력 공식화

본 방법은 전체 역 헤시안을 사용하는 대신, LoRA 어댑터 파라미터($\theta_L$)에 국한된 1차 영향력 공식(Garima et al., 2020)을 채택합니다. 안정성을 확보하고 높은 노름(norm)의 그래디언트에 가중치가 과하게 부여되는 것을 방지하기 위해, 내적(dot product)을 코사인 유사도로 대체합니다:
$$\text{Inf}'(p, q) = \cos(\nabla\ell(\theta_L, p), \nabla\ell(\theta_L, q))$$
여기서 $p$는 풀(pool, 학습) 샘플이고 $q$는 쿼리(query) 샘플입니다.

2. 2단계 학습 파이프라인

이 방법은 두 가지 별도의 단계로 작동합니다:

• 1단계: 정답 레이블 수집 (Ground Truth Label Collection)

  • 풀($P$)과 쿼리($Q$) 샘플이 타겟 디코더 모델을 통과합니다.
  • 그래디언트는 정보가 더 풍부하다고 간주되는 **응답 토큰(response tokens)**에 대해서만 계산됩니다 (프롬프트 마스킹).
  • 저장 공간을 줄이기 위해, 그래디언트는 CountSketch(Charikar et al., 2004)를 사용하여 저차원으로 투영됩니다.
  • "정답" 영향력 행렬($I_{GT}$)은 모든 풀과 쿼리 그래디언트 쌍 사이의 코사인 유사도를 계산하여 사전 계산됩니다.

• 2단계: 인코더로의 증류 (Distillation into an Encoder)

  • 인코더 모델(예: Ettin-encoder)은 매 쿼리마다 그래디언트를 계산할 필요 없이 입력 샘플로부터 직접 영향력 점수를 예측하도록 훈련됩니다.
  • 인코더는 풀 및 쿼리 샘플의 임베딩($E_p, E_q$)을 생성합니다.
  • 예측된 영향력($I_P$)은 이 임베딩들 사이의 코사인 유사도로 계산됩니다.

3. 순위 기반 손실 함수 (Ranking-Based Loss Function)

목표는 정확한 영향력 값을 예측하는 것이 아니라 샘플의 순위를 매기는 것이므로, 훈련 목적 함수는 두 가지 미분 가능한 순위 손실을 결합합니다:

• 피어슨 상관관계 손실 ($L_{Pearson}$): 전역적 일관성을 보장하기 위해 예측된 영향력 전체 배치를 정답 행렬과 정렬합니다.
• KL 발산 손실 ($L_{KL}$): 가장 영향력이 큰 상위 $k$개 샘플의 순위를 구체적으로 최적화하기 위해 각 쿼리에 적용되는 소프트맥스 기반 손실입니다.
• 전체 손실: $L_{Total} = \alpha L_{Pearson} + (1 - \alpha) L_{KL}$.

주요 기여

1. 새로운 증류 접근 방식: Influcoder는 그래디언트 영향력 순위(특히 LoRA 기반)를 인코더로 증류하는 최초의 방법으로, 훈련 손실(예: AirRep)이나 전체 그래디언트 프록시(예: IProX)에 집중하는 이전의 증류 작업들과 차별화됩니다.
2. 확장성 및 효율성: 값비싼 그래디언트 계산을 작은 인코더를 통한 순방향 패스(forward pass)로 대체함으로써, 방법론은 상당한 속도 향상과 저장 공간 절감을 달성합니다.
3. 실용적 필터링: 이 방법은 LLM 안전성을 위한 중요한 응용 분야인 독성 데이터 필터링에서 효능을 입증합니다.

실험 결과

저자들은 LESS, LoGRA, DataInf, RDS+, TF-IDF를 포함한 베이스라인들을 대상으로 Influcoder를 평가했습니다.

• 추론 속도 및 비용:

  • Influcoder(6나 파라미터)는 가장 가까운 프록시 모델인 45x 더 빠른 LoGRA 및 100x 더 빠른 LESS보다도 15x 더 빠르게 샘플을 처리합니다.
  • FLOPs 측면에서, Influcoder는 가장 가까운 프록시보다 5x 적게, LESS보다 44x 적게 사용합니다.
  • 저장 요구량은 극적으로 낮습니다 (Influcoder 30 MB vs LESS 320 MB vs LoGRA 2.24 GB).

• 귀속 품질:

  • 순위 상관관계: Influcoder는 의미론적 유사성 베이스라인 및 기타 투영 기반 방법들보다 현저히 우수한 성능을 보이면서, LESS와 비슷하거나 약간 낮은 수준의 평균 집계 스피어먼 상관관계(Mean-Aggregated Spearman correlations)를 달성합니다.
  • 독성 필터링: XSTest-response 태스크(독성 예시 필터링)에서, Inflocoder는 이질적(Heterogeneous) 환경에서 0.6981, 동질적(Homogeneous) 환경에서 0.6919의 AUPRC를 달성했습니다. LESS(0.7075 및 0.7562)보다는 약간 낮지만, DataInf(0.2157) 및 의미론적 베이스라인보다는 훨씬 뛰어납니다. 결정적으로, Influcoder는 LESS의 추론 시간인 ~2248초에 비해 ~32초라는 추론 시간으로 이 결과를 달성했습니다.

의의 및 한계

본 논문은 Influcoder가 그래디언트 기반 방법의 높은 정확도와 표현 기반 방법의 속도 사이의 트레이드오프를 균형 있게 조절하여, 대규모 환경에서의 효과적인 데이터 귀속을 향한 실행 가능한 경로를 제공한다고 주장합니다. 이는 속도가 필수적인 독성 필터링과 같은 작업에 영향력 함수를 사용할 수 있게 합니다.

그러나 저자들은 다음과 같은 중요한 한계점을 명시적으로 언급했습니다:

• 분포 의존성: 데이터 분포와 독립적으로 작동하는 LoGRA나 LESS와 달리, Influcoder의 성능은 훈련에 사용된 풀 및 쿼리 세트의 분포를 벗어나는 샘플이 들어올 경우 급격히 저하됩니다.
• 학습 데이터 요구량: 이 방법은 초기 영향력을 증류하기 위해 충분한 양의 학습 데이터를 필요로 합니다. 데이터가 부족한 작업에서는 성능이 저하됩니다.
• 설정 오버헤드: "플러그인" 방식과 달리, Influcoder는 그래디언트 스토킹(gradient stocking)과 인코더 훈련을 포함하는 초기 설정 단계를 필요로 하며, 이는 워크플로우의 복잡성을 더합니다.

결론적으로, Inflocoder는 데이터 분포가 알려져 있고 절대적인 순위 정밀도보다 빠른 추론이 우선시되는 시나리오에 특히 적합한, 비용 효율적이고 고속의 데이터 귀속 대안을 제공합니다.