GUDA: Counterfactual Group-wise Training Data Attribution for Diffusion Models via Unlearning

기술 요약: GUDA – 언러닝(Unlearning)을 통한 확산 모델의 카운터팩추얼 그룹별 데이터 귀속(Counterfactual Group-wise Data Attribution)

1. 문제 정의

비전 생성 모델을 위한 학습 데이터 귀속(Data Attribution)은 특정 출력이 어떤 학습 데이터로부터 영향을 받았는지 식별하는 것을 목표로 합니다. 기존 방법들은 인스턴스 수준의 귀속(특정 학습 샘플 식별)에 집중하고 있지만, 실무자들은 그룹 수준의 귀속(예: 특정 예술적 스타일이나 객체 클래스가 생성에 가장 많이 기여했는지 식별)을 필요로 하는 경우가 많습니다.

핵심 과제는 그룹의 영향력이 **비가산적(non-additive)**이고 **비선형적(nonlinear)**이라는 점입니다. 단순히 인스턴스 수준의 점수를 합산하는 것만으로는 공유된 표현(shared representations) 내의 상호작용을 포착할 수 없습니다. 그룹 귀속의 이론적 "골드 스탠다드(gold standard)"는 Leave-One-Group-Out (LOGO) 카운터팩추얼입니다. 즉, 특정 그룹 $k$가 학습 데이터에서 완전히 제외되었을 때 생성된 샘플에 대한 모델의 행동이 어떻게 변하는지를 측정하는 것입니다. 그러나 이 카운터팩추얼을 구현하려면 $N+1$개의 모델(전체 모델 하나와 각 그룹을 제거한 $N$개의 모델)을 새로 학습시켜야 하며, 이는 대규모 확산 모델의 경우 계산 비용이 매우 높습니다.

2. 방법론: GUDA 프레임워크

저자들은 고비용의 LOGO 카운터팩추얼 모델을 처음부터 다시 학습시키는 대신, **머신 언러닝(machine unlearning)**을 사용하여 이를 근사하는 프레임워크인 **GUDA (Group Unlearning-based Data Attribution)**를 제안합니다.

핵심 개념:
$\theta_{logo}^{-k}$(그룹 $k$ 없이 학습된 모델)를 처음부터 다시 학습시키는 대신, GUDA는 전체 데이터 모델 $\theta_{full}$에서 시작하여 머신 언러닝 연산자를 적용해 그룹 $k$의 영향력을 선택적으로 제거함으로써 근사적인 카운터팩추얼 모델 $\theta_{ul}^{-k}$를 얻습니다.

귀속 점수 산출 (LOGOA):
귀속 점수는 전체 모델과 언러닝된 카운터팩추얼 모델 사이의 가능도 기반 점수 규칙(구체적으로는 Evidence Lower Bound, ELBO)의 차이로 정의됩니다:
$$\text{GUDA}_k(x_0, c) = \text{ELBO}(x_0|c; \theta_{full}) - \text{ELBO}(x_0|c; \theta_{ul}^{-k})$$
양수의 점수는 그룹 $k$가 샘플 $(x_0, c)$의 생성에 유의미하게 기여했음을 나타냅니다.

언러닝 구현:
언러닝 목적 함수는 두 가지 항으로 구성됩니다:

1. 보존 항 ($L_{preserve}$): 언러닝된 모델이 잔류 세트($D_{-k}$)에 대한 성능을 유지하도록 하여 파괴적 망각(catastrophic forgetting)을 방지하는 스코어 매칭 손실(score-matching loss)입니다.
2. 망각 항 ($L_{forget}$): 생성 설정에 따라 달라집니다:
   • GUDA-U (무조건 생성): ReTrack 기반의 리다이렉션(redirection)을 활용합니다. 모델이 망각 세트($D_k$)의 샘플을 잔류 세트($D_{-k}$)에서 유도된 중요도 가중치가 적용된 타겟을 향해 디노이징하도록 학습시켜, 잔류 전용 분포의 사후 평균(posterior mean)을 효과적으로 근사합니다.
   • GUDA-C (조건부 텍스트-이미지 생성): 스타일 그룹을 제거할 때 이미지와 프롬프트 분포가 모두 이동하는 문제를 다룹니다. 이를 위해 **가중 스타일 선택 앵커(Weighted Style-Selection Anchors)**를 사용합니다. 망각 쌍(이미지, 프롬프트)에 대해, 내용 설명은 유지하되 스타일 기술어(style descriptor)를 잔류 세트에서 샘플링된 것으로 교체하여 "앵커" 프롬프트를 구성합니다(CLIP 가중치 유사도를 통해 샘플링). 그 후 모델이 이 앵커 조건 하에서의 전체 모델 예측을 일치시키도록 학습하여, 조건 분포의 불일치 문제를 해결합니다.

3. 주요 기여

1. 그룹 귀속의 공식화: 본 논문은 전체 모델과 그룹 제거 모델 간의 ELBO 차이에 기반한 카운터팩추얼 추정량(LOGOA)으로서 그룹별 귀속을 공식화하였으며, LOGO 재학습을 오라클(oracle)로 설정하였습니다.
2. 언러닝 기반 근사: 머신 언러닝을 통해 이러한 카운터팩추얼을 근사하는 실용적인 프레임워크를 도입하였으며, CIFAR-10에서 LOGO 재학습 대비 약 $100\times$의 속도 향상을 달면했습니다.
3. 두 가지 구체적 인스턴스:
   • GUDA-U: ReTrack 기반의 중요도 가중 리다이렉션을 사용하는 무조건부 확산 모델용.
   • GUDA-C: 프롬프트 분포 변화를 처리하기 위해 CLIP 가중치 스타일 선택 앵커를 사용하는 조건부 텍스트-이미지 모델용.
4. 실증적 검증: GUDA가 주요 기여 그룹을 식별하는 데 있어 시맨틱 유사성 베이스라인(CLIPA) 및 인스턴스 수준 집계 방법(DAS, TRAK, D-TRAK)보다 우수함을 입증하였습니다.

4. 실험 결과

저자들은 두 가지 벤치마크에서 GUDA를 평가했습니다:

• CIFAR-10 (무조건부): 10개 클래스와 2,048개의 쿼리를 대상으로 했을 때, GUDA는 LOGO 오라클과 72.7%의 Top-1 일치도를 기록하며 CLIPA(66.2%)와 그래디언트 기반 방법(DAS: 71.6%, 그러나 훨씬 느림)을 능가했습니다. GUDA는 LOGO 재학습 대비 약 $100\times$의 실제 실행 시간(wall-clock time) 단축을 달성했습니다 (2시간 vs 207시간).
• UnlearnCanvas (조건부 텍스트-이미지): Stable Diffusion 1.5와 16가지 예술적 스타일을 사용하여, GUDA는 45.6%의 Top-1 일치도를 기록하여 CLIPA(33.8%) 및 이전의 언러닝 기반 귀속 방법(Wang et al., 2024, 4.7% 기록)을 크게 앞질렀습니다. 또한 GUDA는 NDCG@3 및 RBO 지표에서도 우수한 성능을 보여, 가장 영향력 있는 스타일을 더 잘 정렬함을 보여주었습니다.

주요 관찰 사항:

• 언러닝 품질의 중요성: ReTrack 기반 언러닝을 사용한 GUDA가 ESD(Erasing Stable Diffusion) 언러닝을 사용한 GUDA보다 성능이 월등히 높았으며, 이는 ReTrack과 LOGO 재학습 사이의 이론적 연결성을 입증합니다.
• 대안의 한계: 시맨틱 유사성(CLIPA)은 카운터팩추얼 그룹 효과를 포착하는 데 실패했으며, 인스턴스 수준 방법들은 그룹 수준의 귀속으로 확장하는 데 어려움을 겪어 헤드 식별(head-identification) 지표에서 거의 무작위 수준의 성능을 보였습니다.

5. 의의 및 주장

본 논문은 GUDA가 생성 모델 출력의 출처를 그룹 수준에서 이해하기 위한 확장 가능하고 실용적인 솔루션을 제공한다고 주장합니다. 카운터팩추얼 재학습이라는 이론적 이상과 대규모 모델의 계산적 현실 사이의 간극을 메움으로써, GUDA는 다음을 가능하게 합니다:

• 공정한 보상: 어떤 데이터 그룹(예: 아티스트)이 출력에 기여했는지 더 정확하게 식별.
• 디버깅: 생성에 부정적인 영향을 미치는 문제적 데이터 소스나 스타일 식별.
• 투명성: 막대한 비용이 드는 전체 재학습 없이도 생성 모델을 감사(audit)할 수 있는 방법 제공.

저자들은 GUDA가 인증된 삭제(certified deletion) 메커니즘이 아니라 귀속을 위한 계산적 근사치임을 강조합니다. 또한, LOGO와 정렬된 더 많은 언러닝 방법들이 등장함에 따라 이를 GUDA 프레임워크에 통합하여 귀속 품질을 더욱 향상시킬 수 있다고 언급합니다. 이 연구는 비선형적 그룹 상호작용을 포착하지 못하는 인스턴스 수준 근사를 넘어, 생성 모델의 그룹 수준 이해를 위한 확장 가능한 단계로 자리매김하고 있습니다.