💻 computer science

DMin: Scalable Training Data Influence Estimation for Diffusion Models

이 논문은 기존 방법의 계산적 한계를 극복하고, 수십억 개의 파라미터를 가진 대규모 확산 모델에 대해 효율적인 그라디언트 압축을 통해 저장 공간을 극도로 줄이고 1 초 이내에 학습 데이터의 영향을 추정할 수 있는 확장 가능한 프레임워크 'DMin'을 제안합니다.

원저자: Huawei Lin, Yingjie Lao, Weijie Zhao

게시일 2026-04-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Huawei Lin, Yingjie Lao, Weijie Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"DMin"**이라는 새로운 기술을 소개합니다. 이 기술은 AI 가 그림을 그릴 때, 어떤 학습 자료 (이미지) 가 가장 큰 영향을 미쳤는지 찾아내는 역할을 합니다.

기존에는 이 작업을 하려면 엄청난 컴퓨터 자원과 시간이 필요해서, 아주 작은 AI 모델에서만 가능했습니다. 하지만 DMin 은 수십 억 개의 파라미터를 가진 거대 AI 모델에서도 이 작업을 초고속으로, 그리고 아주 적은 저장 공간으로 가능하게 해줍니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🎨 비유: 거대한 미술관과 그림의 '조상' 찾기

상상해 보세요. AI 는 거대한 미술관 (학습 데이터) 에서 수백만 개의 그림을 보고 배워서 새로운 그림을 그리는 천재 화가입니다.

이 화가가 어떤 새로운 그림을 그렸을 때, **"이 그림을 그릴 때 미술관 속의 어떤 그림들이 가장 큰 영감을 주었을까?"**를 찾아내는 것이 이 연구의 목표입니다.

1. 기존 방법의 문제점: "무거운 가방을 들고 다니는 것"

기존에 이 작업을 하려면, 화가가 그리는 과정 (학습 과정) 을 하나하나 추적해야 했습니다.

문제: 미술관 (데이터) 이 너무 크고, 화가 (AI) 가 너무 복잡해서, 모든 그림의 영향을 계산하려면 수백 개의 트럭 (테라바이트 TB) 분량의 데이터를 저장해야 했습니다.
결과: 일반 컴퓨터로는 감당할 수 없어서, 아주 작은 미술관 (작은 AI) 에서만 가능했습니다. 마치 수백 킬로그램짜리 가방을 매고 산을 오르는 것과 같아서, 큰 산 (거대 AI) 에는 올라갈 수 없었습니다.

2. DMin 의 혁신: "요술 지팡이와 초고속 검색"

DMin 은 이 문제를 해결하기 위해 두 가지 마법 같은 기술을 사용했습니다.

① 압축 기술 (가방을 줄이다)

비유: 기존에는 그림의 모든 세부 묘사 (그라디언트) 를 그대로 가져가야 했지만, DMin 은 그림의 핵심 특징만 뽑아서 아주 작은 포스트잇 (킬로바이트 KB) 크기로 줄여버립니다.
효과: 수백 톤짜리 트럭이 필요했던 데이터가 이제 가방 하나 (메가바이트 MB) 정도만 차지하게 되었습니다. 덕분에 거대 AI 모델에서도 데이터를 저장하고 관리할 수 있게 되었습니다.

② KNN 검색 (친구 찾기)

비유: 이제 "이 그림과 가장 비슷한 그림은 어디에 있을까?"라고 물으면, DMin 은 수백만 장의 그림을 일일이 비교하는 게 아니라, '요즘 뜨는 친구' (K-Nearest Neighbors) 를 찾는 알고리즘을 사용합니다.
효과: 1 초도 걸리지 않는 시간에 "이 그림은 A, B, C 그림에서 영감을 받았어요!"라고 정확히 찾아냅니다.

🚀 왜 이것이 중요한가요?

투명성 (Transparency): AI 가 그리는 그림이 어디서 왔는지 알 수 있습니다. "이 그림이 너무 이상해"라고 할 때, "아, 학습 데이터 중의 이 특정 그림 때문에 저렇게 나왔구나"라고 원인을 파악할 수 있습니다.
편향 제거 (Bias): AI 가 특정 성별이나 인종에 대해 편향된 그림을 그렸다면, 어떤 학습 데이터가 그 원인이었는지 찾아내어 고칠 수 있습니다.
저작권 보호: "내 그림이 AI 학습에 쓰였나?"를 확인하는 데 도움을 줄 수 있습니다.

📊 실험 결과 (간단히)

정확도: DMin 은 기존 방법들보다 훨씬 정확하게 영향을 준 그림들을 찾아냈습니다. (예: '꽃' 그림을 그렸을 때, '레고' 그림이 아닌 '꽃' 그림들을 상위권에 찾아냈습니다.)
속도: 기존 방법은 수 시간에서 수 일이 걸렸던 작업을 0.01 초~1 초 만에 해결했습니다.
저장 공간: 기존에는 300 테라바이트 (TB) 정도가 필요했는데, DMin 은 726 메가바이트 (MB) 정도로 줄였습니다. (약 40 만 배 감소!)

💡 결론

DMin은 거대 AI 모델의 "머릿속"을 들여다볼 수 있게 해주는 초소형, 초고속 탐정입니다. 덕분에 우리는 이제 AI 가 어떻게 배우고, 무엇을 참고하여 그림을 그리는지 훨씬 더 쉽고 빠르게 이해할 수 있게 되었습니다.

1. 문제 정의 (Problem Statement)

확산 모델 (Diffusion Models, DM) 은 고품질의 이미지 생성을 가능하게 하지만, 학습 데이터의 편향이나 해로운 콘텐츠가 생성 결과에 어떻게 영향을 미치는지 파악하는 것은 여전히 어려운 과제입니다. 이를 해결하기 위해 학습 데이터 샘플이 특정 생성 이미지에 미치는 영향 (Influence) 을 추정하는 연구가 진행되어 왔으나, 기존 방법론은 다음과 같은 심각한 한계에 직면해 있습니다.

확장성 부족 (Scalability): 기존 영향 추정 방법 (예: DataInf, K-FAC 등) 은 2 차 미분 (Hessian 행렬 역행렬) 이나 대규모 무작위 투영 행렬을 필요로 합니다.
저장 공간의 비현실적 요구: 예를 들어, 20 억 (2B) 개의 파라미터를 가진 Stable Diffusion 3 Medium 모델의 경우, 10,000 개의 학습 샘플에 대해 10 개의 타임스텝에서 그래디언트를 저장하려면 약 800 TB의 저장 공간이 필요합니다. 이는 일반적인 하드웨어로는 처리 불가능한 규모입니다.
모델 크기 제한: 이로 인해 기존 방법들은 LoRA(저랭크 적응) 로 미세 조정된 모델이나 매우 작은 모델에만 적용 가능했습니다.

2. 제안 방법: DMin (Methodology)

저자들은 **DMin (Diffusion Model Influence)**이라는 확장 가능한 영향 추정 프레임워크를 제안합니다. DMin 은 수백 TB 의 저장 공간을 MB 또는 KB 단위로 줄이면서, 수십억 개의 파라미터를 가진 대규모 확산 모델에서도 실시간으로 영향 추정이 가능하도록 설계되었습니다.

핵심 기술 요소

그래디언트 계산 및 수집:
- 학습 데이터 샘플 $(x_i, p_i)$ 과 생성된 테스트 이미지 $(x_s, p_s)$ 에 대해 확산 모델의 각 타임스텝 $t$ 에서 그래디언트를 계산합니다.
- LoRA 모델의 경우 어댑터 파라미터만, 전체 미세 조정 (Full Fine-tuning) 모델의 경우 모든 파라미터의 그래디언트를 수집합니다.
고효율 그래디언트 압축 (Gradient Compression):
- 기존 무작위 투영 (Random Projection) 방식은 투영 행렬 자체의 저장 비용이 너무 커서 대규모 모델에 부적합했습니다.
- DMin 은 4 단계 압축 기법을 도입하여 저장 비용을 극적으로 줄입니다:
  1. 패딩 (Padding): 그래디언트 벡터 길이를 $v$ 의 배수로 맞춤.
  2. 순열 (Permutation): 임의의 순열을 적용하여 벡터 구조를 무작위화.
  3. 임의 투영 (Random Projection): -1 또는 1 로 구성된 이진 벡터와 요소별 곱셈 수행 (저장 공간 1 비트/원소).
  4. 그룹 덧셈 (Group Addition): 그룹 내 원소를 합산하여 차원을 축소.
- 결과: 그래디언트 벡터와 순열 인덱스만 저장하면 되므로, 저장 공간이 수백 TB 에서 KB/MB 수준으로 감소합니다 (예: SD 3 Medium Full 모델 기준 339 TB $\to$ 726 MB).
정규화 (Normalization):
- 심층 모델에서 발생하는 그래디언트의 불안정성 (극단적으로 큰 값) 을 해결하기 위해, 압축 전 L2 정규화를 적용합니다. 이는 내적 계산 시 특정 값이 지배하는 것을 방지하여 정확도를 유지합니다.
KNN 기반 실시간 검색:
- 압축된 그래디언트를 기반으로 K-최근접 이웃 (KNN) 인덱스 (HNSW 알고리즘 사용) 를 구축합니다.
- 이를 통해 특정 생성 이미지에 대해 가장 영향력이 큰 Top-k 학습 샘플을 1 초 미만으로 검색할 수 있습니다.

3. 주요 기여 (Key Contributions)

대규모 모델 지원: 기존에 불가능했던 수십억 파라미터 규모의 확산 모델 (Stable Diffusion 3 Medium 등) 에 대한 영향 추정 가능.
저장 효율성 혁신: 그래디언트 압축 기술을 통해 저장 요구량을 약 0.00017% 수준으로 감소 (TB 단위 $\to$ MB 단위).
실시간 처리: KNN 검색을 활용하여 Top-k 영향력 샘플을 1 초 미만에 추출 가능.
오픈 소스 제공: 다중 프로세싱을 지원하는 PyTorch 구현체 공개.

4. 실험 결과 (Results)

저자들은 SD 1.4 (LoRA), SD 3 Medium (LoRA 및 Full), 그리고 MNIST/CIFAR-10 기반 DDPM 모델에서 실험을 수행했습니다.

정확도 (Detection Rate):
- 다양한 데이터셋 (꽃, 레고, 마법 카드 등) 에서 생성된 이미지의 영향력 있는 학습 샘플을 찾는 능력을 평가했습니다.
- DMin 은 무작위 선택, SSIM, CLIP 유사도, LiSSA, DataInf, D-TRAK 등 기존 베이스라인보다 **압도적으로 높은 탐지율 (Detection Rate)**을 기록했습니다.
- 특히 SD 3 Medium (Full) 모델에서 DMin 은 Top-5 기준 96% 이상의 정확도를 보인 반면, 기존 방법들은 저장 공간 부족으로 실행 자체가 불가능하거나 성능이 저하되었습니다.
- 정규화 (Normalization) 와 압축 (Compression) 기법이 모두 성능 향상에 필수적임을 입증했습니다.
시간 및 메모리 효율성:
- 저장 공간: SD 3 Medium (Full) 기준, 비압축 시 339.39 TB 가 필요했으나, DMin ( $v=2^{12}$ ) 은 726 MB로 줄였습니다.
- 처리 속도: 전체 학습 데이터에 대한 영향 점수 추정을 위해 LiSSA 는 17 시간, DataInf 는 7 시간이 소요된 반면, DMin(KNN) 은 0.084 초 만에 처리했습니다 (약 18,000 배 이상의 속도 향상).

5. 의의 및 결론 (Significance)

실용적 적용 가능성: 수백 TB 의 저장 공간과 긴 계산 시간이 필요했던 기존 접근법의 한계를 극복함으로써, 실제 산업 환경에서 대규모 AI 모델의 영향력 분석을 실용화할 수 있는 토대를 마련했습니다.
확장성: 이 프레임워크는 U-Net 이나 트랜스포머 아키텍처를 막론하고 다양한 확산 모델 구조에 적용 가능합니다.

요약하자면, DMin은 그래디언트 압축과 KNN 검색을 결합하여, 기존에 계산 및 저장 비용 때문에 불가능했던 대규모 확산 모델의 학습 데이터 영향력 분석을 가능하게 한 획기적인 프레임워크입니다.