💻 computer science

IncreFA: Breaking the Static Wall of Generative Model Attribution

이 논문은 생성 모델의 빠른 진화에 대응하기 위해 계층적 제약과 잠재 메모리 뱅크를 결합하여 새로운 모델이 등장할 때마다 지속적으로 적응할 수 있는 생성 모델 귀속 프레임워크인 IncreFA 를 제안합니다.

원저자: Haotian Qin, Dongliang Chang, Yueying Gao, Lei Chen, Zhanyu Ma

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

원저자: Haotian Qin, Dongliang Chang, Yueying Gao, Lei Chen, Zhanyu Ma

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

IncreFA: AI 그림의 '출처 추적기'가 진화하다

이 논문은 **"AI 가 만든 그림이 도대체 누가 그렸는지 알아내는 것"**에 대한 새로운 해결책을 제시합니다. 제목인 IncreFA는 이 기술의 핵심을 잘 보여줍니다.

기존의 방법들은 마치 고정된 수첩처럼, 한 번 만들어지면 새로운 AI 모델이 등장할 때마다 다시 처음부터 공부해야 했습니다. 하지만 IncreFA 는 살아있는 지능처럼, 새로운 AI 가 나올 때마다 기존 지식을 잃지 않고 계속 배워나갑니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴겠습니다.

1. 문제: "새로운 가짜가 매일 등장한다"

지금까지 AI 그림을 구별하는 기술은 수동적인 경찰과 같았습니다.

상황: 1 월에 '스타일GAN'이라는 가짜 그림이 나왔으면 경찰은 그 특징을 외웠습니다.
문제: 2 월에 '스타일GAN-XL'이라는 새로운 버전이 나오면? 기존 경찰은 "아, 이건 내 수첩에 없네?"라며 당황하거나, 무조건 가짜라고 오인합니다.
현실: AI 모델은 거의 매달 새로운 버전이 나옵니다. 기존 방식은 이 속도를 따라잡지 못해 구식이 되어버립니다.

2. 해결책: IncreFA (지속적으로 배우는 탐정)

IncreFA 는 이 문제를 **"계속해서 배우는 탐정"**으로 해결합니다. 이 탐정은 두 가지 특별한 능력을 가지고 있습니다.

① '가족 관계도'를 그리는 능력 (Hierarchical Constraints)

기존 탐정은 모든 가짜 그림을 개별적인 범인으로 따로따로 외웠습니다. 하지만 IncreFA 는 가족 관계를 이해합니다.

비유: "스타일GAN"과 "스타일GAN-XL"은 형제입니다. "디퓨전 (Diffusion)"과 "생성형 (Generative)"은 친척입니다.
작동 원리: IncreFA 는 이들을 가족 단위로 묶어서 기억합니다. 새로운 형제가 나타나면, "아, 이 집안의 특징을 이미 알고 있으니, 이 친구도 비슷할 거야"라고 추측하면서 빠르게 적응합니다.
효과: 새로운 모델을 처음 보더라도, 그 '가족'의 특징을 알고 있다면 쉽게 구별할 수 있습니다.

② '기억의 저장고'와 '가짜 연습' (Latent Memory Bank)

기억을 오래 유지하려면 과거의 자료를 다시 봐야 합니다. 하지만 모든 그림을 저장해 두면 용량이 터집니다.

비유: IncreFA 는 원본 그림을 저장하는 대신, 그림의 **핵심 특징 (잠재적 정보)**만 작은 메모장에 적어둡니다.
가짜 연습: 더 중요한 것은, 이 메모장을 이용해 아직 본 적 없는 가짜 그림을 스스로 만들어낸다는 점입니다.
- "A 가족의 특징 + B 가족의 특징을 섞어보자."
- 이렇게 만들어진 '가상의 낯선 그림'을 보고 "이건 내가 아는 그 누구도 아니야!"라고 연습합니다.
효과: 실제 세상에 전혀 새로운 AI 가 등장했을 때, "이건 내가 아는 범인이 아니야!"라고 정확히 짚어낼 수 있게 됩니다.

3. 결과: 왜 이것이 획기적인가?

이 논문은 2022 년부터 2025 년까지 나온 28 가지의 다양한 AI 모델로 실험했습니다.

기존 방식: 새로운 모델이 나올 때마다 성능이 뚝 떨어졌습니다. (마치 낡은 지도로 새로운 도시를 찾는 것)
IncreFA: 새로운 모델이 등장해도 이전 모델들을 잊지 않으면서 새로운 것도 잘 구별합니다.
- 성공률: 새로운 (보이지 않는) AI 가 만든 그림을 **98.93%**의 확률로 "이건 내가 모르는 AI 가 그렸다!"라고 찾아냈습니다.

4. 한 줄 요약

"IncreFA 는 AI 그림의 출처를 찾는 기술이 '한 번만 배우고 끝나는 시험'이 아니라, '새로운 가짜가 등장할 때마다 지혜를 더해가는 평생 학습'이 되도록 만든 혁신적인 시스템입니다."

이 기술 덕분에 앞으로 AI 가 만들어낸 가짜 이미지가 아무리 많아져도, 우리는 그 출처를 정확히 추적하고 디지털 미디어의 신뢰를 지킬 수 있게 될 것입니다.

1. 문제 정의 (Problem Definition)

최근 AI 생성 모델 (Diffusion, GAN, Autoregressive 등) 의 급속한 발전으로 인해 생성된 이미지의 출처를 추적하는 이미지 어트리뷰션 (Image Attribution) 작업이 정적인 접근 방식으로는 더 이상 유효하지 않게 되었습니다.

동적 환경의 한계: 새로운 생성 모델이 거의 매달 등장하며, 기존 워터마킹, 분류기, 역추적 (Inversion) 기반 방법론은 새로운 모델이 출시되는 순간 구식화됩니다.
기존 Incremental Learning 의 부적합성: 기존 클래스 증분 학습 (Class-Incremental Learning) 은 클래스 간 분리가 명확하고 독립적이라고 가정하지만, 생성 모델들은 계층적 (Hierarchical) 인 관계 (예: Stable Diffusion 1.4 와 1.5 는 아키텍처와 통계적 특성을 공유) 를 가지며 분포가 겹쳐 있습니다. 이로 인해 새로운 모델을 학습할 때 이전 모델의 지식이 망각되거나 (Catastrophic Forgetting), 부정적 전이 (Negative Transfer) 가 발생합니다.
Open-Set 인식 부재: 대부분의 기존 방법은 알려진 생성자 (Seen) 만을 인식하도록 설계되어 있으며, 훈련 중 보지 못한 새로운 생성자 (Unseen) 를 탐지하는 능력 (Open-set Recognition) 이 부족합니다.

2. 제안 방법: IncreFA (Methodology)

저자들은 이미지 어트리뷰션 문제를 구조화된 증분 학습 (Structured Incremental Learning) 문제로 재정의하고, IncreFA라는 프레임워크를 제안했습니다. 이 프레임워크는 생성 모델의 계층적 계보 (Lineage) 를 활용하여 두 가지 핵심 메커니즘을 통합합니다.

A. 계층적 제약 (Hierarchical Constraints)

생성 모델의 아키텍처 계층 (예: GAN, Diffusion, AR 등 큰 가족과 그 안의 세부 모델) 을 학습 가능한 직교 사전 (Learnable Orthogonal Priors) 으로 인코딩합니다.

세부 직교성 (Fine-Grained Orthogonality): 같은 가족 내의 서로 다른 모델들 간의 특징 벡터가 서로 직교하도록 유도하여 모델별 고유한 특징 (Idiosyncrasies) 을 분리합니다.
대규모 정규화 (Coarse-Level Regularisation): 서로 다른 가족 (예: Diffusion vs GAN) 간의 특징 공간이 직교하도록 하여 가족 수준의 불변성 (Invariants) 을 유지하면서도 가족 간 혼란을 방지합니다.
효과: 이를 통해 새로운 모델이 등장하더라도 가족 내 지식 공유는 유지하면서, 모델 간 구분은 명확하게 유지할 수 있습니다.

B. 잠재 메모리 뱅크 (Latent Memory Bank)

기존의 원본 이미지 재생 (Replay) 방식 대신, 압축된 잠재 특징 (Latent Features) 을 저장하여 메모리 효율성을 극대화하고 데이터 유출을 방지합니다.

잠재 재생: 이전 작업 (Task) 의 특징을 저장하여 새로운 모델 학습 시 재사용함으로써 망각을 방지합니다.
무작위 혼합 (Random Mixing) 을 통한 Unseen 시뮬레이션: 서로 다른 클래스의 잠재 벡터를 무작위로 선형 결합 ( $z_u = \beta z_1 + (1-\beta)z_2$ ) 하여 가상의 미관측 샘플 (Pseudo-unseen samples) 을 생성합니다.
Open-Set 보정: 생성된 가상 미관측 샘플에 대해 분류기의 신뢰도가 낮아지도록 정규화 (Regularization) 를 적용하여, 실제 미관측 생성자가 입력되었을 때 이를 '알려지지 않은 (Unseen)' 것으로 정확히 탐지할 수 있는 결정 경계를 학습합니다.

3. 주요 기여 (Key Contributions)

새로운 문제 정의: 생성 모델 어트리뷰션을 정적 분류가 아닌, 계층적 구조를 고려한 증분 학습 문제로 재정의했습니다.
IncreFA 프레임워크: 계층적 직교 사전과 잠재 메모리 뱅크를 결합하여, 새로운 모델 등장 시 기존 성능을 유지하면서도 미관측 모델을 탐지하는 능력을 동시에 확보했습니다.
IABench 벤치마크 구축: 2022 년부터 2025 년까지 출시된 28 개의 다양한 생성 모델 (GAN, Diffusion, AR 포함) 을 아우르는 새로운 벤치마크를 구축하고, 시간 순서대로 새로운 모델을 추가하는 증분 평가 프로토콜을 제시했습니다.
성능 입증: 기존 증분 학습 방법론 및 어트리뷰션 방법론 대비 압도적인 성능을 입증했습니다.

4. 실험 결과 (Results)

IABench에서 수행된 실험 결과, IncreFA 는 다음과 같은 성과를 거두었습니다.

증분 어트리뷰션 성능 (EP1):
- 8 단계의 증분 학습 (각 단계마다 4 개의 새로운 모델 추가) 을 거친 후, 최종 작업에서의 어트리뷰션 정확도는 **78.80%**로, 2 위 방법론 (98.04% 의 APER-Aperpter 등) 보다 3.12%p 높은 성능을 기록했습니다.
- 특히, 기존 방법론들은 새로운 모델이 추가될수록 성능이 급격히 저하되는 반면, IncreFA 는 안정적인 성능을 유지했습니다.
미관측 탐지 성능 (Unseen Detection):
- 훈련 중 보지 못한 최신 모델 (Nano-banana, Imagen3 등) 을 탐지하는 정확도가 **98.93%**에 달했습니다. 이는 기존 방법론들의 평균 (약 60~90% 대) 을 크게 상회합니다.
정적 어트리뷰션 성능 (EP2):
- 증분 제약 없이 모든 데이터로 학습했을 때, 평균 어트리뷰션 정확도 **95.93%**와 진위 판별 (Authenticity) 정확도 **99.97%**를 기록하여 최첨단 (SOTA) 성능을 달성했습니다.
Ablation Study:
- 계층적 제약 ( $L_1, L_2$ ) 과 잠재 재생 ( $L_{replay}$ ), Open-Set 정규화 ( $L_u$ ) 가 모두 성능 향상에 기여함을 확인했습니다. 특히 $L_u$ 는 미관측 탐지율을 획기적으로 높이는 핵심 요소였습니다.

5. 의의 및 결론 (Significance)

이 논문은 AI 생성 콘텐츠의 출처 추적이 모델의 진화와 함께 구조적으로 진화해야 한다는 통찰을 제공합니다.

실용성: 실제 환경에서 새로운 생성 모델이 계속 출시되는 상황에서, 매번 모델을 처음부터 재학습할 필요 없이 점진적으로 적응할 수 있는 체계를 제시합니다.
미래 방향: 고정된 분류 체계가 아닌, 생성 모델의 계층적 관계를 이해하고 적응하는 지능형 포렌식 시스템의 새로운 패러다임을 제시했습니다.

요약하자면, IncreFA는 생성 모델의 급속한 변화를 '벽 (Static Wall)'이 아닌 '연속적인 학습 과정'으로 바라보고, 계층적 구조와 효율적인 재생 메커니즘을 통해 이를 해결한 획기적인 연구입니다.