💬 NLP

Epidemiology of Model Collapse: Modeling Synthetic Data Contamination via Bilayer SIR Dynamics

이 논문은 AI 모델과 데이터 코퍼스 간의 교차 오염을 모델링하기 위한 이중층 결합 SIR/SIRS 역학 프레임워크를 제안하며, 이론적 분석, 에이전트 기반 시뮬레이션, 그리고 실증적 실험을 통해 합성 데이터 오염이 탐지 기반 필터링이 가장 효과적인 완화 전략인 초임계 모델 붕괴 역학을 초래함을 입증한다.

원저자: Xiangyu Wang

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiangyu Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷이 거대하고 공유된 수영장이라고 상상해 보세요. 수년 동안 인간만이 그 안에서 헤엄치며 물보라를 일으키고 발자국(데이터)을 남겨왔습니다. 이제 인공지능(AI) 모델들이 뛰어들었습니다. 그들은 헤엄치는 법을 배우기 위해 주변을 돌며, 자신만의 물보라—합성 텍스트, 이미지, 코드—를 만들기 시작했습니다.

여기 문제가 있습니다. AI 모델이 더 잘 헤엄치기 위해 더 잘 헤엄치는 법을 배우려고 똑같은 수영장에서 물을 마시기 시작하면서 말이죠. 하지만 이제 물은 AI가 만들어낸 "물보라"와 섞여 있습니다. 만약 AI가 이 합성된 물을 너무 많이 마시게 되면, 스스로의 출력물에 질식하게 됩니다. 품질은 떨어지고, 창의성은 줄어들며, 자기 자신의 좀비 버전이 되어버립니다. 이것을 **"모델 붕괴(Model Collapse)"**라고 부릅니다.

기존의 대부분의 연구는 이를 한 사람이 한 번에 한 컵씩 계속 마시는 단일한 현상으로 보았습니다. 하지만 이 논문은 실제 세상은 그렇게 작동하지 않는다고 주장합니다. AI 생태계는 마치 모두가 술잔을 공유하며 파티를 즐기는 북적이는 파티장과 같습니다.

"바이러스" 비유

이 논문의 저자들은 이 혼란을 이해하기 위해 역학(질병 연구)에서 도구를 빌려오기로 했습니다. 그들은 합성 데이터 오염을 바이러스처럼 취급했습니다.

그들은 인간과 동물 사이에서 독감이 어떻게 퍼지는지와 유사한 이중 계층 모델을 만들었습니다.

계층 1: 데이터 풀 (The "Food" - 먹이)
- 감수성 있음 (Clean - 깨끗함): 신선한, 인간이 작성한 데이터.
- 감염됨 (Infected - 오염됨): AI가 생성한 텍스트가 섞인 데이터.
- 회복됨 (Recovered - 필터링됨): 탐지기에 의해 정화된 데이터.
계층 2: AI 모델 (The "Eaters" - 먹는 존재)
- 감수성 있음 (Susceptible - 건강함): 깨끗한 데이터로 학습된 모델.
- 감염됨 (Infected - 오염됨): 합성 데이터를 너무 많이 먹어서 저품질의 결과물을 만들어내고 있는 모델.
- 회복됨 (Recovered - 재학습됨): 나쁜 습관을 고치기 위해 깨끗한 데이터로 다시 학습된 모델.

바이러스가 퍼지는 방식:

감염된 모델이 나쁜 텍스트를 생성하여 데이터 풀에 쏟아부음으로써 데이터를 감염시킵니다.
감수성 있는 모델이 그 감염된 데이터를 먹고 학습하여, 스스로 감염된 모델이 됩니다.

이것은 피드백 루프입니다: 나쁜 모델이 나쁜 데이터를 만들고, 그 데이터가 더 많은 나쁜 모델을 만듭니다.

" $R_0$ " 수치: 붕괴가 확산될 것인가?

질병 통제에서 과학자들은 전염병이 폭발할지 아니면 사멸할지를 예측하기 위해 $R_0$ (기초 감염 재생산수)라는 숫자를 사용합니다.

$R_0 < 1$ 이면, 바이러스는 사멸합니다.
$R_0 > 1$ 이면, 바이러스는 확산되어 풍토병(항상 존재하는 상태)이 됩니다.

이 논문은 AI 오염에 대한 이 $R_0$ 를 계산합니다. 그 결과, 현재의 추세 하에서 $R_0$ 는 1보다 클 가능성이 높다는 것을 발견했습니다. 이는 "오염 바이러스"가 초임계 상태, 즉 단순한 일시적 오류가 아니라 우리가 개입하지 않으면 계속해서 퍼져나갈 지속적인 문제임을 의미합니다.

무엇이 확산을 가속화하는가? (민감도 분석)

연구진은 다음과 같이 질문했습니다: 우리가 이 흐름을 막기 위해 당길 수 있는 레버는 무엇인가? 그들은 다양한 요인을 테스트했습니다:

새로운 데이터가 생성되는 속도
모델이 은퇴(교체)되는 속도
AI 텍스트를 탐지하는 능력

승자: 가장 강력한 요인은 ** $\gamma_D$ (데이터 탐지/필터링)**였습니다.
이것을 데이터 풀의 면역 체계라고 생각하십시오. AI 생성 텍스트를 탐지하고 학습 데이터에서 제거하는 더 나은 도구를 갖춘다면, 확산을 극적으로 줄일 수 있습니다. 모델 업데이트 빈도와 같은 다른 요인들은 훨씬 덜 중요했습니다.

실험: 실제로 테스트했는가?

네. 그들은 단순히 수학적 계산만 한 것이 아니라, 작은 AI 모델(GPT-2)을 사용하여 실제 실험을 수행했습니다.

"독이 든 우물" 테스트: AI 생성 텍스트의 비율을 높여가며(0%에서 100%까지) 모델을 학습시켰습니다.
- 결과: "독"(합성 데이터)이 증가함에 따라 모델의 품질이 급격히 떨어졌습니다. 합성 데이터가 100%일 때, 모델은 거의 쓸모없는 수준이 되었습니다. 이는 "용량-반응(dose-response)" 개념을 확인시켜 주었습니다: 오염이 많을수록 붕괴는 심해집니다.
"다양한 출처" 테스트: 그들은 희망적인 질문을 던졌습니다: 만약 하나의 AI 모델이 아니라 여러 다양한 AI 모델의 데이터를 섞는다면 도움이 될까? 다양성이 완충 작용을 할 수 있을까?
- 결과: 오염도가 100%일 때는 아주 약간 도움이 되었지만, 현실적인 오염도(50%)에서는 아무런 효과가 없었습니다.
- 시사점: 출처를 섞는 것에 의존하지 마십시오. 물이 더럽다면, 다른 더 더러운 물과 섞는다고 해서 깨끗해지지 않습니다. 당신은 그것을 걸러내야 합니다.

핵심 결론

이 논문의 주요 메시지는 간단합니다:

AI 오염은 전염병과 같습니다. 모델과 데이터 사이에서 순환하며 퍼져나갑니다.
현재 확산 중입니다. 수학적 계산에 따르면 우리는 오염이 지속될 "초임계" 구역에 있습니다.
최선의 치료법은 탐지입니다. 모델 붕괴를 막는 가장 효과적인 방법은 데이터 소스를 다양화하는 것이 아니라, 학습 데이터에서 AI 생성 콘텐츠를 찾아내고 제거하는 더 나은 필터를 구축하는 것입니다.
면역력은 약해집니다. 오늘 데이터를 깨끗하게 만든다 해도, 내일 다시 오염될 수 있습니다. 일회성 해결책이 아니라 지속적인 감시(백신 부스터와 같은)가 필요합니다.

요약하자면, AI가 계속 똑똑하게 유지되기를 원한다면 그 식단을 깨끗하게 유지해야 합니다. 그리고 그렇게 하는 가장 좋은 방법은 합성된 쓰레기가 먹히기 전에 그것을 찾아내는 능력을 기르는 것입니다.

기술 요약: 모델 붕괴의 역학(Epidemiology of Model Collapse)

문제 정의

AI 생성 텍스트의 확산은 모델이 다른 모델에 의해 생성된 합성 데이터를 필연적으로 섭취하게 되는 피드백 루프를 형성했다. 기존 연구(예: Shumailov et al., Dohmatob et al.)는 재귀적 학습이 "모델 붕괴(model collapse)"—출력 품질과 다양성의 점진적 저하—를 유발한다는 점을 입증했지만, 이러한 분석은 이 현상을 **단일 사슬 과정(single-chain process)**으로 취급한다. 즉, 모델 A가 모델 B를 위한 데이터를 생성하고, 모델 B가 모델 C를 위한 데이터를 생성하는 선형적 계보로 모델링한다.

그러나 실제 AI 생태계는 사슬이 아닌 네트워크로서 기능한다. 수천 개의 모델이 공유 코퍼스를 소비하며, 이들의 출력물은 웹 게시 및 API를 통해 데이터 풀로 다시 유입되어 **교차 오염(cross-contamination)**을 일으킨다. 기존의 수학적 프레임워크는 이러한 생태계 수준의 역학을 설명할 정형화된 모델이 부족하다. 본 논문은 이러한 교차 오염 과정이 전염병 확산과 구조적으로 유사하다고 가정한다. 즉, 오염된 데이터가 학습 중에 모델을 "감염"시키고, 감염된 모델은 합성된 인공물(artifacts)을 데이터 코퍼스로 다시 "전파"한다.

방법론

저자들은 데이터 코퍼스와 AI 모델을 두 개의 상호작용하는 집단으로 취급하는 현상론적 평균장 상미분 방정식(mean-field ODE) 모델인 이층 결합 SIR/SIRS(bilayer coupled SIR/SIRS) 프레임워크를 제안한다.

1. 이층 SIR/SIRS 모델

시스템은 두 개의 층으로 구성된다:

데이터 층 (D): 감수성(Susceptible, $S_D$ , 깨끗한 코퍼스), 감염(Infected, $I_D$ , 오염된 코퍼스), 회복(Recovered, $R_D$ , 필터링/정제된 코퍼스)으로 구성된다.
모델 층 (M): 감수성(Susceptible, $S_M$ , 깨끗한 데이터로 학습된 모델), 감염(Infected, $I_M$ , 오염된 데이터로 학습된 모델), 회복(Recovered, $R_M$ , 깨끗한 데이터로 재학습된 모델)으로 구성된다.

역학:

층간 전파: 오염된 모델( $I_M$ )은 rate $\beta_D$ 로 데이터에 합성 콘텐츠를 주입하며, 오염된 데이터( $I_D$ )는 학습 중에 rate $\beta_M$ 로 모델을 감염시킨다.
회복: 데이터는 탐지( $\gamma_D$ )를 통해 정제되며, 모델은 재학습( $\gamma_M$ )된다.
교체: 데이터 노후화( $\mu_D$ ) 및 모델 은퇴( $\mu_M$ ).
SIRS 변형: 저자들은 표준 SIR 대신 **면역 약화( $\delta$ )**를 포함하는 SIRS 변형을 권장한다. 이는 필터링된 코퍼스와 재학습된 모델조차도 재오염에 취약할 수 있음을 반영한다.

2. 이론적 분석

기초 재생산 지수 ( $R_0$ ): 차세대 행렬(Next Generation Matrix, NGM) 방법을 사용하여 도출되었다. 저자들은 $R_0$ 가 두 층의 전파율의 기하 평균임을 보여준다:
$R_0 = \sqrt{\frac{\beta_D \beta_M}{(\gamma_D + \mu_D)(\gamma_M + \mu_M)}}$
임계값: 시스템은 $R_0 = 1$ 에서 천이 분기(transcritical bifurcation)를 겪는다. $R_0 < 1$ 이면 시스템은 질병 부재 평형(Disease-Free Equilibrium, DFE)으로 수렴한다. $R_0 > 1$ 이면 오염이 지속되는 풍토병 평형(Endemic Equilibrium, EE)이 존재한다.
확률적 일관성: 평균장 ODE 가정을 검증하기 위해 이분 네트워크 에이전트 기반 모델(ABM)을 구축하였다.

3. 경험적 검증

보정(Calibration): AI 텍text의 유병률 및 탐지 정확도에 대한 공개 데이터를 사용하여 파라미터를 추정하였다. 낙관적, 기본, 비관적 세 가지 시나리오를 정의하였으며, 모두 $R_0 > 1$ 을 나타냈다.
GPT-2 실험:
- 단일 사슬(Single-Chain): 오염 분율( $\alpha$ )을 0에서 1까지 테스트하며 WikiText와 Shakespeare 도메인에서 192회의 실행을 수행하였다.
- 매칭된 예산 소스 다양성(Matched-Budget Source-Diversity): $K$ 개의 서로 다른 소스( $K \in \{1, 3, 5\}$ )로부터 오는 합성 데이터를 혼합하는 것이 순수 자기 학습( $K=1$ )에 비해 붕괴를 완화하는지 테스트하는 1,088회의 실행을 수행하였다.
개입 분석: 6가지 전략(예: 워터마킹, 탐지 필터링)을 135개의 파라미터 조합에 대해 시나리오 기반 평가를 실시하였다.

주요 결과

1. 이론적 발견

초임계 역학(Supercritical Dynamics): 기본 보정 파라미터 하에서 시스템은 초임계 상태( $R_0 \approx 2.62$ )이며, 이는 개입 없이는 오염이 지속되고 성장할 것임을 예측한다.
민감도: Sobol 민감도 분석 결과, **데이터 탐지 및 제거율( $\gamma_D$ )**이 가장 높은 레버리지 파라미터로 식별되었으며, 그 뒤를 데이터 오염율( $\beta_D$ )과 모델 회복율( $\gamma_M$ )이 이었다. 교체율( $\mu_D, \mu_M$ )은 미미한 영향을 미쳤다.
ABM 일관성: ODE 모델은 조밀하고 균질한 네트워크에서 ABM과 높은 일치도( $R^2 > 0.96$ )를 보였다. 그러나 구조적 이질성(예: 슈퍼스프레더 노드 또는 희소한 연결성)이 있는 경우 일치도가 크게 저하되어, 평균장 근사의 한계를 나타냈다.

2. 실험적 발견

용량-반응 저하(Dose-Response Degradation): 실험은 오염 분율( $\alpha$ $α$ )과 성능 저하 사이의 단조 관계를 확인하였다.
- $\alpha=1.0$ (순수 합성 데이터)일 때, WikiText에 대한 Perplexity (PPL)는 33.52에서 126.92로 증가했고, Distinct-2 다양성은 0.68에서 0.38로 감소했다.
- $\alpha < 1$ 일 때, 저하는 더 느리지만 여전히 정체(plateau)가 아닌 성장 궤적을 따른다.
소스 다양성: 다중 소스 혼합( $K > 1$ $K > 1$ )이 붕괴를 완화할 것이라는 가설은 암시적이지만 약한 증거를 얻었다.
- $\alpha=1.0$ 일 때, $K$ 를 1에서 5로 늘리면 PPL이 약 2 감소하는 완만한 완화 효과를 보였다 ( $p=0.047$ , 단측 검정).
- $\alpha=0.5$ (실제 데이터 50%)일 때, 소스 다양성의 효과는 완전히 사라졌다 ( $p=0.61$ ).
- 결론: 오염 분율( $\alpha$ )이 지배적인 동인이며, 소스 다양성은 극단적인 경우에만 미미한 완충 역할을 할 뿐 현실적인 오염 수준에서는 효과가 없다.

3. 개입 분석

필터링 vs 다양성: 분석 결과, 탐지 기반 필터링( $\gamma_D$ 증가)과 집단 면역(감수성 풀 감소)을 달성하는 것이 가장 효과적인 전략임을 시사한다.
아임계 임계값(Subcritical Thresholds): 워터마크 기반 필터링이나 집단 면역을 포함한 전략만이 기본 파라미터 하에서 단독으로 $R_0 < 1$ 을 유도할 수 있었다.

의의 및 주장

본 논문은 AI 생태계 오염을 이층 전염병으로 모델링하는 최초의 현상론적 평균장 프레임워크를 제공한다고 주장한다. 주요 기여는 다음과 같다:

개념적 전환: 모델 붕괴 분석을 단일 사슬의 퇴화 문제에서 네트워크 수준의 교차 오염 문제로 전환하였다.
수학적 형식화: 이 시스템의 기초 재생산 지수 $R_0$ 가 두 층의 교차 전파율의 기하 평균임을 확립하였으며, 이는 데이터 층이나 모델 층 중 어느 쪽에서의 개입으로도 시스템을 아임계(subcritical) 상태로 유도할 수 있음을 의미한다.
실무적 지침: 실험 결과는 오염 분율을 줄이는 것(탐지 및 필터링을 통해)이 합성 데이터의 소스를 다양화하는 것보다 훨씬 더 효과적인 개입 전략임을 시사한다. 전염병 이론에서는 이론적으로 타당해 보이는 "소스 다양성" 가설은 실제 오염 수준에서는 무시할 만한 실질적 영향만을 보였다.

저자들이 인정한 한계점:

모델은 이질성이 높을 경우 성능이 저하되는 정형화된 평균장 근사치이다.
보정은 정밀한 생태계 측정이 아닌 공공 추정치에 기반한 예시적 성격을 띤다.
실험은 GPT-2 (124M)를 대상으로 수행되었다. 이를 더 큰 모델(7B+) 및 지속적 사전 학습(continual pretraining)으로 확장하는 것은 미해결 과제이다.
SIR 컴파트먼트를 AI 상태에 매핑하는 것은 현상론적이다. 실험은 컴파트먼트 분율을 직접 측정하지 않는다.

저자들은 전염병 프레임워크가 오염에 대해 추론하기 위한 원칙적인 어휘( $R_0$ , 집단 면역, 개입 임계값)를 제공하지만, 완화를 위한 지배적인 레버는 생태계의 다양성이라는 구조적 변화보다는 합성 데이터 섭취( $\alpha$ )를 줄이는 것임을 강조하며 결론을 맺는다.