Position: the Stochastic Parrot in the Coal Mine. Model Collapse is a Threat to Low-Resource Communities

이 정책 논문은 생성형 AI 를 자체 출력으로 학습시키는 과정에서 발생하는 모델 붕괴가 데이터 품질과 효율성을 저하시켜 AI 의 민주화를 위협하며, 강화된 문화적 편향과 환경 비용으로 인해 저자원 및 소외 계층에 불균형적으로 해를 끼친다고 주장한다.

핵심

"모델 붕괴는 저자원 공동체에 대한 위협이다"라는 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 풀어냅니다.

큰 그림: 탄광 속의 '확률적 앵무새'

탄광 속의 금조를 상상해 보세요. 과거 광부들은 위험한 가스를 감지하기 위해 금조를 사용했습니다. 새가 노래를 그치면 광부들은 도망쳐야 한다는 것을 알았습니다.

이 논문은 저자원 공동체(덜 흔한 언어를 사용하거나 가난한 지역에 사는 사람들) 가 바로 그 '금조'라고 주장합니다. 그들은 모델 붕괴라는 현상의 위험을 가장 먼저 느끼는 존재들입니다.

모델 붕괴란 무엇일까요?
사진 복사기들이 모여 '전화놀이'를 하는 게임을 상상해 보세요.

1. 선명하고 원래 사진 (실제 인간 데이터) 으로 시작합니다.
2. 복사합니다. 약간 흐릿해집니다.
3. 그 흐릿한 복사본을 가지고 새로운 복사본을 만듭니다. 더 흐릿해집니다.
4. 복사본을 복사하는 과정을 계속 반복합니다.

결국 이미지는 진흙투성이의 알아볼 수 없는 뭉개진 무언가가 됩니다. 세부 사항은 사라지고 가장 흔하고 일반적인 형태만 남습니다.

인공지능 세계에서는 새로운 AI 모델이 이전 AI 모델이 생성한 데이터로 학습될 때 이런 일이 발생합니다. AI 는 자신이 본 가장 흔한 패턴을 반복하는 경향이 있기 때문에, 시간이 지남에 따라 '희귀한' 그리고 '독특한' 세부 사항들이 사라집니다. AI 는 확률적 앵무새가 됩니다. 들리는 소리를 모방하지만 그 의미를 이해하지 못하며, 세대를 거치면서 가장 크고 흔한 소리만 반복하고 조용하고 독특한 소리들은 잊어버립니다.

문제: 왜 더 가난한 공동체가 먼저 피해를 보는가

이 논문은 이 '복사 놀이'가 모두에게 해를 끼치지만, 저자원 공동체의 문화는 훨씬 더 빠르게 파괴된다고 주장합니다. 그 이유는 세 가지 주요 비유를 통해 설명됩니다.

1. '부자 vs 가난한 사람'의 데이터 식단

건강을 유지하려는 두 사람을 상상해 보세요.

• **부유한 사람 **(고자원) 신선하고 실제 음식 (실제 인간 데이터) 으로 가득 찬 거대한 식량을 가지고 있습니다. 가공된 가짜 음식 (AI 생성 데이터) 을 일부 먹더라도, 실제 음식이 너무 많기 때문에 식단은 여전히 건강합니다.
• **고생하는 사람 **(저자원) 식량이 매우 적습니다. 실제 음식 캔이 몇 개뿐입니다. 배를 채우기 위해 가공된 가짜 음식에 의존해야 한다면, 실제 음식은 매우 빠르게 고갈됩니다.

논문의 주장: 많은 아프리카 원주민 언어와 같은 저자원 언어는 인터넷상에 데이터가 매우 적습니다. AI 가 인터넷을 AI 생성 텍스트로 채우기 시작하면, 이러한 언어들은 가짜 것을 희석시킬 실제 데이터가 충분하지 않기 때문에 거의 즉시 '중독'됩니다. 그들의 독특한 문화적 '맛'이 가장 먼저 사라집니다.

2. 권력의 '에코 챔버'

모두가 외치는 광장을 상상해 보세요.

• 가장 큰 목소리 (영어, 서구 문화, 지배적인 견해) 는 이미 모두에게 들립니다.
• 작은 목소리 (소수 집단, 특정 지역 방언) 는 거의 들리지 않습니다.

AI 가 인터넷에서 학습할 때, 그것은 가장 큰 목소리만 증폭시키는 확성기처럼 작동합니다. AI 가 더 많은 콘텐츠를 생성할수록, 그 큰 목소리를 반복해서 내뱉습니다. 작은 목소리는 완전히 묻힙니다.
논문의 주장: 모델 붕괴는 '가치 잠금'처럼 작용합니다. 문화를 과거에 고정시켜 지배적인 견해를 고착화하고, 소외된 집단이 사회적 규범을 바꾸거나 언어를 되찾으려는 시도를 지워버립니다. AI 는 분포의 '꼬리' 부분, 즉 희귀하고 독특하며 다양한 사람들의 말투를 잊어버립니다.

3. 고치려는 시도의 '탄소 비용'

누수 난 지붕을 고치려 한다고 상상해 보세요.

• 부유한 사람은 새 지붕 판을 사고 수리 팀을 고용할 여유가 있습니다.
• 고생하는 사람은 테이프와 판지로 임시로 막아야 하는데, 이는 저축을 탕진하게 만들고 집은 더 뜨거워집니다.

논문의 주장: 모델 붕괴를 막기 위해 연구자들은 더 많은 실제 데이터가 필요합니다. 하지만 실제 데이터를 수집하는 것은 비용이 많이 들고 막대한 에너지 (뜨겁게 달아오르는 컴퓨터) 가 필요합니다.

• 저자원 공동체는 종종 기후 변화와 에너지 부족으로 이미 고통받는 지역에 살고 있습니다.
• 그들은 거대한 AI 모델을 학습시키는 환경적 비용을 짊어지지만, 그로부터 얻는 혜택은 가장 적습니다.
• AI 생성 노이즈에 의해 언어가 지워지는 것을 막기 위해 충분한 실제 데이터를 '구매'할 여유가 없습니다.

'확률적 앵무새' 비유

이 논문은 오래된 아이디어를 다시 꺼냅니다. AI 는 '확률적 앵무새'입니다. 이해하지 못하고 통계에 기반해 다음 단어를 예측할 뿐입니다.

• 논문의 시각: AI 가 더 똑똑해졌더라도 여전히 앵무새입니다. 앵무새에게 가장 흔한 문구만 먹이면, 더 이상 흥미로운 말은 하지 않게 됩니다.
• 위험: 저자원 공동체에게 '흥미로운 문구'(그들의 독특한 문화, 속어, 역사) 는 통계적으로 희귀하기 때문에 앵무새가 가장 먼저 잊어버리는 것들입니다.

이 논문은 우리에게 무엇을 하길 원할까요?

저자들은 행동 촉구를 하고 있습니다. AI 가 완전히 망가질 때까지 기다렸다가 걱정해서는 안 된다고 말합니다.

1. 금조의 목소리에 귀 기울이기: 저자원 공동체는 사후 고려 사항이 아니라 이 대화의 리더가 되어야 합니다.
2. 실제 데이터 보호: 이러한 취약한 언어를 위해 AI 생성이 아닌 실제 인간 콘텐츠로만 구성된 특별한 '안전 구역' 데이터를 만들어야 합니다.
3. 가짜 식별: 훈련 데이터가 중독되기 전에 AI 생성 텍스트를 걸러낼 수 있도록 더 나은 도구가 필요합니다.
4. 위험 수용: 논문은 AI 가 전 세계적으로 오랫동안 망가지지 않을지도 인정하지만, 특정 소규모 공동체에게는 그 '파괴'가 지금 바로 일어나고 있다고 말합니다.

요약

이 논문은 AI 가 더 많은 콘텐츠를 생성함에 따라 AI 를 더 '어리석고' 반복적으로 만드는 피드백 루프를 만든다고 경고합니다. 이 과정은 희귀하고 독특한 것을 제거하는 필터처럼 작용합니다. 저자원 공동체는 이미 온라인에서 대표성이 부족하기 때문에, 그들의 독특한 문화와 언어는 이 과정에 의해 지워질 위험이 가장 높으며, 그 결과 그들은 동질화되고 지배적인 세계 버전만 남게 됩니다.

기술 요약

기술 요약: 저자원 커뮤니티에 대한 위협으로서의 모델 붕괴

문제 제기
본 논문은 이전 세대의 유사한 모델이 생성한 데이터로 학습될 때 생성 모델의 성능과 다양성이 저하되는 현상인 **모델 붕괴 (model collapse)**를 다룬다. 인공적으로 생성된 콘텐츠가 급증하여 (2025 년까지 인터넷의 약 30% 에 달할 것으로 추정됨) successive 모델 세대가 점차 '합성 (synthetic)' 데이터에 의존하게 되면서, 모델이 학습 분포의 지배적인 패턴에 과적합되고 희귀하거나 '꼬리 (tail)'에 해당하는 예시들이 체계적으로 소멸되는 피드백 루프가 형성된다.

저자들은 모델 붕괴가 일반적인 기술적 위험이기는 하지만, 저자원 및 소외된 커뮤니티에 불균형적이고 실존적인 위협을 가한다고 주장한다. 이러한 커뮤니티는 이미 다음과 같은 문제에 시달리고 있다:

1. 과소 대표성: 그들의 데이터는 글로벌 데이터 분포의 '꼬리' 부분을 차지한다.
2. 환경적 불평등: 대규모 모델 학습의 탄소 발자국과 인프라 비용을 부담하면서도 그에 상응하는 혜택을 누리지 못한다.
3. 문화적 편향: 대규모 언어 모델 (LLM) 은 지배적인 관점을 강화하고 구식 사회적 규범을 '가치 잠금 (value-lock)'하는 경향이 있다.

본 논문은 모델 붕괴가 디지털 영역에서 저자원 언어와 문화적 뉘앙스를 제거하는 '지우개 엔진 (erasure engine)'으로 작용하여 AI 민주화 노력을 훼손한다고 본다.

방법론 및 이론적 틀
이 연구는 새로운 실험 결과를 제시하기보다 기존 이론 및 경험적 문헌을 종합한 **입장 논문 (position paper)**이다. 방법론은 다음과 같다:

• 문헌 종합: 모델 붕괴에 대한 연구 결과 (예: Shumailov 외, 2024; Dohmatob 외, 2024) 와 편향 및 환경 비용에 관한 LLM 비판 (예: Bender 외, 2021; Strubell 외, 2019) 을 통합한다.
• 이론적 적용: 신경 확장 법칙 (neural scaling laws) 개념을 합성 데이터 시나리오에 적용한다. 저자들은 소량의 합성 데이터 (약 1%) 만이 확장 지수를 변경하여 데이터셋 크기를 늘려도 비례적인 성능 향상이 더 이상 발생하지 않는 '유리 천장 (glass ceiling)'을 초래한다는 사실을 활용한다.
• 인지과학적 유추: 모델 붕괴와 인지과학의 반복 학습 (iterated learning, IL) 간의 유사점을 도출한다. IL 이 정규화로 이어질 수 있지만, 외부 개입 없이는 표현력의 상실과 밀접하게 관련된 데이터 포인트 간의 차이 망각을 초래할 위험이 있음을 지적한다.
• 정의에 대한 비판적 분석: 모델 붕괴의 정의와 관련된 최근 논쟁 (특히 Schaeffer 외, 2025) 에 참여한다. 저자들은 세 가지 유형을 구분한다: (1) 원래 분포에 적합하지 못하게 되는 점진적 무능, (2) 데이터 분포의 변형 (꼬리 부분의 소실), (3) 추가 데이터의 한계 효용 감소.

주요 기여

1. 교차적 위험 분석: 이 논문의 주요 기여는 모델 붕괴의 기술적 메커니즘을 저자원 커뮤니티의 사회경제적 현실과 연결하는 것이다. 모델 붕괴는 균일한 위협이 아니라 계층화된 위협이며, 소외된 집단의 데이터가 이미 희소하고 분포의 꼬리에 위치해 있기 때문에 '최악의 시나리오'를 먼저 맞이한다고 주장한다.
2. '삼중 (Threefold)' 불리함: 저자들은 저자원 커뮤니티에 대한 누적적 불리함을 식별한다:
   • 데이터 부족: 제한된 실제 데이터로 인해 합성 데이터에 의해 덮어쓰기되기 더 취약하다.
   • 환경 비용: 모델 붕괴를 극복하기 위해 필요한 더 많은 컴퓨팅 자원 (더 많은 데이터 수집 또는 더 큰 모델 학습) 은 환경 피해를 악화시키며, 이는 이러한 커뮤니티에 불균형적으로 영향을 미친다.
   • 문화적 말살: '가치 잠금' 효과가 증폭되어 지배적인 관점이 고착되는 반면, 소수 방언, 코드 스위칭, 재획득된 언어는 체계적으로 잊혀진다.
3. '확률적 앵무새 (Stochastic Parrot)'의 재평가: 저자들은 '확률적 앵무새' 비유 (Bender 외, 2021) 를 재검토하며 이것이 여전히 기초적이라고 주장한다. 멀티모달 발전에도 불구하고 LLM 은 관찰된 패턴에 통계적으로 기반하고 있어 모델 붕괴를 유발하는 빈도 편향에 취약하다고 본다.
4. 완화 전략에 대한 비판: 본 논문은 현재 해결책의 한계를 강조한다. 예를 들어, '데이터 큐레이션 (합성 데이터 필터링)'은 생성 모델이 더 설득력 있게 변함에 따라 점점 더 어려워지고 있다. 또한, 자동화된 큐레이션 도구는 소외된 집단이 사용하는 정당한 저빈도 언어 변형을 실수로 제거할 수 있다.

결과 및 관찰
이론적 입장 논문으로서 이 연구는 새로운 경험적 지표를 제시하지 않지만, 주장을 뒷받침하기 위해 기존 연구 결과를 종합한다:

• 확장 법칙의 교란: Dohmatob 외 (2024b) 를 인용하여, 10% 의 합성 데이터로 테스트 손실을 10 배 줄이려면 깨끗한 데이터에 비해 데이터셋 크기를 한 자릿수 (order-of-magnitude) 늘려야 하므로 비용이 급증한다고 지적한다.
• 분포적 변화: Figure 1(GPT-2 perplexity 기반) 을 참조하여, 저자원 언어 (예: 알바니아어, 인도네시아어) 가 고자원 언어 (예: 영어) 에 비해 이미 더 높은 퍼플렉시티 분포 ('꼬리' 부분) 를 차지함을 보여준다. 모델 붕괴는 이러한 꼬리 부분이 가장 먼저 사라질 것이라고 예측한다.
• 비용 비대칭: Kandpal & Raffel (2025) 을 인용하여, 실제 데이터를 획득하는 비용이 학습에 필요한 컴퓨팅 비용보다 10~1000 배 더 높다고 강조한다. 이 경제적 장벽은 저자원 커뮤니티가 단순히 더 많은 실제 데이터를 수집함으로써 모델 붕괴를 '사서' 해결하는 것을 불가능하게 만든다.

의의 및 행동 촉구
본 논문은 모델 붕괴의 심각성이 일반적 맥락에서 논쟁의 여지가 있기는 하지만, 저자원 및 소외된 커뮤니티에게는 임박하고 심각한 위협이라고 결론 내린다. 저자들은 학술적 담론이 고자원 환경과 이론적 모델에 지나치게 초점을 맞춰 이러한 집단의 특정 취약성을 간과했다고 주장한다.

행동 촉구:

• 우선순위 설정: 저자원 NLP 및 AI 공정성 커뮤니티는 모델 붕괴에 대한 연구와 완화에 앞장서야 한다.
• 데이터 주권: 수천 개의 과소 대표된 언어 (예: 은데벨레어, 페디어, 소토어) 를 위한 실제적이고 문화적으로 정통한 데이터를 보장하는 데이터셋을 구축하고 유지할 긴급한 필요가 있다.
• 새로운 연구 방향: 본 논문은 다음과 같은 열린 질문들을 제시한다:
  • 모델 붕괴가 긴 꼬리 단어 분포를 가진 접미어 언어 (agglutinative languages) 와 분석어 (analytic languages) 에 어떻게 다르게 영향을 미치는가.
  • 코드 스위칭이 데이터 분포 변화에 미치는 영향.
  • 모델 붕괴 및 합성 데이터 감지를 위한 실용적인 측정 방법 개발.
  • 자기지도 학습이나 강화 학습을 통해 강건한 분포 외 (out-of-distribution) 특성을 장려하여 붕괴를 '감소'시키는 전략.

궁극적으로, 본 논문은 즉각적인 개입이 없다면 여러 문화의 온라인 표현이 복구되기 전에 심각하게 손상되거나 소멸될 위험이 있다고 단언한다.