Experimental evidence of progressive ChatGPT models self-convergence

이 논문은 인터넷에 유입된 LLM 생성 데이터가 학습에 포함되면서 최신 ChatGPT 모델들이 서로의 출력과 유사해지고 다양성이 감소하는 '모델 자기수렴' 현상이 발생한다는 실험적 증거를 제시합니다.

핵심

🍽️ 1. 핵심 비유: "AI 의 식탁과 '가짜 음식'의 문제"

과거의 AI(챗GPT 등) 는 실제 인간이 쓴 책, 뉴스, 블로그라는 '진짜 재료'로 배웠습니다. 그래서 다양한 맛과 창의적인 요리를 할 수 있었죠.

하지만 시간이 지나면서 상황이 변했습니다.

• 문제: 사람들이 AI 가 쓴 글을 인터넷에 쏟아부었습니다. (예: AI 가 쓴 과제, 이메일, 보고서 등)
• 결과: AI 가 다음 버전을 학습할 때, 실제 인간이 쓴 글보다 AI 가 쓴 글이 인터넷에 더 많이 떠돌게 된 것입니다.

이것을 비유하자면, 요리사가 '진짜 식재료' 대신 '이미 요리사가 만든 요리'를 다시 재료로 써서 새로운 요리를 만드는 상황과 같습니다.

• 처음에는 괜찮을지 몰라도, 계속 반복하면 재료의 다양성이 사라집니다.
• 결국 나오는 요리는 모두 똑같은 맛이 나고, 새로운 아이디어는 전혀 나오지 않게 됩니다.

🔍 2. 연구자가 발견한 놀라운 사실: "점점 더 똑같은 말"

연구팀은 챗GPT 의 여러 버전 (오래된 버전 vs 최신 버전) 에 같은 글을 "다르게 써줘 (Paraphrase)"라고 시켰습니다.

• 기대: "최신 버전은 더 똑똑해졌으니, 같은 내용도 훨씬 다양하게 표현하겠지?"
• 현실: 정반대였습니다. 최신 버전일수록, 같은 내용을 다르게 쓰라고 해도 매우 비슷비슷한 문장을 만들어냈습니다.

특히 AI 가 "임의성 (Temperature)"을 높여서 창의적으로 쓰라고 해도, 최신 버전은 여전히 구태의연하게 같은 패턴을 반복했습니다. 마치 거울이 거울을 비추는 것처럼, AI 가 AI 가 만든 내용을 보고 또 학습하면서 점점 더 좁은 세계로 갇혀버린 것입니다.

📉 3. '모델 자기 수렴 (Model Self-Convergence)'이란?

논문에서는 이 현상을 **'모델 자기 수렴'**이라고 이름 붙였습니다.

• 의미: AI 모델들이 서로 다른 버전이라도, 결국 **서로 매우 비슷해져서 구별이 안 될 정도로 수렴 (Converge)**한다는 뜻입니다.
• 비유:
  • 과거: AI 는 다양한 친구들 (인간) 과 대화하며 다양한 말을 배웠습니다.
  • 현재: AI 는 오직 자신 (AI) 만과 대화하며 배웁니다.
  • 결과: 모든 AI 가 같은 생각, 같은 말투, 같은 표현만 하게 되어, 창의성이 사라지고 지루한 반복만 남게 됩니다.

⚠️ 4. 왜 이것이 위험한가요?

이 현상이 계속되면 다음과 같은 문제가 생깁니다.

1. 창의성 상실: AI 는 더 이상 새로운 아이디어를 만들어내지 못하고, 기존에 AI 가 만들어낸 내용만 돌려막게 됩니다.
2. 진짜 인간 지식이 사라짐: 인터넷에 AI 가 쓴 글이 너무 많아지면, AI 는 실제 인간의 지식을 배우기보다 AI 가 만든 가짜 지식을 더 많이 배우게 됩니다.
3. 악순환: AI 가 만든 글이 인터넷을 오염시키고, 그 오염된 글로 다시 AI 를 학습시키면, AI 는 점점 더 멍청하고 똑같은 말만 하게 됩니다.

💡 결론: "인간이 만든 진짜 글을 지켜야 합니다"

이 연구는 우리에게 중요한 메시지를 줍니다.

"AI 가 스스로를 먹이로 삼지 않게 하려면, 인터넷에 '진짜 인간이 쓴 글'을 더 많이 남겨야 합니다."

만약 우리가 AI 가 쓴 글만 인터넷에 남기고, 인간이 직접 글을 쓰지 않는다면, 결국 AI 는 창의성을 잃고 기계적인 반복 기계로 전락할 것입니다. 우리가 AI 를 더 똑똑하게 만들려면, 인간 고유의 창의성과 다양성을 지켜주는 것이 가장 중요하다는 것입니다.

기술 요약

논문 요약: ChatGPT 모델의 자기 수렴 (Model Self-Convergence)

1. 연구 배경 및 문제 정의 (Problem Definition)

• 배경: 대규모 언어 모델 (LLM) 은 인터넷의 방대한 데이터를 기반으로 학습됩니다. 그러나 LLM 의 사용이 급증함에 따라 인터넷 상의 데이터는 인간이 생성한 텍스트뿐만 아니라, LLM 이 생성한 합성 데이터 (Synthetic Data) 로도 채워지고 있습니다.
• 기존 연구의 한계: '모델 붕괴 (Model Collapse)' 현상은 LLM 이 자신의 출력물을 재학습할 때 의미 없는 출력 (Gibberish) 을 생성하는 현상으로 알려져 있습니다. 기존 연구들은 주로 이론적 모델이나 재귀적 학습 (Recursive Training) 에 초점을 맞추었으나, 실제 인터넷을 통한 자연스러운 데이터 오염 (Infiltration) 이 다양한 ChatGPT 버전의 성능에 장기적으로 어떤 영향을 미치는지에 대한 종단 연구 (Longitudinal Investigation) 는 부족했습니다.
• 핵심 문제: 인터넷이 LLM 생성 데이터로 오염됨에 따라, 최신 ChatGPT 모델들이 이전 모델들에 비해 텍스트의 다양성을 잃고 서로 유사한 패턴으로 수렴하는 '모델 자기 수렴 (Model Self-Convergence)' 현상이 발생하는지 확인하는 것입니다.

2. 연구 방법론 (Methodology)

• 실험 설계:
  • 데이터셋: 인간이 작성한 고전 문학 요약본 (CliffNotes 와 SparkNotes) 을 원본 텍스트로 사용했습니다. 이 자료들은 LLM 등장 이전 (2021 년 이전) 에 작성되어 순수 인간 데이터임을 보장합니다.
  • 모델 대상: GPT-3.5 Turbo 부터 GPT-5.2 까지 다양한 버전과 지식 컷오프 (Knowledge Cutoff) 날짜를 가진 7 가지 ChatGPT 모델을 비교했습니다.
  • 프롬프트 및 조건: 모든 모델에 동일한 프롬프트 ("원본 텍스트를 재문장하라") 를 사용했습니다.
    • Temperature 0 (Deterministic): 결정론적 출력 생성.
    • Temperature 1 (Stochastic): 확률적 (무작위성) 출력 생성. (최신 모델 중 일부는 Temperature 0 설정이 불가능하여 1 로만 실험하거나 기본값 사용).
  • 평가 지표: SPR (Similarity Percentage Ratio, 유사성 비율) 을 사용했습니다. 이는 원본 텍스트와 생성된 재문장 (Paraphrase) 사이, 혹은 동일 모델이 생성한 여러 재문장 간의 공통 패턴 (3~20 단어 길이) 을 분석하여 유사도를 계산합니다.
• 측정 목표: 모델 버전이 업데이트될수록 (지식 컷오프가 최신화될수록) Temperature 1 환경에서 생성된 텍스트 간의 SPR 이 증가하는지, 즉 모델이 스스로를 모방하며 다양성을 잃는지 확인합니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

• 모델 자기 수렴 (Model Self-Convergence) 의 발견:
  • Temperature 1 (확률적 모드) 의 성능 저하: 최신 모델 (특히 GPT-5 시리즈) 은 Temperature 1 설정 시, 이전 모델 (GPT-3.5, GPT-4) 에 비해 긴 패턴 (15~20 단어) 에서 SPR 이 급격히 증가했습니다. 이는 모델이 다양한 표현을 생성하지 못하고, 특정 패턴을 반복적으로 재사용함을 의미합니다.
  • 수렴 현상: GPT-5.1 과 GPT-5.2 는 Temperature 1 에서도 Temperature 0 과 유사한 수준의 높은 유사성을 보였습니다. 즉, 확률적 무작위성 (Stochasticity) 을 잃고 결정론적 (Deterministic) 인 출력에 수렴하는 경향을 보였습니다.
  • 데이터 오염의 증거: 모델이 더 많은 합성 데이터 (LLM 이 생성한 텍스트) 를 학습함에 따라, 토큰 확률 분포가 왜곡되어 저확률 토큰이 선택될 기회가 줄어들고, 결과적으로 모델이 "자신과 유사한" 텍스트만 생성하게 된 것으로 분석됩니다.
• Temperature 0 과 1 의 차이 감소:
  • 이전 모델들은 Temperature 0 과 1 사이에서 명확한 성능 차이 (Spread) 를 보였으나, 최신 모델들은 이 차이가 줄어들었습니다. 이는 모델이 내부적으로 미세 조정 (Fine-tuning) 되었거나, 학습 데이터의 오염으로 인해 무작위성 생성 능력이 저하되었음을 시사합니다.
• 모델 붕괴 (Model Collapse) 와의 차별화:
  • 기존 '모델 붕괴'는 재귀적 학습으로 인해 텍스트가 무의미해지는 (Gibberish) 현상이지만, 본 논문에서 정의한 '자기 수렴' 은 텍스트가 무의미해지기보다는 모든 버전이 서로 매우 유사한 패턴으로 고정되는 현상입니다. 이는 모델이 새로운 인간 지식을 흡수하지 못하고 기존에 학습된 AI 생성 콘텐츠의 반복으로 인해 혁신성이 떨어지는 것을 의미합니다.

4. 논의 및 의의 (Discussion & Significance)

• 인터넷 데이터 오염의 위험성: 인터넷에 AI 생성 콘텐츠가 과도하게 유입되면, 차세대 LLM 은 인간 고유의 창의적 표현 대신 AI 가 만들어낸 "평균적인" 텍스트를 학습하게 됩니다. 이는 LLM 의 진화를 멈추게 하고, 결과적으로 모델이 스스로를 반복하는 폐쇄적인 루프에 빠지게 만듭니다.
• 혁신성 상실: LLM 이 Temperature 1 에서도 다양한 표현을 생성하지 못한다면, 창의적 작업이나 새로운 통찰을 제공하는 도구로서의 가치가 크게 훼손됩니다.
• 대응 방안:
  • 순수 인간이 생성한 데이터만을 학습 데이터로 사용하는 것이 이상적이지만, 현실적으로 어렵습니다.
  • AI 생성 데이터를 식별하여 학습 데이터셋에서 제거하거나, 인간 데이터의 비중을 인위적으로 높이는 전략이 필요합니다.
• 향후 연구: 본 연구는 ChatGPT 에 국한되었으나, 향후 다른 주요 LLM 들과 다양한 도메인 (이미지, 코드 등) 에서도 유사한 수렴 현상이 발생하는지 검증할 필요가 있습니다.

5. 결론 (Conclusion)

이 연구는 실험적 증거를 통해 ChatGPT 모델의 버전이 거듭될수록 학습 데이터 내의 AI 생성 콘텐츠 비율 증가로 인해 모델이 스스로의 출력 패턴에 수렴 (Self-Convergence) 하고 있으며, 이로 인해 텍스트 생성의 다양성과 확률적 특성이 저하되고 있음을 입증했습니다. 이는 LLM 이 인간 지식을 대체하는 것이 아니라, AI 가 생성한 데이터의 순환 고리에 갇혀 점차 고갈될 수 있음을 경고하는 중요한 시사점을 제공합니다.