Generative artificial intelligence reduces social welfare through model collapse

1. 문제 제기 (Problem)

생성형 인공지능 (genAI) 은 지식과 문화의 생산 및 소비 방식을 급격히 변화시키고 있으며, 그 채택은 빠르게 확산되고 있습니다. 그러나 기존 연구들은 genAI 를 정적 (static) 기술로 가정하여 성능이 일정하다고 전제하는 경향이 있습니다. 반면, 실제 생성형 모델은 모델 붕괴 (Model Collapse) 현상에 취약합니다. 이는 모델이 이전 버전의 모델이 생성한 데이터로 재학습될 때, 원래 데이터 분포의 꼬리 부분이 사라지고 다양성이 감소하여 성능이 저하되는 현상입니다.

이러한 모델 붕괴는 사회적 딜레마 (Social Dilemma) 를 야기합니다.

• 개인적 이득: 단기적으로 genAI 를 사용하면 생산성이 향상되고 비용이 절감되므로, 개인적으로는 genAI 사용이 합리적입니다.
• 집단적 손실: 광범위한 채택은 AI 생성 콘텐츠가 학습 데이터로 유입되어 미래 모델의 성능을 저하시키고, 궁극적으로 사회적 후생 (Social Welfare) 을 감소시킵니다.

이 논문은 이러한 피드백 고리를 수학적으로 모델링하여, 개별적으로 합리적인 genAI 채택이 어떻게 집단적 후생 감소로 이어지는지 분석합니다.

2. 방법론 (Methodology)

저자들은 진화 게임 이론 (Evolutionary Game Theory) 을 기반으로 한 "협력 게임 (Collaboration Game)" 모델을 개발했습니다.

• 게임 구조:
  • $N$명의 개체가 무작위로 짝을 이루어 협력 과제를 수행합니다.
  • 각 개체는 세 가지 전략 중 하나를 선택합니다:
    1. 인간 작업 (H): 인간이 직접 작업 수행 (비용 $c_h$, 기여도 $b/2$).
    2. 무작업 (N): 작업 수행 포기 (비용 0, 기여도 0).
    3. genAI 활용 (AI): AI 에 작업 위임 (비용 $c_a$, 기여도 $a/2$).
  • 가정: $c_h > c_a$ (AI 가 인간보다 비용 효율적), $b \ge a$ (인간 작업의 잠재적 이득이 AI 이상).
• 모델 붕괴 모델링:
  • AI 전략의 이득 $a$는 인구 내 AI 사용 빈도 ($x_{AI}$) 에 의존합니다.
  • 선형 감소 함수 가정: $a(x_{AI}) = b - m x_{AI}$. 여기서 $m$은 모델 붕괴의 강도를 나타냅니다 ($m$이 클수록 AI 사용이 늘어날수록 성능이 급격히 떨어짐).
• 동역학:
  • 개체들은 더 성공적인 전략을 모방하며 전략을 업데이트합니다 (복제자 역학, Replicator Dynamics).
  • 사회적 후생 ($\phi$) 은 인구 평균 보수 (Payoff) 로 정의됩니다.
• 분석 프레임워크:
  • AI 도입 전 (H 와 N 만 존재) 과 도입 후 (H, N, AI 존재) 의 균형 상태를 비교하여 후생 변화량 ($\Delta S$) 을 계산합니다.
  • 2 차원 분류 체계를 도입하여 과제의 특성을 분석합니다:
    1. 인센티브 강도: AI 없이도 인간이 작업을 할 유인이 있는지 ($b > 2c_h$ 인 경우 'High-incentive', 그 외 'Low-incentive').
    2. 모델 붕괴 강도: 붕괴가 약한지 ($m < m_c$) 강한지 ($m > m_c$).

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 작업 유형별 후생 영향 분석 (Taxonomy of GenAI Work)

연구는 4 가지 작업 유형 (High/Low 인센티브 $\times$ Weak/Strong 붕괴) 으로 나누어 결과를 도출했습니다.

1. 약한 붕괴 (Weak Collapse):
   • 저인센티브 (Busy-work): AI 도입으로 무작업 (N) 이 AI 로 대체되어 후생이 증가합니다.
   • 고인센티브 (Poetry-like): AI 가 인간 작업을 완전히 대체하지만, 붕괴가 약해 후생이 증가하거나 중립적일 수 있습니다.
2. 강한 붕괴 (Strong Collapse):
   • 저인센티브: 일부는 AI 를, 일부는 무작업을 선택하는 혼합 균형이 형성되며 후생은 증가합니다.
   • 고인센티브 (핵심 발견): Theorem 1에 따르면, 고인센티브 작업에서 강한 모델 붕괴가 발생할 경우, 인구 내 인간 작업과 AI 사용이 공존하는 안정적 균형 (Mixed H-AI Equilibrium) 에 도달합니다. 이 경우 AI 도입은 항상 사회적 후생을 감소시킵니다 ($\Delta S < 0$).
   • 이유: AI 는 비용이 저렴하여 개인적으로 매력적이지만, 성능 저하로 인해 전체적인 과제의 질이 떨어집니다. 인간이 여전히 작업을 수행할 유인이 있음에도 불구하고 AI 사용이 확산되어 전체 시스템의 효율성이 인간-only 상태보다 낮아집니다.

B. 작업 간 전이 효과 (Spillover Effects)

실제 환경에서는 개인이 여러 작업을 병행합니다. 저자들은 습관 형성 (Habit Formation) 을 고려하여 두 가지 작업 (저인센티브/약한 붕괴인 'Busy-work'와 고인센티브/강한 붕괴인 'Poetry') 을 동시에 수행하는 시나리오를 분석했습니다.

• 결과: 저인센티브 작업 (AI 도입이 유익한 영역) 에서 AI 사용 습관이 형성되면, 이는 고인센티브 작업 (AI 도입이 해로운 영역) 으로 전이됩니다.
• 부정적 전이 (Negative Spillover): 개인이 'Busy-work'를 위해 AI 를 사용하게 되면, 습관 제약으로 인해 'Poetry' 작업에서도 AI 를 사용하게 됩니다. 이로 인해 'Poetry' 영역에서의 후생 손실이 증폭되어, 전체적인 사회적 후생이 더욱 감소합니다.
• 패러독스: AI 가 개별적으로는 유익한 작업의 비중이 늘어날수록, 습관 전이로 인해 전체 시스템의 후생 손실은 더 커질 수 있습니다.

4. 의의 및 시사점 (Significance)

1. 이론적 통찰: 기존 AI 연구가 기술의 정적 이점을 강조한 반면, 본 연구는 인구 행동과 기술 성능 간의 역동적 피드백 (Endogenous Performance Degradation) 이 사회적 후생을 어떻게 훼손하는지를 규명했습니다. 이는 '브라세스 역설 (Braess Paradox)'과 유사하게, 개별적으로 유리한 자원 (AI) 의 도입이 집단적 후생을 악화시킬 수 있음을 보여줍니다.
2. 정책적 제언:
   • 데이터 피드백 루프 차단: AI 생성 콘텐츠를 미래 학습 데이터로 무분별하게 재통합 (Reintegration) 하는 것을 제한해야 합니다.
   • 검증 및 라벨링: 대규모 AI 생성 콘텐츠 탐지 및 감사 파이프라인 구축과 데이터 출처 (Provenance) 라벨링 시스템 도입이 필요합니다.
   • 인간 노력 인센티브 유지: 고부가가치 영역 (창작, 과학 연구 등) 에서 인간이 직접 작업할 수 있는 인센티브를 유지하고, 인간이 생성한 아티팩트의 가치를 보호해야 합니다.
3. 실용적 경고: "인간과 AI 의 협력"이 항상 긍정적이지 않을 수 있음을 경고합니다. 특히 고인센티브 영역에서 AI 와 인간이 공존하는 상태가 반드시 건강한 상보성을 의미하는 것이 아니라, 오히려 후생 감소의 신호일 수 있음을 지적합니다.

결론

이 논문은 생성형 AI 의 광범위한 채택이 모델 붕괴를 통해 장기적으로 사회적 후생을 감소시킬 수 있음을 수학적으로 증명했습니다. 특히 고인센티브 작업에서 AI 의존도가 높아질수록, 그리고 작업 간 습관 전이가 발생할수록 그 피해는 커집니다. 따라서 AI 기술의 지속 가능한 발전을 위해서는 단순한 효율성 증대뿐만 아니라 데이터 피드백 루프를 관리하고 인간 중심의 가치를 보호하는 정책적 개입이 필수적입니다.