Human--LLM Collaboration Is Transforming Complexity Metrics in Scientific Texts

기술적 요약: 인간-LLM 협업이 과학 텍스트의 복잡성 지표를 어떻게 변화시키고 있는가

문제 제기
대규모 언어 모델(LLM)은, 특히 2023년 초 광범위한 도입 이후, 인간-AI 언어 생태계의 필수적인 기여자로서 자리 잡고 있다. LLM은 인간의 언어로 학습되었으나, 이들의 통합이 언어의 창발적 속성을 어떻게 변화시키는지에 대한 의문이 제기된다. 여기에는 상충하는 이론적 관점이 존재한다: 한쪽은 LLM이 단순화와 학습 데이터의 재활용을 통해 어휘 복잡성을 감소시킬 수 있다고 제안하는 반면(미래의 모델이 AI 생성 출력물로 학습될 경우 '모델 붕괴'로 이어질 가능성 포함), 다른 한쪽은 혼합된 인간-AI 인구가 집단적 편향과 피드백 루프를 통해 새로운 창발적 역동성을 생성할 수 있다고 제안한다. 본 연구가 다루는 핵심 문제는 LLM이 생성하거나 수정한 텍스트(특히 arXiv 초록)의 유입이 지프의 법칙(Zipf's law), 히프의 법칙(Heaps' law), 그리고 단어 전환율(word turnover rates)과 같은 어휘 복잡성을 규정하는 통계적 법칙에 감지 가능한 변화를 일으키는지 여부이다.

방법론
저자들은 생성형 AI 도구의 급격한 채택을 2023년의 "자연 실험"으로 간주한다. 이들은 2010년 1월부터 2025년 9월까지의 270만 개 이상의 arXiv 초록을 분석하며, 특히 첫 번째 버전(v1) 제출물에 집중한다.

1. LLM 스타일 지수 구축: LLM의 영향을 정량화하기 위해, 저자들은 LLM 사용 증가와 연관된 것으로 알려진 특정 스타일 표식들의 표준화된 월간 빈도를 집계하여 복합적인 "LLM 관련 스타일 지수"를 구축하였다. 이 지수는 대시 사용(엔 대시, 엠 대시, 하이픈)과 특정 어휘 표식("significant", "crucial", "showcase")을 포함한다.
2. 복잡성 지표: 연구는 어휘 구조의 세 가지 주요 척도를 추적한다:
   • 어휘 크기(Vocabulary Size): 고유한 단어 유형의 수.
   • 히프의 법칙 지수($b$): 코퍼스 크기와 어휘 성장 사이의 관계를 설명함 ($V(N) = aN^b$).
   • 지프의 법칙 지수($\alpha$): 단어의 순위-빈도 분포를 설명함 ($P(r) \propto r^{-\alpha}$).
   • Top-$y$ 전환율(Top-$y$ Turnover): 연도별로 상위 $y$위 순위의 내용어 목록에 새로 진입하는 단어의 비율로, 전파 편향(순응 vs. 참신성)의 진단 지표 역할을 함.
3. 통계 분석:
   • 벤치마킹: 기초 차이를 설정하기 위해 HC3 코퍼스를 사용하여 인간의 텍스트를 LLM 생성 텍스트(GPT-3.5)와 비교하였다.
   • 시간적 추세: 2014년부터 2025년까지의 arXiv 코퍼스에 대해 월간 통계를 계산하였다.
   • 회귀 모델링: 출판 연도, LLM 스타일 지수, 2023년 이후 지표, 그리고 이들의 상호작용 항을 사용하여 어휘 복잡성 지표를 예측하는 다변량 모델을 채택하였다. 이 접근법은 일반적인 세속적 추세로부터 LLM 스타일의 효과를 분리해낸다.
   • 조기 경보 신호(EWS): 시계열의 임계 속도 저하(critical slowing down) 또는 불안정성을 탐지하기 위해 롤링 래그-1 자기상관(rolling lag-1 autocorrelation), 왜도(skewness), 분산(variance)을 분석하였다.

주요 결과

• 기초 차이: HC3 코퍼스에서 LLM 생성 텍스트는 인간 텍스트($b=0.539, \alpha=1.681$)에 비해 약간 낮은 히프 지수($b=0.522$)와 약간 높은 지프 지수($\alpha=1.741$)를 보였다. 이는 LLM 출력물이 미세하게 낮은 어휘 다양성과 더 높은 집중도를 가짐을 나타내지만, 분포 자체는 유사하다.
• arXiv의 시간적 변화:
  • 스타일 지수: ChatGPT와 같은 도구의 광범위한 채택과 맞물려 2023년부터 LLM 관련 스타일 지수의 급격한 상승이 관찰되었다.
  • 어휘 지표: 지프 및 히프 법칙의 지수 변화는 미미했다. 그러나 어휘 크기와 히프 지수는 2023년 이후 완만하게 가속화된 성장을 보였다.
  • 상호작용 효과: 결정적으로, LLM 스타일 지수와 어휘 복잡성 지표 간의 관계는 2022년 이후 변화하였다. 스타일 지수와 어휘 크기, 히프 지수, 지프 지수 사이의 양의 상관관계는 2023년 이후 더 완만해졌다(flatter). 회귀 모델은 2023년 이후의 어휘 성장이 이전의 시간적 추세만으로는 예상되었던 수준을 초과했음을 확인하였으며, 이는 역동성의 뚜렷한 변화를 시사한다.
  • 전환율: 가장 중요한 구조적 변화는 2023년부터 상위 순위 단어들의 전환율이 급격히 증가했다는 점이다. 리스트 크기에 따른 전환율의 스케일링은 2023년 이전의 약간 위로 볼록한 형태($b=1.15$)에서 2023년 이후 약간 아래로 볼록한 형태($b=0.969$)로 변화하였으며, 이는 상위 순위에 새로운 단어가 진입하는 비율이 높아졌음을 의미한다.
• EWS 진단: 표준 조기 경보 신호 진단(자기상관, 분산)은 오직 완만한 변화만을 보여주었으며, 이는 구조적 전환에도 불구하고 시스템이 임계 붕괴점(tipping point)의 불안정성에 도달하지 않았음을 시사한다.

의의 및 주장
본 논문은 LLM의 과학적 글쓰기 통합이 미세하지만 측정 가능한 방식으로 언어 생태계의 창발적 속성을 변화시키고 있다고 주장한다. LLM이 어휘 다양성을 일률적으로 감소시킬 것이라는 가설과는 반대로, 저자들은 현재의 LLM 기여가 어휘 풍부성 증가 및 상위 빈도 용어의 전환율 가속화와 연관되어 있음을 발견하였다.

LLM 스타일과 복잡성 지표 간의 관계가 평탄해진 것은 혼합된 인간-AI 인구의 역동성이 순수 인간 또는 순수 AI 생성과는 구별됨을 시사한다. 증가된 전환율은 시스템의 "전파 편향"이 변화했음을 의미하며, 이는 과학적 담론에 더 많은 참신성을 주입하거나 순응 역동성을 변화시킬 가능성이 있다.

저자들은 이러한 변화가 단기적 효율성과 장기적 정보 다양성 사이의 잠재적 긴장을 나타낸다고 결론짓는다. 만약 인간 생성 언어와 혼합 언어의 다양성이 시간이 지남에 따라 감소한다면, 이는 해당 데이터로 학습되는 미래 AI 시스템의 견고성에 영향을 미칠 수 있다고 경고한다. 이 연구는 LLM을 단순한 도구가 아니라, 문자의 출현이나 시장의 등장과 맞먹는 결과적 중요성을 지닌 문화적 진화의 새로운 피드백 메커니즘으로 규정하며, 인간-AI 협업이 과학적 지식의 복잡성을 어떻게 재편하는지에 대한 지속적인 모니터링이 필요함을 강조한다.