How much are LLMs changing the language of academic papers after ChatGPT? A multi-database and full text analysis

이 연구는 2022 년 ChatGPT 출시 이후 학술 논문에서 'delve', 'underscore'와 같은 LLM 관련 용어의 사용 빈도와 공출현이 급격히 증가했으며, 특히 STEM 분야에서 두드러졌음을 다중 데이터베이스와 전체 텍스트 분석을 통해 규명하고, 이는 비영어권 연구자의 학술 출판 장벽을 낮추는 긍정적인 발전으로 평가합니다.

핵심

1. 탐정 이야기: "AI 가 남긴 흔적 (단어) 찾기"

연구자들은 마치 범죄 수사관처럼 행동했습니다. 그들은 ChatGPT 가 등장하기 전 (2022 년 이전) 과 등장한 후 (2022 년 말 이후) 의 논문들을 비교하며, AI 가 자주 사용하는 '지문' 같은 단어들을 찾아냈습니다.

• 찾아낸 지문 (단어들): delve(깊이 파고들다), underscore(강조하다), intricate(복잡하게 얽힌), meticulous(꼼꼼한), pivotal(중요한) 같은 단어들입니다.
• 발견: ChatGPT 가 나온 후, 이 단어들이 학계에서 폭발적으로 늘어났습니다. 예를 들어, underscore(강조하다) 라는 단어는 2022 년에서 2024 년 사이 1,500% 이상이나 급증했습니다. 마치 갑자기 모든 사람이 "이거 정말 중요해요!"라고 외치기 시작한 것처럼 보입니다.

2. 요리사 이야기: "레시피의 변화"

과거에는 학자들이 각자 자신의 스타일로 논문을 썼다면, 이제는 **AI 라는 '요리사'**가 레시피를 함께 만들고 있습니다.

• 단순한 사용 vs. 반복 사용: 예전에는 이 단어들을 가끔씩만 썼다면, 이제는 한 논문 안에 같은 단어를 여러 번 반복해서 쓰는 경우가 급격히 늘었습니다.
  • 비유: 예전에는 요리에 소금을 '한 꼬집'만 넣었다면, 지금은 AI 가 추천한 레시피대로 소금을 '한 컵'이나 넣는 것처럼, 같은 표현이 논문 전체에 넘쳐납니다.
• 단어들의 짝꿍 (동시 사용): 과거에는 delve(깊이 파고들다) 와 underscore(강조하다) 가 같은 글에 함께 나오는 경우가 드물었습니다. 하지만 지금은 이 두 단어가 마치 짝꿍처럼 거의 항상 함께 등장합니다. AI 가 글을 쓸 때 이 단어들을 묶어서 추천하기 때문일 가능성이 큽니다.

3. 지역별 차이: "과학 vs. 인문학"의 속도차

이 변화는 모든 분야에서 똑같이 일어난 것이 아닙니다.

• STEM(과학, 기술, 공학, 수학) 분야: 이 분야에서는 AI 가 쓴 글의 흔적이 매우 빠르게 퍼졌습니다. 마치 새로운 스마트폰이 처음 출시되었을 때 기술 마니아들이 가장 먼저 받아쓰는 것처럼, 공학이나 의학 논문에서 이 단어들이 급격히 늘어났습니다.
• 인문학과 사회과학: 이 분야에서는 변화가 상대적으로 더디게 일어났습니다. 아직까지는 전통적인 문체를 고수하는 경향이 더 강합니다.

---

🧐 중요한 질문: "이게 나쁜 일인가요?"

연구자들은 이 현상을 두 가지 관점에서 봅니다.

1. 우려의 시선: 어떤 논문은 AI 가 쓴 것 같아서 **철회 (Retraction)**되기도 했습니다. 마치 AI 가 쓴 글을 그대로 가져와서 plagirism(표절) 하거나, 내용이 빈약한 채로만 채워진 것처럼 보일 수 있기 때문입니다.
2. 긍정적인 시선: 하지만 연구자들은 **"전체적으로 보면 좋은 일일 수도 있다"**고 말합니다.
   • 비유: 영어가 모국어가 아닌 과학자들이 AI 를 통해 글을 다듬으면, 언어 장벽이 낮아져서 전 세계의 좋은 연구들이 더 많이 세상에 나올 수 있습니다. 마치 번역기가 없어서 못 쓰던 사람들이 이제 자유롭게 글을 쓸 수 있게 된 것과 같습니다.

📝 한 줄 요약

"ChatGPT 이후 학자들의 논문은 마치 같은 '문체'를 공유하는 듯해졌습니다. AI 가 추천한 특정 단어들이 논문 전체에 넘쳐나고, 서로 짝을 이루며 등장하는데, 이는 과학적 발견을 위한 언어 장벽을 낮추는 긍정적인 변화일 수도 있지만, 동시에 글의 진정성을 의심하게 만드는 신호일 수도 있습니다."

이 연구는 AI 가 우리의 언어를 어떻게 바꾸고 있는지, 그리고 그것이 학계와 사회에 어떤 영향을 미칠지 미리 살펴보는 중요한 경고이자 기회를 제시합니다.

기술 요약

논문 요약: 챗GPT 이후 대규모 언어 모델 (LLM) 이 학술 논문 언어에 미치는 영향

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 챗GPT(2022 년 11 월 공개) 를 비롯한 대규모 언어 모델 (LLM) 이 학술 작성, 편집, 요약 생성 등에 광범위하게 활용되고 있음.
• 문제: 기존 연구들은 주로 특정 분야 (컴퓨터과학, 치의학 등) 나 초창기 데이터 (2023~2024 초), 혹은 초록 (abstract) 만을 분석하는 데 그쳤음.
• 연구 목적: LLM 의 등장이 학술 출판의 언어 패턴에 어떤 변화를 가져왔는지, 특히 전체 텍스트 (Full-text) 수준에서 LLM 과 연관된 특정 용어들의 사용 빈도, 공출현 (co-occurrence), 상관관계가 어떻게 변했는지를 대규모 데이터로 규명하는 것.

2. 연구 방법론 (Methodology)

이 연구는 6 개의 주요 학술 데이터베이스와 240 만 건 이상의 전체 텍스트를 분석한 다단계 접근법을 사용함.

• 분석 대상 용어 (12 개 LLM 연관 용어):
  • 기존 연구 (Juzek & Ward, Kobak 등) 에서 도출된 7 개 용어: underscore, delve, showcase, unveil, intricate, meticulous, pivotal.
  • 환경과학 분야의 Scopus 데이터를 기반으로 추가 식별된 5 개 용어: heighten, nuance, bolster, foster, interplay.
• 데이터 소스 및 범위:
  • 메타데이터 분석: Scopus, Web of Science (WoS), PubMed, OpenAlex, Dimensions, PubMed Central (PMC) 등 6 개 데이터베이스 (2015~2024 년).
  • 전체 텍스트 분석: PubMed Central (PMC) 의 오픈 액세스 논문 240 만 건 이상 (2021 년~2025 년 7 월).
• 분석 기법:
  • 빈도 분석: 연도별 용어 사용 비율 및 성장률 계산 (2022 년 vs 2024 년).
  • 전체 텍스트 심층 분석: XML 형식의 논문 본문에서 용어의 반복 횟수 (Geometric mean) 및 공출현 확률 (Conditional probability) 계산.
  • 상관관계 분석: 피어슨 상관관계 (Pearson correlation) 를 통해 용어들 간의 연관성 변화 측정.
  • 대조군 비교: 전통적인 학술 용어 (예: investigate, highlight) 와 LLM 연관 용어의 성장률 비교.

3. 주요 기여 (Key Contributions)

• 최대 규모의 전체 텍스트 분석: 기존 연구들이 초록이나 메타데이터에 의존했던 것과 달리, 240 만 건 이상의 PMC 전체 텍스트를 분석하여 LLM 용어의 반복 사용과 본문 내 공출현 패턴을 최초로 규명함.
• 다중 데이터베이스 비교: 6 개의 상이한 데이터베이스를 비교하여 분석 결과의 일반화 가능성과 분야별 차이를 입증함.
• 통계적 유의성 확보: 2022 년 (챗GPT 출시 전) 과 2024~2025 년 (출시 후) 의 데이터를 비교하여 통계적으로 유의미한 언어 변화 (95% 신뢰구간) 를 확인함.
• 학술적 용어 vs 전통적 용어 비교: LLM 연관 용어의 급격한 증가가 단순히 학술 주제의 변화가 아님을 보여주기 위해 전통적 동의어와 비교 분석을 수행함.

4. 주요 결과 (Key Results)

가. 사용 빈도 및 성장률 (RQ1 & RQ2)

• 급격한 증가: 2022 년에서 2024 년 사이 LLM 연관 용어 사용이 폭발적으로 증가함.
  • delve: Scopus 에서 +1,582%, WoS 에서 +1,331% 증가.
  • underscore: Scopus 에서 +1,046%, WoS 에서 +895% 증가.
  • intricate, meticulous 역시 500%~700% 이상 급증.
• 전체 텍스트 내 반복 사용: PMC 전체 텍스트 분석에서 2022 년 대비 2025 년까지 특정 용어가 6 회 이상 사용된 논문의 비율이 급증.
  • underscore: 0.013% → 1.37% (10,000% 이상 증가).
  • intricate: +5,400%, meticulous: +2,800% 증가.
• 분야별 차이: STEM(과학, 기술, 공학, 수학) 분야에서 성장률이 가장 높음 (Materials Science, Computer Science 등에서 +3,000% 이상). 반면, 인문사회과학 분야는 상대적으로 낮은 증가율 (+500% 미만) 을 보임.

나. 공출현 및 상관관계 (RQ3 & RQ4)

• 공출현 (Co-occurrence) 증가: 챗GPT 출시 후, 한 용어를 사용한 논문이 다른 LLM 연관 용어도 함께 사용할 확률이 급격히 높아짐.
  • 예: 2022 년에는 delve를 사용한 논문의 1.3% 만 underscore를 사용했으나, 2024 년에는 **59.3%**로 증가.
  • intricate, pivotal, meticulous 등의 공출현 확률도 2022 년 (<8%) 에서 2024 년 (30~45%) 로 크게 상승.
• 상관관계 강화: 용어들 간의 피어슨 상관관계가 약한 상태에서 강한 상관관계로 변화.
  • underscore와 pivotal의 상관관계: 2022 년 (r=0.032) → 2024 년 (r=0.449).
  • underscore와 delve의 상관관계: 2022 년 (r=0.018) → 2024 년 (r=0.311).
  • 이는 LLM 이 특정 용어들을 묶어서 제안하거나, 저자들이 LLM 편집 스타일을 모방하여 여러 용어를 함께 사용하는 경향이 생겼음을 시사.

다. 대조군 분석 및 재tracted 논문

• 전통적 용어와의 비교: LLM 용어 (delve, underscore) 는 20222024 년 사이 1,000% 이상 증가한 반면, 전통적 동의어 (investigate, highlight) 는 885% 수준에 그쳐 LLM 의 영향력을 강력히 시사함.
• 철회 (Retraction) 논문: 2024 년 철회된 논문의 약 15.8% 가 LLM 용어를 포함했으나, 이는 인과관계가 아닌 가설 생성적 관찰로 해석됨 (품질 문제와 직접적인 인과성은 불명확).

5. 의의 및 결론 (Significance)

• 언어 패턴의 변화: LLM 은 학술 출판의 언어 스타일을 변화시키고 있으며, 이는 초록뿐만 아니라 본문 전체에 걸쳐 용어의 반복 사용과 특정 어휘의 공출현을 통해 확인됨.
• 비영어권 연구자의 접근성: LLM 의 사용은 비영어권 연구자들이 영어로 학술 출판하는 언어 장벽을 낮추는 긍정적인 측면이 있음. 이는 전 세계 과학 출판의 불평등을 해소하는 데 기여할 수 있음.
• 시스템적 영향: 출판 가능한 학술 자료의 양이 급증함에 따라 기존 출판 시스템 (저널 수용률, 편집 프로세스 등) 에 새로운 압력을 가할 가능성이 있음.
• 한계 및 제언: 본 연구는 인과관계를 직접 증명하지는 못함 (LLM 생성 텍스트인지, 편집된 텍스트인지, 혹은 스타일 모방인지 구분 불가). 또한 분석이 영어 기반이므로 다른 언어권에서의 영향은 불명확함. 향후 다양한 LLM 모델과 비영어권 데이터를 대상으로 한 연구가 필요함.

결론적으로, 이 연구는 챗GPT 출시 이후 학술 논문에서 특정 LLM 연관 용어 (underscore, delve 등) 의 사용이 통계적으로 유의미하게 증가했고, 이러한 용어들이 서로 강하게 연관되어 함께 사용되고 있음을 대규모 데이터로 입증한 최초의 연구 중 하나입니다.