What Are LLMs Doing to Scientific Communication? Measuring Changes in Writing Practices and Reading Experience

기술적 요약: 대규모 언어 모델 (LLM) 이 과학적 의사소통에 미치는 영향

문제 제기
과학적 글쓰기에 대규모 언어 모델 (LLM) 이 빠르게 통합되면서 글쓰기 관행의 진화와 이에 따른 독서 경험에 대한 중대한 질문이 제기되고 있습니다. 이전 연구들은 완전히 인간이 작성한 텍스트와 완전히 AI 가 생성한 텍스트를 구분하는 데 초점을 맞추어 왔으나, 이러한 이분법적 구분은 과학적 의사소통의 현실을 지나치게 단순화합니다. 실제로 LLM 은 주로 인간이 작성한 초안을 다듬고, 정제하거나 개선하는 데 사용되기 때문입니다. 또한 기존 연구들은 이러한 스타일적 변화가 인간 독자의 명확성, 신뢰성, 몰입도에 대한 주관적 인식에 어떻게 영향을 미치는지에 대한 체계적인 측정이 부족한 경우가 많습니다. 본 논문은 자연어 처리 (NLP) 영역 내에서 인간-LLM 협업적 글쓰기의 미묘한 특성과 그것이 언어적 스타일 및 독서 경험에 미치는 측정 가능한 영향을 이해하는 데 존재하는 공백을 해소합니다.

연구 방법
본 연구는 자연스러운 경향과 통제된 스타일적 변이를 모두 포착하기 위해 이중 데이터 접근법을 사용합니다:

1. 자연주의 말뭉치 (ACL Anthology): 저자들은 ACL-OCL 말뭉치를 업데이트하여 99,200 편의 논문을 포함하도록 하였으며, 두 가지 명확한 시기를 정의했습니다: $t_1$(2020 년 1 월2022 년 12 월, ChatGPT 이전) 와 $t_2$(2023 년 7 월2024 년 12 월, ChatGPT 이후). 이 하위 말뭉치에는 37,000 편 이상의 논문이 포함되어 있습니다. 저자들은 BERTopic 분석을 통해 주제적 비교 가능성을 확보하였으며, 구체적인 연구 트렌드 (예: LLM 으로의 전환) 는 변화했으나 전체적인 주제 분포는 광범위하게 비교 가능함을 확인했습니다.
2. 합성 데이터셋 (LLM 보조 문장 재구성): LLM 개입의 효과를 격리하기 위해 저자들은 $t_1$시기 논문에서 3,000 개의 문단을 추출하고, "일관성 개선", "문법 정제"와 같은 일반적인 과학적 글쓰기 정제 작업을 반영하는 10 가지 다른 프롬프트를 사용하여 GPT-3.5-turbo 로 LLM 개선 버전을 생성했습니다. 이를 통해 인간 원본과 LLM 수정본으로 구성된 6,000 개의 쌍을 이루는 문단이 확보되었습니다.

분석 프레임워크
본 연구는 다층적 분석을 통해 세 가지 연구 질문 (RQs) 에 답합니다:

• RQ1 (어휘 선택): 저자들은 $t_1$과 $t_2$를 비교하는 통시적 어휘 분석을 수행했습니다. 이는 다음을 포함합니다:
  • 빈도 분석: 사용률 변화가 유의미한 단어를 식별하기 위해 로그-가능도 점수를 계산합니다.
  • 타입 수준 임베딩: Word2Vec 모델을 훈련시켜 '이웃 밀도 (neighborhood density)'를 측정합니다 (의미적 전문화 vs 일반화).
  • 토큰 수준 임베딩: ModernBERT 를 사용하여 특정 목표 단어의 문맥적 사용법을 클러스터링하고, 의미적 감각 분포의 변화를 식별합니다.
• RQ2 (스타일적 특징): 표면적, 구문적, 심리언어학적, 정서적 차원을 포괄하는 145 가지 언어적 특징 (elfen 및 LFTK 를 통해 추출됨) 에 대해 탄성넷 (elastic net) 정규화가 적용된 로지스틱 회귀 모델을 적용했습니다. 안정성 선택 (stability selection) 을 사용하여 $t_1$과 $t_2$를 구분하고 인간 원본과 LLM 수정본을 구별하는 강력한 예측 변수들을 식별했습니다.
• RQ3 (독서 경험): NLP 분야 전문가 20 명을 대상으로 한 파일럿 주석 연구가 수행되었습니다. 참가자들은 인간이 작성한 텍스트와 LLM 개선 텍스트를 쌍으로 비교하여 명확성, 진정성, 신뢰성, 흥미라는 네 가지 차원에 대해 4 점 리커트 척도로 평가했습니다.

주요 결과

• 어휘적 변화: 단어 빈도와 사용 문맥에서 유의미한 변화가 관찰되었습니다.
  • 전문화 vs 일반화: 일부 용어 (예: ensure) 는 이웃 밀도가 증가하여 의미적 전문화 (예: "품질 보증"과 같은 특정 타동사적 문맥으로 좁혀짐) 를 나타냈습니다. 반면 다른 용어 (예: utilize) 는 밀도가 감소하여 의미적 일반화 ("이용하다"로 의미 확장) 를 나타냈습니다.
  • 스타일적 대체: 일반 언어 표현 (예: use, good) 은 더 공식적이거나 전문적인 용어 (예: utilize, comprehensive) 로 대체되는 경향이 감소했습니다. 이 경향은 자연주의 말뭉치와 합성 LLM 데이터셋 모두에서 일관되게 나타났으며, 이는 LLM 이 이러한 스타일적 변화를 주도한다는 것을 시사합니다.
• LLM 수정본 텍스트의 스타일적 특징: 회귀 분석 결과, LLM 수정본 텍스트는 다음과 같은 특징을 가지는 것으로 나타났습니다:
  • 복잡성: 더 긴 단어, 더 높은 평균 습득 연령, 그리고 더 복잡한 구문 구조 (예: 부사절, 부정문) 가 특징입니다.
  • 밀도: 어휘 다양성 (Simpson's D) 이 낮고 동사 변이가 감소했으나, 불용어 (stopwords) 가 적어 의미적 밀도는 더 높습니다.
  • 구조: 고유명사와 특정 구두점 패턴 (쉼표/대시 증가, 괄호 감소) 을 선호합니다.
  • 정서: 감각운동 단어 (예: enhance, highlight) 와 분노 관련 단어의 사용이 증가했으나, 일부 문맥에서는 신뢰 관련 단어의 빈도는 낮았습니다.
• 독서 경험: 주석 연구는 LLM 개선 텍스트에 대한 주관적 선호도를 드러냈습니다:
  • 긍정적 평가: 전문가들은 LLM 수정본 텍스트를 명확성과 흥미 측면에서 유의미하게 더 높게 평가했습니다.
  • 혼합/부정적 평가: 신뢰성과 진정성은 효과 크기가 작았지만, 상당수의 평가자들은 이러한 차원에서 인간 원본을 선호했습니다.
  • 주관성: 정성적 피드백에 따르면, 전문가들은 명확성에 대한 긍정적 정량적 평가에도 불구하고 과제를 어렵게 느꼈으며 LLM 글쓰기에 대해 전반적으로 부정적인 태도를 보였습니다. 이는 지각된 가독성과 신뢰/진정성 사이의 괴리를 강조합니다.

의의 및 기여
본 논문은 네 가지 주요 기여를 주장합니다:

1. 스타일 변화에 대한 경험적 증거: ChatGPT 이후 과학 논문이 LLM 사용에 기인한 고유한 어휘 및 스타일적 패턴 (예: 낮은 어휘 다양성, 높은 단어 복잡성) 을 보인다는 것을, 자연주의 데이터와 통제된 합성 실험을 비교함으로써 검증하여 입증합니다.
2. 독서 경험과의 연결: 이러한 객관적인 스타일적 변화와 주관적인 독서 경험 사이의 연결을 확립하여, LLM 개선 텍스트가 더 명확하고 흥미롭게 지각되지만 반드시 더 진정성 있거나 신뢰할 수 있는 것은 아니라는 사실을 발견합니다.
3. 자료 공개: 저자들은 향후 수집을 위한 스크립트와 함께 업데이트된 ACL-OCL 말뭉치 (99,300 편 논문) 를 공개하며, 200 개 쌍에 대한 전문가 주석이 포함된 3,000 개의 인간-LLM 텍스트 쌍으로 구성된 새로운 데이터셋을 제공합니다.
4. 방법론적 프레임워크: 본 연구는 이진법적 검출을 넘어 AI 보조 글쓰기의 특정 언어적 지문과 그것이 과학 공동체에 미치는 영향을 특징짓기 위한 포괄적인 인간-LLM 공동 저술 텍스트 분석 프레임워크를 제공합니다.

저자들은 LLM 이 과학적 텍스트의 지각된 명확성과 몰입도를 향상시키는 것처럼 보이지만, 동시에 더 동질적이고 복잡한 글쓰기 스타일을 도입하며, 그 장기적 영향은 추가 조사가 필요하다고 결론지었습니다.