기술 요약: SCHOLAWRITE: 엔드 투 엔드 학술적 글쓰기 과정에 대한 데이터셋

문제 제기

과학적 글쓰기는 계획, 초안 작성, 수정의 재귀적 순환으로 특징지어지는, 인지적으로 매우 까다롭고 비선형적인 과정이다. 연구 워크플로에 대규모 언어 모델(LLM)이 통합되고 있음에도 불구하고, 현재의 글쓰기 보조 도구들은 대부분 작가의 근본적인 인지적 변화를 이해하지 못한 채 텍스트를 선형적으로 생성하는 자기회귀적 방식으로 작동한다. 기존 데이터셋은 대개 최종 원고 버전이나 단기적인 수정 로그만을 포착하며, 학술적 글쓰기의 종단적이고 의도 중심적인 성격을 제대로 나타내지 못한다. 결과적으로, 인간 과학자가 실제로 어떻게 글을 쓰는지 모델링할 수 있는 경험적 데이터가 부족하며, 이는 인간의 인지적 글쓰기 과정을 진정으로 이해하고 지원할 수 있는 AI 어시스턴트 개발을 제한한다.

방법론

이러한 격차를 해소하기 위해, 저자들은 초기 초안부터 최종 원고에 이르는 엔드 투 엔드 학술적 글쓰기 과정을 포착한 최초의 데이터셋인 SCHOLAWRITE를 제시한다.

데이터 수집

• 참여자: 미국 R1 대학의 컴퓨터 과학 전공 대학원생 10명.
• 기간: 4개월 (2023년 11월 – 2024년 2월).
• 도구: Overleaf LaTeX 에디터로부터 실시간 키스트로크(keystrokes)를 방해 없이 기록하기 위해 커스텀 크롬 확장 프로그램을 개발하였다. 이 시스템은 모든 키스트로크를 캡처하고, 디프(diff) 알고리즘을 사용하여 텍스트 버전을 비교하며, 프라이버시 보호를 위해 동의되지 않은 프로젝트를 필터링하면서 메타데이터(타임스탬프, 파일 이름, 작성자 ID)를 기록한다.
• 범위: 데이터셋은 arXiv 프리프린트로 완성된 5개의 Overleaf 프로젝트를 다루며, 약 62,000개의 키스트로크 기반 글쓰기 동작과 118,000단어 이상의 추가 및 삭제를 포함한다.

어노테이션 및 분류 체계

• 과정: 두 명의 어노테이터(NLP 전문 지식을 갖춘 대학원생)가 특화된 인터랙티브 인터페이스를 사용하여 키스트로크 데이터를 검토하였다. 이들은 글쓰기 과정 이론(Flower & Hayes, 1981)과 기존의 경험적 연구에 기반한 인지적 분류 체계를 적용하였다.
• 분류 체계: 세 가지 상위 카테고리로 그룹화된 15가지 글쓰기 의도 분류 체계가 개발되었다:
  1. 계획 (Planning): 아이디어 생성(Idea Generation), 아이디어 조직(Idea Organization), 섹션 계획(Section Planning).
  2. 구현 (Implementation): 텍스트 생성(Text Production), 객체 삽입(Object Insertion), 인용 통합(Citation Integration), 교차 참조(Cross-reference), 매크로 삽입(Macro Insertion).
  3. 수정 (Revision): 유창성(Fluency), 일관성(Coherence), 명료성(Clarity), 구조(Structural), 언어적 스타일(Linguistic Style), 과학적 정확성(Scientific Accuracy), 시각적 포맷팅(Visual Formatting).
• 신뢰도: 어노테이션 과정은 1,000-키스트로크 서브셋에서 0.71의 가중치 F1 상호 어노테이터 일치도(inter-annotator agreement)를 달了.

분석 및 평가

저자들은 SCHOLAWRITE를 다음 세 가지 주요 목적으로 활용하였다:

1. 행동 분석: 글쓰기 의도의 분포, 지속 시간, 전이를 조사하여 학술적 글쓰기의 비선형적 특성을 규명한다.
2. 벤치마킹: 차기 의도 예측(next-intention prediction) 및 출력 정렬(output alignment) 작업에 대해 최첨단 LLM(GPT-5, Qwen2.5-14B)을 평가한다.
3. 모델 학습: 인간의 글쓰기 워크플로와 정렬되는 정도를 평가하기 위해 BERT, RoBERTa, Llama-3.1-8B 모델을 데이터셋으로 미세 조정(fine-tuning)한다.

핵심 기여

1. SCHOLAWRITE 데이터셋: 다섯 개의 학술 원고 전체 라이프사이클을 다루며, 모든 키스트로크를 인지적 글쓰기 의도와 연결한 세밀한 공개 데이터셋이다.
2. 글쓰기 행동에 대한 경험적 통찰:
   • 학술적 글쓰기는 매우 비선형적이며 다중 의도를 가진다. 57% 이상의 글쓰기 세션이 세 개 이상의 뚜로 다른 의도를 포함한다.
   • 글쓰기는 텍스트 생성(57.4%)과 수정(특히 명료성 및 일관성)이 주를 이루지만, 계획 활동은 시간 점유율은 낮으나 종종 더 길고 집중적인 세션을 수반한다.
   • 글쓰기 패턴은 단계에 따라 변화한다. 초기 단계는 구조화와 아이디어 생성에 집중하는 반면, 후기 단계는 수정과 포맷팅이 주를 이룬다.
3. 벤치마킹 및 학습 결과:
   • 현재 LLM의 한계: 제로샷(Zero-shot) 모델은 차기 의도 예측(가중치 F1 < 0.5)에 어려움을 겪으며, 특히 계획 및 구현 단계에서 인지적으로 복잡한 수정을 지속하는 데 실패한다.
   • 미세 조정의 영향: SCHOLAWRITE로 미세 조정된 모델들(예: BERT, RoBERTa, Llama-8B)은 차기 의도 예측 및 출력 정렬에서 상당한 개선을 보였다.
   • 반복적 글쓰기: 미세 조정된 모델은 계획, 구현, 수정 사이를 빈번하게 오가며 더 인간과 유사한 반복 패턴을 채택하는 반면, 베이스라인 모델들은 하나의 단계에 머무는 경향이 있다.

결과

• 행동 분석: 데이터는 "빠르고 반복적인 초안 작성"과 "길고 집중적인 계획/시각적 구성"이 상호 보완적인 인지 모드임을 보여준다. 의도 간의 전이는 밀도가 높고 양방향적이며, 수정 의도(명료성, 유창성, 일관성)는 강력한 재귀적 루프를 형성한다.
• 예측 성능: 미세 조정된 BERT와 RoBERTa는 차기 의도 예측에서 0.64의 가중치 F1 점수를 달성하였으며, 이는 베이스 모델(0.04–0.12)에 비해 상당한 향상이다.
• 정렬: 미세 조정된 Llama-8B 모델은 제로샷 베이스라인에 비해 인간의 편집과 더 높은 의미적 유사성(BERTScore-F1) 및 운영적 유사성(Levenshtein distance)을 보였다.
• 반복적 생성: 100회 반복 자가 글쓰기 작업에서, 미세 조정된 모델은 베이스라인보다 더 넓은 범위의 글쓰기 의도를 다루고 더 다양한 어휘와 주제 일관성을 가진 출력을 생성했으나, 표면적인 유창성과 논리적 일관성 측면에서는 여전히 뒤처졌다.

의의

본 논문은 글쓰기의 인지적 역동성을 포착하는 것이 인간의 인지를 대체하는 것이 아니라 지원하는 글쓰기 어시스턴트를 구축하는 데 필수적이라고 주장한다. SCHOLAWRITE는 다음을 위한 기초 자원을 제공한다:

• 학술적 글쓰기의 세밀한 인지 패턴 연구.
• LLM과 인간의 글쓰기 의도 및 워크플로 간의 정렬 상태 평가.
• 진화하는 다중 의도 글쓰기 행동에 적응할 수 있는 모델 학습.

저자들은 현재 모델들이 텍스트 품질 측면에서 여전히 과제에 직면해 있지만, SCHOLAWRITE를 통한 프로세스 수준의 감독(supervision) 노출이 모델이 인간의 학술적 글쓰기 과정을 더 잘 모사할 수 있게 한다고 결론짓는다. 저자들은 데이터셋이 컴퓨터 과학 도메인(LaTeX)에 집중되어 있다는 점, 프라이버시 문제로 인한 작은 샘플 크기, 그리고 에디터 외부의 사전 글쓰기 아이데이션(ideation)이 제외되었다는 점을 한계로 인정하며, 향후 연구가 더 넓은 학문 분야와 멀티모달 협업으로 확장되어야 함을 시사한다.