Writing Style Similarity Reflects Academic Genealogy
이 논문은 학술적 계보가 문체에 상당한 영향을 미친다는 점을 입증하며, 지도 교수와 그 제자(및 학술적 형제들)가 무작위로 선택된 동료들보다 실질적으로 더 높은 문체적 유사성을 보인다는 것을 보여주고, 이는 이러한 계승된 문체적 특성을 고려하지 못하는 저자 식별 시스템에서 높은 오판율로 이어진다는 것을 보여준다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
학술 출판의 세계에서 저자의 목소리는 종종 고유한 지문처럼 취급된다. 컴퓨터 프로그램이 특정 논문의 저자가 누구인지 판별하도록 요청받을 때, 이 프로그램은 단어 선택, 문장 구조, 그리고 리듬에 나타나는 미묘한 패턴을 스캔하며, 이러한 습관이 하나의 독립적인 정신에 속하는 것이라고 가정한다. 이 가정은 대필 작가를 잡아내거나 인공지능가 생성한 논문을 식별하기 위해 점점 더 많이 사용되는 기술인 저자 식별(authorship attribution)의 토대이다. 그러나 이 시스템은 연구자의 문체가 전적으로 자신만의 것이라는 취약한 전제에 기반하고 있다. 실제로 학자들은 고립되어 발전하지 않는다. 그들은 멘토 밑에서 수학하고, 소속 학과의 습관을 흡수하며, 종종 동일한 모국어와 전문 용어를 공유한다. 만약 학생의 글쓰기 스타일이 지도 교수에 의해 크게 형성되었다면, 진정한 저자를 찾아내도록 설계된 컴퓨터는 실수로 멘토를 지목할 수 있으며, 이는 동료 심사 과정에서 반박하기 거의 불가능한 허위 고작을 만들어낼 수 있다.
한 연구자가 이러한 멘토십 효과가 자동화된 시스템을 혼란스럽게 할 만큼 강력한지 테스트하기 위해 연구를 시작했다. 그는 수학 분야의 누가 누구를 교육했는지에 대한 기록인 수학 계보 프로젝트(Mathematics Genealogy Project)의 기록을 활용하여 방대한 데이터셋을 구축했다. 이 검증된 가계도를 실제 수천 편의 논문 초록과 연결함으로써, 그는 학술적 관계에 대한 '그라운드 트루스(ground-truth)' 지도를 만들었다. 그는 특히 단독 저자로 최소 두 편 이상의 논문을 쓴 저자들에게 집중했는데, 이는 텍填이 집단의 노력이 아닌 개인의 목소리를 반영하도록 하기 위함이었다. 그 후 연구자는 컴퓨터 모델을 사용하여 서로 다른 사람들 사이의 글쓰기 스타일이 얼마나 가까운지를 측정했으며, 공유하는 대학이나 연구 분야와 같은 다른 요인들을 엄격히 통제하면서 지도 교수와 학생, 그리고 학생과 학생 간의 유사성을 비교했다.
결과는 문어(文語) 속에 나타난 멘토십의 명확하고 측정 가능한 메아지를 드러냈다. 연구자가 지도 교수와 그 학생의 글쓰기를 비교했을 때, 두 사람의 스타일은 동일 분야에서 일하는 무작위의 두 사람보다 유의미하게 더 유사한 것으로 나타났다. 실제로 지도 교수의 스타일은 무작위의 동료보다 학생의 스타일과 거의 40% 더 가까웠다. 이러한 유사성은 단순히 같은 건물에서 근무하는 문제만이 아니었다. 이 효과는 학생들이 다른 기관으로 옮겨가서 연구를 수행할 때도 지속되었다. 또한 이 연구는 연구자가 "학술적 형제(academic siblings)"라고 부르는 현상을 밝혀냈다. 이는 동일한 지도 교수 밑에서 훈련받았지만 서로 만난 적이 없을 수도 있는 두 학생을 의미한다. 직접적인 연결 고리가 오직 멘토뿐인 이 쌍들은 무작위의 쌍들보다 스타일 면에서 약 30% 더 밀접하게 유사한 글쓰기를 보여주었다. 이는 멘토의 영향력이 학술적 계보를 통해 전달되며, 직접 상호작용하지 않은 학생들의 목소리까지도 형성한다는 것을 시사한다.
결정적으로, 연구자는 단순히 같은 대학이나 학과를 공유하는 것만으로는 이 효과를 만들기에 충분하지 않다는 것을 발견했다. 연구자가 지도 교수와 학생 관계가 없는 동일한 학교에서 박사 학위를 받은 사람들을 조사했을 때, 그들의 글쓰기 스타일은 낯선 이들과 비교했을 때 거의 추가적인 유사성을 보이지 않았다. 이는 이 효과가 단순히 동일한 물리적 환경에 있거나 동일한 지역적 전문 용어를 사용하는 데서 기인한 것이 아님을 입증했다. 진정한 동인은 직접적인 멘토십의 선이었다. 이것이 실제 도구들에 어떤 영향을 미치는지 확인하기 위해, 연구자는 컴퓨터 시스템이 후보자 명단 중에서 논문의 저자를 식별하도록 하는 테스트를 실행했다. 시스템은 실제 저자가 최우선 추측이 아니었던 사례의 약 8%에서 실수를 범했다. 이러한 특정 오류 상황에서, 컴퓨터는 무작위 확률보다 훨씬 더 높은 빈도로 실제 저자의 지도 교수나 학술적 형제를 지목했다. 실제로 시스템은 우연히 예측되는 것보다 11배나 더 자주 이러한 유형의 오류를 범했다.
이 연구는 완전한 문체적 독립성이라는 가정이 결함이 있다고 결론짓는다. 연구자가 결국 자신만의 목소리를 발달시키기는 하지만, 멘토의 각인은 수년간 감지 가능한 상태로 남아, 자동화된 시스템이 정체성으로 착각할 수 있는 패턴을 만들어낸다. 이것이 기술이 고장 났음을 의미하는 것이 아니라, 학술적 글쓰기가 세대에서 세대로 전해지는 학습된 기술이라는 현실을 고려해야 함을 의미한다. 이 연구 결과는 시스템이 어떤 논문을 멘토의 것으로 지목할 때, 그것이 사기의 징후가 아니라 그 학자가 글쓰기를 배웠던 깊고 역사적인 연결의 반영일 수 있음을 시사한다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.