Detecting Evidence of LLM Contributions to Open Access Biomedical Literature: A Bibliometric Analysis
약 300만 편의 오픈 액세스 의생명 과학 논문을 대상으로 한 이 계량서지학적 분석은 2022년 이후 LLM 관련 용어가 유의미하게 증가했음을 보여주며, 이는 생성형 AI 도구의 급격한 도입을 나타내는 동시에 과학적 무결성을 보존하기 위한 투명성과 탐지 방법의 시급한 필요성을 강조한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
수십 년 동안 학자들은 자신의 글을 더 명확하게 만들고 연구를 더 효율적으로 수행하기 위해 도구에 의존해 왔습니다. 철자 검사기와 문법 소프트웨어는 저자의 핵심적인 목소리를 바꾸지 않으면서 오류를 매끄럽게 다듬고 더 나은 단어 선택을 제안하는 표준적인 조력자로서 오랫동안 자리 잡았습니다. 최근 몇 년 사이, 놀랍도록 인간처럼 들리는 전체 문단을 생성할 수 있는 새로운 세대의 도구들이 등장했습니다. 대규모 언어 모델로 알려진 이 시스템들은 방대한 양의 텍ated 자료를 학습하여 거의 모든 주제에 대해 일관성 있고 세련된 산문을 만들어낼 수 있습니다. 이러한 도구들은 글쓰기 과정을 가속화할 것이라는 약속을 제공하지만, 동시에 과학계에 어려운 질문을 던집니다. 어떻게 하면 인간 연구자가 쓴 문장과 기계가 만든 문장을 구별할 수 있을 것인가 하는 점입니다. 이러한 구분은 과학 문헌의 무결성이 그 안에 제시된 아이디어의 진정성과 사실의 정확성에 달려 있기 때문에 매우 중요합니다. 만약 새로운 연구의 상당 부분이 이러한 도구들에 의해 초안이 작성되거나 집중적으로 편집된다면, 우리가 지식을 읽고, 신뢰하고, 그 위에 쌓아 올리는 방식은 변화해야 할지도 모릅니다.
한 연구팀은 단어 그 자체를 직접 살펴봄으로써 이 질문에 답하고자 했습니다. 그들은 펍메드 센트럴(PubMed Central)이라는 공공 데이터베이스에 있는 방대한 양의 공개 액세스 의생명 연구 논문에 주목했습니다. 이 컬렉션은 수백만 편의 논문을 포함하고 있어, 전 세계 과학자들이 자신의 연구를 어떻게 서술하는지에 대한 거대한 창 역할을 합니다. 연구팀은 어떤 특정 논문이 기계에 의해 쓰였는지 추측하려 하지 않았습니다. 이는 인간과 컴퓨터 프로그램 모두에게 어려운 과제로 증명되어 왔기 때문입니다. 대신, 그들은 다른 종류의 신호를 찾았습니다. 그들은 이전 연구에서 인공지능에 의해 훨씬 더 자주 사용되는 것으로 밝혀진 특정 단어와 구절들이, 이 도구들이 대중에게 널리 보급된 시점인 2022년 말 이후 과학 문헌에서 갑자기 훨씬 더 흔해졌는지 조사했습니다.
연구진은 2019년부터 2024년 사이에 발표된 약 300만 편의 논문을 수집했습니다. 그들은 이전 연구에서 기계 생성 텍스트의 특징이라고 지목된 190개의 특정 단어와 구절 목록을 만들었습니다. 여기에는 'meticulous(세심한)', 'intricate(복잡한)'와 같은 형용사와 'delve(파고들다)', 'underscore(강조하다)'와 같은 동사, 그리고 'navigating the complexities of(~의 복잡성을 탐구하며)'나 'it is important to note(유의할 점은 ~이다)'와 같은 긴 구절들이 포함되었습니다. 그런 다음 그들은 이 용어들이 얼마나 자주 나타나는지 확인하기 위해 데이터셋의 모든 논문을 스캔했습니다. 목표는 이 단어들의 빈도가 시간이 지남에 따라 어떻게 변하는지, 특히 새로운 AI 도구들이 출시된 이후 사용량이 급격히 증가했는지를 확인하는 것이었습니다.
결과는 생의학 연구 언어에서 명확하고 극적인 변화를 보여주었습니다. 2022년 이전에는 이러한 특정 용어들의 사용이 일반적인 글쓰기 방식의 변화와 일치하게 완만하고 꾸준하게 증가했습니다. 그러나 2023년에 시작되어 2024년까지 이어지며 많은 단어의 사용량이 폭발적으로 늘어났습니다. 예를 들어, 2로 19년 전체 데이터베이스에서 1,000번 미만으로 등장했던 'meticulously(세심하게)'라는 단어는 2024년에 16,000번 이상 등장했습니다. 'it's important to note(유의할 점은 이다)'라는 구절 역시 비슷한 급증을 보이며 2019년 단 29건에서 2024년 약 800건으로 뛰어올랐습니다. 아마도 가장 결정적인 것은 더 길고 복잡한 구절들이었을 것입니다. 'delving into the intricacies of(의 복잡성을 파고드는)'라는 조합은 2023년 이전 문헌에서는 거의 존재하지 않았으나, 2024년에는 수십 편의 논문에 등장했습니다. 연구진은 이것이 단순히 특정 단어가 인기를 얻는 현상이 아니라, AI 글쓰기의 특징으로 알려진 특정 단어의 조합들이 점점 더 빈번하게 함께 나타나고 있다는 점에 주목했습니다.
연구는 또한 이러한 단어들이 서로 어떻게 결합하여 사용되는지도 살펴보았습니다. 그들은 AI와 연관된 이러한 용어들의 쌍과 그룹이 통계적으로 우연히 발생하기 어려운 비율로 동일한 논문 내에서 함께 나타난다는 것을 발견했습니다. 예를 들어, 'artificial intelligence(인공지능)'와 'underscore(강조하다)'라는 단어는 이전보다 훨씬 더 자주 같은 논문에 함께 등장하기 시작했습니다. 연구진은 이러한 패턴이 수년에 걸쳐 점진적으로 일어나는 언어 스타일의 느린 진화가 아니라, 생성형 AI 도구의 공개 시점과 정확히 일치하는 갑작스러운 변곡점임을 관찰했습니다. 비록 이 연구가 특정 논문 하나하나가 기계에 의해 쓰였다는 것을 증명할 수는 없지만, 이러한 언어적 변화의 규모 자체가 이러한 도구들이 해당 분야의 저자들에 의해 광범위하게 사용되고 있음을 시사합니다.
연구 저자들은 이것이 반드시 연구 자체에 결함이 있다는 것을 의미하거나, 이러한 단어를 사용하는 모든 논문이 비진정하다는 것을 뜻하는 것은 아니라고 강조합니다. 대신, 이 결과는 새로운 글쓰기 보조 도구의 급격하고 광범위한 채택이 과학적 소통의 질감을 변화시키고 있음을 가리킵니다. 연구진은 이러한 도구들이 때때로 실수를 하거나 진정한 이해가 결여된 콘텐츠를 생성할 수 있기 때문에, 과학계가 이들이 언제 사용되는지 식별할 수 있는 더 나은 방법을 개발해야 한다고 주장합니다. 그들은 이러한 도구들을 금지하기보다는(이미 우리 곁에 와 있는 도구들이기에), 학자, 편집자, 검토자들이 투명성에 집중해야 한다고 제안합니다. 이러한 도구들이 언제, 어떻게 사용되었는지 밝힘으로써, 과학적 기록을 만드는 방법이 계속 진화하더라도 과학적 기록의 신뢰성을 유지할 수 있습니다. 연구는 과학의 언어가 변하고 있으며, 이러한 새로운 패턴을 인식하는 것이 인공지능이 지식을 공유하는 방식을 어떻게 재편하고 있는지 이해하는 첫걸음이라고 결론짓습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.