Did LLMs colonize scientific titles? Fifty years of titular colonicity
이 연구는 50년간의 과학 논문 제목 데이터를 분석하여, 콜론 사용이 오랫동안 지속되어 온 관례로서 그 빈도가 높아지고 있는 반면, 대규모 언어 모델은 인간 저자보다 현저히 높은 빈도로 콜론을 포함한 제목을 생성하며, 이러한 패턴은 프롬프트에 민데 민감하고 검색 순위 성능에 영향을 미친다는 점을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
과학 논문은 종종 그 제목, 즉 독자가 링크를 클릭하기도 전에 연구가 무엇에 관한 것인지 알려주는 데 막중한 역할을 수행해야 하는 짧은 문구들에 의해 평가받는다. 수십 년 동안 연구자들은 이 제목들에서 특정한 패턴을 발견해 왔다: 바로 콜론(쌍점), 즉 두 개의 점으로 구성된 작은 문장 부호의 사용이다. 제목이 "기후 변화: 새로운 관점"과 같이 되어, 콜론을 사용하여 광범위한 주제와 구체적인 초점을 나누는 식이다. 학계에서 "제목의 콜로니티(titular colonicity)"라고 알려진 이 습관은 1980년대부터 관찰되어 왔다. 이는 정보를 조직하기 위한 표준적인 도구이지만, 최근에는 새로운 힘이 등장했다: 거대 언어 모델이다. 이들은 방대한 양의 텍스트를 학습하여 요약문을 작성하고, 질문에 답하며, 심지어 과학적 제목까지 초안을 잡을 수 있는 인공지능 시스템이다. 이러한 도구들이 연구 과정에서 흔해짐에 따라 자연스러운 의문이 제기된다: 이 기계들이 우리가 글을 쓰는 방식을 바꾸고 있는가? 구체적으로, 이 기계들이 콜론을 과도하게 사용하여 이를 자신들의 결과물의 특징으로 만들고 있는 것은 아닌가, 그리고 이 문장 부호가 컴퓨터가 데이터베이스에서 논문을 찾는 데 실제로 도움이 되는가 아니면 해가 되는가?
이를 확인하기 위해, 폴란드의 인터랙티브 크래프트(Interactive Crafts) 소속 연구팀은 50년의 과학사를 아우르는 대규모 조사를 수행했다. 그들은 단순히 추측하지 않았다. 그들은 OpenAlex라는 글로벌 데이터베이스에서 추출한 1976년부터 2025년 사이에 발표된 약 9,500만 건의 저널 논문을 살펴보았다. 그들의 첫 번째 과제는 콜론의 역사를 지도화하는 것이었다. 그들은 콜론의 사용이 결코 직선적으로 상승하거나 하락하지 않았음을 발견했다. 대신, 그것은 수십 년 동안 요동쳤으며, 1970년대 후반에는 약 16%에 머물렀다가 오르내리기를 반복한 뒤 최근 몇 년 사이 다시 상승했다. 2022년에는 영어 제목의 약 25%가 콜론을 포함하고 있었다. 2024년에는 그 수치가 거의 29%로 급증했으며, 2025년에 대한 예비 조사 결과는 34%에 달할 수 있음을 시사했다. 이러한 최근의 상승은 눈에 띄지만, 연구진은 이 추세가 인공지능이 글쓰기의 지배적인 도구가 되기 전부터 시작되었다는 점을 주의 깊게 언급했다. 즉, 이 증가는 기계에 의한 갑작스러운 변화라기보다 과학자들이 글을 쓰는 방식의 더 길고 복잡한 이야기의 일부라는 것이다.
연구팀은 이어 기계 자체에 주목했다. 그들은 약 1,700개의 과학 초록(연구 논문의 요약본)을 가져와 세 가지 서로 다른 오픈 소스 언어 모델에게 새로운 제목을 생성하도록 요청했다. 그들은 모델에게 두 가지 유형의 지침을 주었다: 하나는 단순히 제목을 요청하는 중립적인 지침이었고, 다른 하나는 생물학이나 공학 같은 특정 학문 분야의 스타일 관례를 따르도록 요청하는 지침이었다. 결과는 놀라웠다. 모델들이 제목을 작성할 때, 실제 발표된 논문 속의 인간 저자들보다 훨씬 더 자주 콜론을 사용했다. 테스트된 주요 모델의 경우, 중립적인 제목의 41%가 콜론을 포함했는데, 이는 실제 발표된 제목의 27%와 비교된다. 모델들에게 학문적 관례를 따르도록 지시했을 때, 콜론 사용률은 60%에 달하며 더욱 높게 치솟았다. 이는 인간은 콜론을 적절히 사용하는 반면, 이 인공지능 시스템들은 특히 특정 학술 스타일을 모방하도록 유도될 때 콜론을 과도하게 사용하는 경령이 있음을 시사한다. 연구진은 또한 모델들이 일관되지 않다는 점을 발견했다. 동일한 초록을 보고 있음에도 불구하고 어떤 때는 콜론이 있는 제목을 만들고 어떤 때는 만들지 않았는데, 이는 이러한 행동이 질문 방식에 민감하다는 것을 나타낸다.
마지막으로, 연구진은 이 문장 부호가 컴퓨터가 논문을 찾을 때 실제로 중요한지를 알고 싶어 했다. 그들은 콜론이 하나 있는 제목을 가져와서 그 콜론을 단순한 공백으로 대체하여, 다른 모든 단어는 정확히 동일하게 유지하는 통제된 실험을 설정했다. 그런 다음 검색 시스템이 수정된 제목을 사용하여 원래의 논문을 찾도록 했다. 놀랍게도, 콜론을 제거하는 것이 검색을 약간 더 효과적으로 만들었다. 시스템은 콜론이 없을 때 원래의 논문을 더 자주 찾아냈고, 결과 목록에서도 더 높은 순위에 올렸다. 이것이 콜론이 인간 독자에게 나쁘다는 의미는 아니지만, 이 테스트에 사용된 특정 검색 기술에 있어서는 콜론이 약간의 장애물로 작용했음을 보여준다. 연구진은 이러한 효과가 보편적이지는 않다고 언급했다. 많은 제목에서 이 변화는 아무런 차이를 만들지 않았지만, 상당 부분의 제목에서는 공백을 사용하는 것이 더 나았다.
연구는 거대 언어 모델이 인간의 규범을 초과하는 빈도로 과학적 제목을 '식민지화(colonizing)'하고 있지만, 이것이 최근의 콜론 사용 증가의 유일한 원인은 아니라고 결론짓는다. 이 추세는 이러한 도구들이 널리 채택되기 전부터 시작되었으며, 증가는 인간의 습관 변화와 기계의 영향이 혼합된 결과일 가능성이 높다. 또한, 콜론의 존재는 논문이 기계에 의해 작성되었음을 식별하는 신뢰할 만한 방법이 아닌데, 이는 인간이 수십 년 동안 이를 사용해 왔기 때문이다. 진짜 핵심은 문장 부호가 단순한 스타일적 선택이 아니라, 기계가 정보를 읽고 검색하는 방식을 변화시키는 변수라는 점이다. 인공지능이 연구 과정에 점점 더 통합됨에 따라, 이러한 작은 언어적 변화를 이해하는 것은 단순히 AI를 식별하기 위해서뿐만 아니라, 우리가 창조한 지식이 그것을 공유하기 위해 설계된 시스템에 의해 여전히 잘 발견될 수 있도록 하기 위해서도 필수적이다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.