When Writing Style Drifts: Benchmarking Authorship Verification under Distribution Shifts in Genre, Time and the AI-Era
이 논문은 장르, 시간, 그리고 AI 시대에 따른 분포 변화(distribution shifts) 하에서 저자 확인(authorship verification)을 체계적으로 평가하기 위한 최초의 독일어 벤치마크인 AVShift를 소개하며, 미세 조정된 LLM이 장르 간에는 가장 잘 일반화되는 반면 시간적 표류(temporal drift)는 성능을 유의미하게 저하시키지만 AI 시대에 따른 측정 가능한 변화는 감지되지 않았음을 밝힌다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
모든 사람은 글쓰기 방식에 자신만의 독특한 습관의 흔적을 남깁니다. 지문이 신체를 식별하는 물리적 표식인 것처럼, 작가의 '이디오렉트(idiolect, 개인어)'는 문장 부호를 사용하는 방식, 문장의 길이, 선호하는 단어 등 그 사람의 정신을 식별하는 언어적 습관의 집합체입니다. 수십 년 동안 문학 및 법률 전문가들은 이러한 패턴을 활용해 표절을 잡아내거나 익명의 협박 편지를 쓴 작성자를 식별하는 등 미스터리를 해결해 왔습니다. 핵심 아이디어는 간단합니다. 연애 편지를 쓰든 비즈니스 보고서를 쓰든 어휘는 바뀔 수 있지만, 글쓰기의 깊은 기저에 깔린 리듬은 인식될 수 있을 만큼 일정하게 유지된다는 것입니다.
하지만 이 가정은 현대 사회에서 심각한 도전에 직면해 있습니다. 글쓰기는 진공 상태에서 일어나지 않습니다. 장르, 시대, 그리고 우리가 사용하는 도구에 따라 변화합니다. 어떤 사람은 오전에는 짧고 격식 없는 포럼 게시물을 쓰고, 저녁에는 길고 세련된 이야기를 쓸 수도 있습니다. 또한 오늘날의 글쓰기는 20년 전의 글쓰기와 다를 수 있습니다. 더욱이, 사람들이 글을 쓰는 것을 돕는 인공지능 도구의 폭발적인 증가는 새로운 질문을 던집니다. 컴퓨터가 문장을 초안 잡는 것을 돕는 것이 작성자의 고유한 지문을 숨길 만큼 충분히 변화시키는가 하는 점입니다. 이러한 질문에 답하기 위해, 연구자들은 이러한 디지털 '지문'이 맥락이 변할 때도 유지되는지 테스트할 방법이 필요했습니다.
뉘른베르크 공과대학교의 연구팀은 AVShift라는 거대한 새로운 테스트 세트를 구축함으로써 이 문제를 해결했습니다. 단일 유형의 글쓰기를 살펴보는 대신, 그들은 팬픽, 리뷰, 포럼 토론을 다루는 독일 웹사이트에서 150,000개 이상의 텍스트 쌍을 수집했습니다. 이 컬렉션은 2004년부터 2025년까지 21년에 걸쳐 있으며, 현대적인 AI 글쓰기 보조 도구가 대중적으로 출시되기 전과 후의 글쓰기를 모두 담고 있습니다. 연구진은 이 데이터를 사용하여 컴퓨터 프로그램이 서로 다른 두 텍스트가 동일한 사람에 의해 작성되었음을 여전히 올바르게 식별할 수 있는지 확인하고자 했습니다. 이는 두 텍스트의 장르가 다르거나, 몇 년의 시간 차가 있거나, 혹은 AI 보조 도구가 존재하는 시대에 작성되었을 때도 마찬가지였습니다.
연구팀은 이 퍼즐을 풀기 위해 세 가지 유형의 컴퓨터 방식을 테스트했습니다. 첫 번째 유형은 전문가가 특정 글쓰기 특징을 수동으로 선택하여 컴퓨터가 계산하도록 하는 수작업 규칙에 의존했습니다. 두 번째 유형은 텍스트를 밀집된 디지털 요약본으로 압축하는 법을 배우는 수학적 모델을 사용했습니다. 세 번째이자 가장 최근의 유형은 에세이나 코드를 쓸 수 있는 강력한 AI 시스템인 대규모 언어 모델을 사용했으며, 이 모델은 "이 두 글을 같은 사람이 썼는가?"라는 질문에 답하도록 특별히 훈련되었습니다.
결과는 글쓰기의 유형이 매우 중요하다는 것을 보여주었습니다. 컴퓨터가 두 개의 포럼 게시물처럼 동일한 장르 내의 텍스트를 매칭하려고 할 때 성능이 매우 좋았습니다. 그러나 포럼 게시물을 이야기나 리뷰와 매칭해야 하는 과제에서는 대부분의 방식의 성능이 크게 떨어졌습니다. 가장 성공적인 접근법은 세 가지 글쓰기 스타일을 혼합하여 훈련된 대규모 언어 모델이었습니다. 훈련 과정에서 컴퓨터에게 다양한 글쓰기 목소리를 노출함으로써, 모델은 장르 간의 표면적인 차이를 무시하고 저자의 깊고 일관된 습관에 집중하는 법을 배웠습니다. 이 모델은 이야기와 포럼 게시물을 비교할 때도 높은 성공률을 달럽하며, 다양한 훈련 식단이 시스템을 훨씬 더 견고하게 만든다는 것을 입증했습니다.
그러나 시간은 장르보다 훨씬 더 강력한 장애물로 작용했습니다. 연구진은 두 텍스트 사이의 시간 간격이 커질수록 작성자의 신원을 확인하는 능력이 꾸준히 감소한다는 것을 발견했습니다. 사람이 두 편의 글을 쓴 시점 사이의 대기 시간이 길어질수록, 컴퓨터가 그들을 연결하는 것은 더 어려워졌습니다. 이러한 감소는 단 1년 만에도 눈에 띄게 나타났으며, 이는 우리의 글쓰기 스타일이 정적인 지문이 아니라 지속적으로 진화하는 살아있는 생명체임을 시사합니다. 이러한 정확도 저하는 법적 조사와 같은 고위험 상황에서 특별한 조정 없이 몇 년 전의 문서를 비교할 경우 오류를 초-래할 가능성이 높을 정도로 유의미했습니다.
놀랍게도 인공지능의 등장은 많은 이들이 우려했던 혼란을 일으키지 않았습니다. 연구진은 AI 글쓰기 도구의 광범위한 도입 전후의 텍스트를 면밀히 조사하여, 'AI 시대'가 새로운 혼란스러운 글쓰기 분포를 만들어냈는지 확인했습니다. 그들은 이러한 도구의 사용이 검증을 불가능하게 만드는 체계적인 변화를 일으켰다는 증거를 찾지 못했습니다. 성능의 차이는 있었지만, 그 변화는 AI의 도움을 탓할 수 있는 패턴을 따르지 않았습니다. 그 변동은 AI 도구의 존재 자체보다는 특정 주제나 텍스트의 길이와 같은 다른 요인에서 기인한 것으로 보였습니다.
또한 이 연구는 작가의 스타일을 구성하는 구체적인 습관을 조사했습니다. 연구진은 흔히 쓰이는 기능어(function words)의 사용과 같이 장르에 관계없이 안정적으로 유지되는 특징이 있는 반면, 글의 유형에 따라 급격히 변하는 특징도 있다는 것을 발견했습니다. 모든 상황에 적용되는 단 하나의 '마법 같은' 특징은 없었으며, 대신 가장 신뢰할 수 있는 지표는 비교되는 장르에 따라 달랐습니다. 이는 진정으로 신뢰할 수 있는 시스템을 구축하려면 스타일이 유연하며, 저자를 식별하는 규칙은 맥락에 따라 변한다는 점을 이해해야 함을 시사합니다.
궁극적으로 이 연구는 글쓰기 스타일이 유동적이고 시간과 장르에 따라 변하지만, 추적이 불가능한 것은 아니라는 점을 보여줍니다. 성공의 열쇠는 단 하나의 변하지 않는 규칙을 찾는 데 있는 것이 아니라, 다양한 조건의 스펙트럼 속에서 저자의 목소리를 인식하도록 시스템을 훈련하는 데 있습니다. 다양한 훈련 데이터를 사용하고 시간이 이러한 신호를 약화시킨다는 점을 인정함으로써, 연구자들은 실제 응용 분야에서 훨씬 더 신뢰할 수 있는 도구를 구축할 수 있습니다. 이 연구 결과는 명확한 방향을 제시합니다. 복잡한 세상에서 저자성을 검증하려면, 저자의 스타일이 시간에 박제되어 있을 것이라고 가정하기보다 변화를 예상하도록 도구를 가르쳐야 합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.