Placebo Failures in Domain-Stratified Interrupted Time Series of Mean Lexical Diversity on the Post-2022 Web: A Methodological Caution on Common Crawl MATTR/MTLD Break- point Identification (with Secondary LLM-Associated Vocabulary Markers)
이 방법론적 연구는 2022년 이후 영어 웹 전반에서 평균 어휘 다양성이 감소했다는 주장이 견고하지 않음을 입증하는데, 이는 플라시보 테스트가 여러 영역에서 가짜 분기점을 드러내며 남은 통계적으로 유효한 분석들 또한 검정력이 부족하고 결정적이지 않기 때문이다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
모든 주요 통신 기술은 우리가 말하고 쓰는 방식에 흔적을 남깁니다. 인쇄기가 등장했을 때, 그것은 철자와 문법을 표준화했습니다. 인터넷이 자리 잡았을 때, 그것은 속어와 단축된 문장의 확산을 가속화했습니다. 이제, 인공지능이 우리를 대신해 글을 쓰면서 새로운 힘이 대화에 뛰어들었습니다. 이러한 거대 언어 모델들은 단순히 인간의 언어를 전달하는 것이 아니라, 방대한 양의 언어를 생성하며, 종종 드물거나 특이한 단어보다는 흔하고, 안전하며, 예측 가능한 단어 선택을 선호합니다. 이는 미래의 인간 표현에 대해 단순하지만 심오한 질문을 던집니다. 만약 기계가 개방형 웹상의 텍스트 상당 부분을 작성하게 된다면, 언어 자체가 더 단순해지고, 다양성이 줄어들며, 획일적으로 변하게 될까요?
연구자들은 오랫동안 이런 일이 일어날 수 있다고 의심해 왔습니다. 통제된 테스트에서 컴퓨터가 생성한 텍스트는 종종 인간의 글보다 더 적은 종류의 단어를 사용합니다. 일부 연구는 사람들이 자신의 초안을 다듬기 위해 이러한 도구들을 사용함에 따라, 그들의 글쓰기가 고유한 복잡성을 잃고 공유된 중간 지점의 스타일로 표류할 수 있다고 제안합니다. 그러나 이를 실제의 무질서한 인터넷상에서 증명하는 것은 어렵습니다. 웹은 뉴스 주기, 광고 트렌드, 플랫폼 규칙이 끊임없이 변하는 혼란스러운 곳입니다. 인공지능의 영향을 나타내는 신호를 찾기 위해, 과학자들은 이것이 AI로 인한 진정한 변화인지 아니면 인터넷의 자연스러운 소음인지 구별해야 합니다. 그들은 언어가 진정으로 변하고 있는 것인지, 아니면 단순히 빛의 착시 현상을 보고 있는 것인지를 알아내야 합니다.
한 연구는 인터넷을 타임머신처럼 취급하여 이 질문에 답하고자 했습니다. 연구진은 공공 아카이브인 커먼 크롤(Common Crawl)에서 2020년 초부터 2024년 말까지의 방대한 영어 웹 페이지 모음을 수집했습니다. 이 타임라인은 매우 중요한데, 이는 대중적인 AI 챗봇이 출시된 2022년 11월, 즉 광범위한 AI 도입의 시작점으로 자주 언급되는 시점을 전후로 포함하고 있기 때문입니다. 연구팀은 맥락에 따라 효과가 달라지는지 보기 위해 웹을 여러 '이웃'으로 나누었습니다. 그들은 뉴스 사이트, 개인 블로그, 공개 토론 포럼, 온라인 커머스 페이지를 살펴보았습니다. 각 그룹에 대해, 그들은 두 가지 구체적인 사항을 측정했습니다: 텍스트에 얼마나 다양한 단어가 나타나는지(어휘 다양성), 그리고 그 단어들이 어떻게 배열되는지였습니다. 또한 그들은 "delve", "tapestry", "landscape"와 같이 AI 모델들이 선호하게 된 특정 단어 세트가 빈도 면에서 상승하고 있는지도 확인했습니다.
연구진은 '단절적 시계열(interrupted time series)'이라 불리는 방법을 사용했는데, 이는 기본적으로 어떤 사건이 특정 날짜에 갑작스럽게 발생하는지 확인하기 위해 시간의 흐름에 따른 추세선을 추적하는 방법입니다. 만약 AI가 웹을 재편하고 있다면, 단어의 다양성에 대한 추세선이 2022년 11월 직후에 급격한 하락을 보여줄 것이라고 그들은 예상했습니다. 또한 그들은 자신들의 방법론이 건전한지 확인하기 위해 엄격한 검증을 수행했습니다. 실제 데이터를 보기 전에, 그들은 과거의 가짜 날짜들을 대상으로 시스템을 테스트했습니다. 만약 아무 일도 일어나지 않은 날짜에 시스템이 갑작스러운 변화를 발견했다고 주장한다면, 이는 방법론이 너무 민감하여 허위 경보를 낼 가능성이 높다는 것을 의미합니다. 이 단계는 인터넷이 인공지능과 관련 없는 무작위적인 급등과 급락으로 가득 차 있기 때문에 필수적입니다.
신중한 조사 결과는 놀라울 정도로 조용했습니다. 연구진이 실제 데이터를 살펴보았을 때, 많은 이들이 예측했던 것처럼 통계적으로 견고하고 결정적인 단어 다양성의 하락을 발견하지 못했습니다. 실제로, 유효한 발견으로 간주하기 위한 엄격한 규칙을 적용했을 때, 남은 증거들은 결론을 내리기에 불충분했습니다. 데이터가 너무 소란스러워 변화를 확정할 수도 없었지만, 그렇다고 변화가 없다는 것을 증명하기에도 불충분했습니다. 유일하게 잠재적인 감소를 보인 그룹들은 규모가 작고 통계적으로 약했는데, 이는 데이터가 너무 소란스러워 변화가 일어났는지 확신할 수 없음을 의미합니다. 연구는 "정보력이 있는 영가설(informative powered null)"이 남아있지 않음을 명시적으로 언급하는데, 이는 언어 다양성의 저하를 결정적으로 배제할 수도 없고, 그렇다고 확인할 수도 없음을 뜻합니다. 대조군 역할을 했던 "플라세보(placebo)" 테스트조차도, 해당 방법이 무작위적인 인터넷 소음을 실제 추세로 오인할 수 있음을 보여주었습니다. 예를 들어, 뉴스 카테고리에서 시스템은 2021년의 가짜 날짜에서 중대한 변화를 잘못 감지했는데, 이는 해당 방법이 추가적인 증거 없이 실제 결과를 신뢰할 만큼 견고하지 않다는 것을 입증했습니다.
연구는 특정 어휘가 특히 상업 및 뉴스 작성에서 약간 더 흔해지고 있다는 징후를 찾아냈습니다. 그러나 이러한 증가는 미미했으며 우연을 배제하기 위해 사용된 엄격한 통계 테스트를 통과하지 못했습니다. 이는 AI가 미세한 스타일적 지문을 남기고 있을 수는 있지만, 아직 언어를 명확히 측정 가능한 방식으로 유의미하게 단순화하거나 획일화시키지는 않았음을 시사합니다. 연구진은 AI 도구의 출시 이후 언어 복잡성이 급격하고 광범위하게 감소했다는 생각은 데이터에 의해 뒷받침되지 않는다고 결론지었으나, 명확한 신호가 없는 이유는 변화가 없다는 결정적인 증거라기보다는 데이터의 한계 때문입니다. 적어도 AI 붐 직후의 몇 년 동안 웹의 언어는 그 다양성을 유지하고 있는 것으로 보이지만, 이 연구가 절대적인 확실성을 가지고 이를 확인해 주는 것은 아닙니다.
이것이 인공지능이 언어에 아무런 영향도 미치지 않는다는 의미는 아니며, 단지 그 효과를 감지하는 것이 단순한 단어 다양성의 하락보다 더 어렵다는 것을 의미합니다. 이 연구는 인터넷이라는 살아 움직이는 생태계에서 그러한 변화를 측정하는 것이 얼마나 어려운지를 강조합니다. 연구진은 자신들이 처리할 수 있는 문서의 수와 인터넷 아카이브가 수집되는 특정 방식에 의해 데이터가 제한되었다고 언급했습니다. 그들은 자신들의 결과가 연구 대상 기간과 조사한 웹사이트 유형에 국한된다는 점을 강조했습니다. 그들은 AI가 인간의 글쓰기를 균질화한다는 것을 증명하는 "결정적 증거(smoking gun)"를 찾지 못했지만, 그렇다고 결코 그러한 일이 일어나지 않을 것이라는 점을 증명한 것도 아닙니다. AI가 언어를 어떻게 변화시키는지에 대한 이야기는 여전히 쓰여지고 있으며, 이 연구는 주의를 환기하는 역할을 합니다. 즉, 그 변화는 미묘하고 복잡하며, 디지털 세계의 일반적인 소음으로 오인되기 쉽다는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.