When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models
본 연구는 다양한 언어 모델들이 공유된 콘텐츠 수준의 선호도 필터로 인해 동일한 좁은 범위의 실제 논문 부분 집합을 불균형적으로 선택함으로써 '인용 단일문화(citation monoculture)'를 보인다는 점을 입증하며, 이는 환각 현상이 제거되고 검색 균등화나 벤더 혼합만으로는 해결될 수 없는 체계적 편향임을 보여준다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
수십 년 동안 과학이 발전하는 방식은 단순한 인간의 습관에 의존해 왔습니다. 연구자들이 타인의 저작물을 읽고 자신의 글에 어떤 논문을 언급할지 결정하는 것입니다. 이러한 인용 행위는 단순한 형식을 넘어 과학적 공로를 인정받는 통화와 같습니다. 어떤 논문이 자주 인용되면 가시성을 얻게 되고, 이는 '마태 효과(Matthew effect)'라고 불리는, 부자가 더 부유해지는 순환 구조로 이어져 더 많은 인용을 불러옵니다. 이 역동성은 항상 저자의 명성, 학술지의 권위, 또는 논문의 과거 성공과 같은 신호들을 보고 선택을 내리는 인간 독자들에게 의존해 왔습니다. 하지만 이제 새로운 힘이 등장하고 있습니다. 인공지능이 단순히 문법을 체크하는 수준을 넘어, 전체 문헌 검토를 작성하고 과학계가 무엇을 보게 될지를 결정하는 참고 문헌을 직접 선택하는 단계로 나아가고 있습니다. 문제는 이제 기계가 글을 쓸 수 있느냐가 아니라, 그들이 무엇을 읽기로 '선택'하느냐는 것입니다. 만약 AI에게 특정 주제에 대한 가장 중요한 연구를 찾아달라고 요청한다면, AI는 단순히 인간의 편향을 모방하는 것일까요, 아니면 그 자체로 새로운 종류의 편향을 만들어내는 것일까요?
한 연구팀은 인용에 영향을 미칠 수 있는 모든 요소를 제거한 통제된 실험을 설계하여 이 질문에 답하고자 했습니다. 그들은 특정 주제에 관한 120편의 실제 과학 논문을 수집했지만, AI에게 보여주기 전에 일반적인 상태 신호들을 모두 숨겼습니다. 저자의 이름은 가짜 이름으로 대체되었고, 출판 연도는 뒤섞였으며, 각 논문의 인용 횟수는 완전히 삭제되었습니다. 이후 AI 모델들에게 짧은 리뷰나 포지션 페이퍼(position paper)를 작성하도록 요청하되, 엄격한 규칙을 적용했습니다. 각 라운드에서 보여준 30편의 논문 중 최대 10편까지만 언급할 수 있다는 규칙이었습니다. 이러한 희소성은 모델들이 눈에 보이는 것을 모두 나열하는 대신 실질적인 선택을 하도록 강제했습니다. 결과가 우연이 아님을 확인하기 위해, 연구진은 컴퓨터가 동일한 목록에서 무작위로 논문을 뽑는 기준선(baseline)과 비교하였고, 또한 8명의 인간 전문가에게 동일한 조건 하에서 똑같은 선택을 하도록 요청했습니다.
결과는 놀랍고도 일관된 패턴을 드러냈습니다. 인간 전문가들은 논문들을 상당히 고르게 배분하며 마치 무작위 선택기처럼 논문을 다루었지만, 테스트된 모든 AI 모델은 아주 작고 좁은 논문 집단에 주의를 집중했습니다. 인간 그룹에서는 상위 10%의 논문이 약 19%의 인용을 받았는데, 이는 우연히 발생할 수 있는 수준에 가깝습니다. 반면, AI 모델들은 상위 민 10%의 논문에 23%에서 30% 사이의 인용을 몰아주었습니다. 더 중요한 점은, 모델들이 자신들에게 보여진 상당수의 논문을 지속적으로 무시했으며, 어떤 논문들은 수십 번 노출되었음에도 불구하고 전혀 인용되지 않은 채 남겨두었다는 사실입니다. 이는 기계가 가짜 참고 문헌을 만들어낸 사례가 아니었습니다. 인용된 모든 논문은 실제 존재했고, 무시된 모든 논문 역시 실제 존재했습니다. 실패는 환각(hallucination)에 있었던 것이 아니라, 어떤 실제 논문이 읽을 가치가 있는지를 결정하는 공유된 보이지 않는 필터에 있었습니다.
아마도 가장 당혹스러운 발견은, 이 필터가 제작사가 어디인지와 상관없이 모든 모델에서 동일하게 나타났다는 점일 것입니다. OpenAI, Google, Anthropic 중 어느 회사가 만든 AI이든, 그들은 모두 정확히 똑같은 논문들을 선호하고 똑같은 논문들을 무시했습니다. 연구진은 11개의 서로 다른 모델의 선호도가 너무나 유사하여, 무엇이 '인용 가능한' 논문인지를 보여주는 하나의 공유된 지도로 설명될 수 있다는 것을 발견했습니다. 이 지도는 저자의 이름이나 학술지에 기반한 것이 아니었습니다(그것들은 이미 숨겨졌기 때문입니다). 대신, 이 지도는 전적으로 초록(abstract)의 텍스트에 의해 구동되었습니다. 모델들은 특정 스타일이나 콘텐츠 유형에 동의하는 듯 보였으며, 응용 연구를 체계적으로 간과하면서도 핵심 이론 연구처럼 들리는 논문들을 선호했습니다. 설령 그 응용 연구들이 똑같이 실제적이고 관련성이 높더라도 말입니다.
이것이 과거 인용에 대한 학습된 기억인지, 아니면 품질에 대한 진정한 판단인지를 이해하기 위해, 연구진은 논문의 제목과 초록을 다시 쓴 후 모델들을 다시 테스트했습니다. 그들은 단어를 완전히 바꾸어 모델들이 표면적인 텍스트로 논문을 인식할 수 없게 만들었지만, 밑바탕이 되는 의미는 그대로 유지했습니다. 모델들의 선택은 변하지 않았습니다. 그들은 새로운 워딩(wording)을 바탕으로 여전히 똑같은 논문들을 골라냈으며, 이는 그들의 선호도가 유명한 제목을 암기한 목록이 아니라 콘텐츠의 의미에 뿌리를 두고 있음을 증명했습니다. 이는 모델들이 인간 전문가가 동일한 작업을 평가하는 방식과는 구별되는, '좋은 논문'이 무엇인가에 대한 수렴적이고 공유된 직관을 개발했음을 시사합니다.
연구는 또한 이러한 모델들이 시간이 지남에 따라 반복적으로 사용될 때 어떤 일이 발생하는지도 탐구했습니다. AI 모델들이 새로운 논문을 작성하고 그 새로운 논문들이 다시 선택을 위한 풀(pool)에 추가됨에 따라, 원래의 실제 논문들은 점점 희귀해졌습니다. 연구진은 실제 논문들이 희귀해질수록 모델들이 남은 '좋은' 옵션들을 차지하기 위해 경쟁하듯 실제 논문들을 더욱 강렬하게 인용한다는 것을 발견했습니다. 그러나 이것이 모델들이 전체 실제 문헌에 더 많은 주의를 기울이고 있다는 의미는 아니었습니다. 사실, 실제 논문으로 가는 총 인용 비율은 크게 감소했습니다. 모델들은 단순히 줄어드는 생존자 집단에 자신들의 제한된 주의력을 집중시키고 있었으며, 이는 고정된 선호도가 희석되는 카탈로그와 만나는 피드백 루프를 형성했습니다.
이 연구는 인공지능이 과학에서 초래할 수 있는 위험이 단순히 가짜 사실을 지어내는 것이 아니라, 나머지 분야를 무시한 채 좁은 범위의 '정답'에 대해 조용히 합의하는 데 있음을 보여줍니다. 모든 옵션이 실제이고 모든 논문이 동일하게 가시적일지라도, 이 시스템들은 공통된 필터를 부과합니다. 서로 다른 모델들을 섞어서 사용하는 것은 문제를 해결해주지 못하는데, 왜냐하면 그들은 모두 동일한 근본적 편향을 공유하고 있기 때문입니다. 저자들은 해결책이 정보의 출처를 다양화하는 것이 아니라, 공유된 선호도 지도(preference map) 자체를 바꾸는 데 있다고 제안합니다. 기계는 단순히 문헌을 읽고 있는 것이 아닙니다. 그들은 문헌이 무엇인지를 결정하기 시작하고 있으며, 그리고 그들은 모두 똑같은 것에 대해 결정하고 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.