💬 NLP

Large Language Models Threaten Double-blind Review

이 논문은 대규모 언语言 모델이 제목과 초록에서 안정적인 개념적 서명을 식별함으로써 이중 맹검 동료 심사 과정에서 저자를 효과적으로 익명 해제할 수 있음을 입증하며, 이는 현재의 심사 시스템의 무결성을 위협한다.

원저자: Bulambo Mwendelwa Gloire, Prasenjit Mitra

게시일 2026-08-07

📖 3 분 읽기☕ 가벼운 읽기

원저자: Bulambo Mwendelwa Gloire, Prasenjit Mitra

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

과학계를 새로운 아이디어를 심사받기 위해 연구자들이 가져오는 거대하고 북적이는 시장이라고 상상해 보십시오. 공정성을 유지하기 위해, 많은 시장은 '이중 맹검 심사(double-blind review)'라는 특별한 규칙을 사용합니다. 이것은 심사위원(리뷰어)은 작성자가 누구인지 모르고, 작성자는 심사위원이 누구인지 모르는 미스터리 게임과 같습니다. 목표는 아이디어가 유명한 대학의 저명한 교수인지 아니면 이제 막 시작하는 학생인지에 상관없이, 오직 그 자체의 가치만으로 심사받도록 하는 것입니다. 이 게임이 제대로 작동하려면, 논문은 완벽한 변장을 해야 합니다. 그것은 저자의 정체가 완전히 지워져 오직 과학만이 남게 되는 '유령 이야기'가 되어야 합니다. 하지만 만약 유령들이 오직 초지능적인 기계만이 볼 수 있는 비밀스러운 지문을 남겨두었다면 어떻게 될까요? 이것이 오늘날 과학자들이, 특히 언어를 그 어느 때보다 더 잘 읽고 이해하는 인공지능(AI)의 부상과 함께 던지고 있는 큰 질문입니다.

이 논문은 그 '유령 변장'이 여전히 효과가 있는지에 대한 탐정 이야기입니다. 연구자들은 현대의 AI 모델, 구체적으로 대규모 언어 모델(LLM)이 논문의 제목과 초록(서두에 나오는 짧은 요약)만을 읽고도 누가 논문을 썼는지 알아낼 수 있는지 확인하기 위해 테스트를 설계했습니다. 그들은 누가 무엇을 인용했는지나 쉼표를 어떻게 사용하는지와 같은 화려한 기술을 사용하지 않았으며, 오직 최소한의 텍스트만을 AI에게 제공했습니다. 그런 다음 그들은 AI에게 실제 저자와 유사한 주제를 다루는 다른 네 명의 전문가를 포함한 다섯 명의 용의자 라인업 중에서 저자를 추측하도록 요청했습니다.

결과는 기존의 공정성 규칙에 대해 다소 섬뜩했습니다. 인간 전문가들이 이 추측 게임을 시도했을 때, 그들은 매우 형편없는 성적을 보였습니다. 100번의 시도 중 인간이 실제 저자를 단번에 맞춘 경우는 단 11번뿐이었습니다. 그들은 대부분 어둠 속에서 추측하고 있었으며, 확신을 여러 용의자에게 분산시켰습니다. 하지만 AI가 똑같은 게임을 했을 때는 이야기가 달랐습니다. AI는 100번 중 42번을 단번에 맞혔습니다. 이는 인간보다 거의 4배나 더 뛰어난 성적이었습니다!

이 논문은 AI가 단순히 추측하는 것이 아니라 '잠재적 개념적 서명(latent conceptual signatures)'을 찾아내고 있다고 제안합니다. 이것을 이렇게 생각해 보십시오: 설령 두 사람이 같은 유니폼을 입고 같은 언어로 말하더라도, 그들은 여전히 커피 잔을 쥐는 방식이나 농담을 던지는 방식에서 고유한 차이를 보일 수 있습니다. 과학에서도 연구자들은 문제를 구성하거나 목표를 설명하는 독특한 방식을 가지고 있습니다. AI는 행간을 읽는 능력이 매우 뛰어나서, 제목과 초록에서 이러한 미묘한 패턴을 포착하여 용의자 명단을 높은 확신을 가진 소수의 인원으로 좁힐 수 있습니다.

연구는 이것이 유명하고 잘 알려진 과학자들에게만 일어나는 현상인지도 확인했습니다. 그렇지 않았습니다. AI는 시니어 연구자들만큼이나 주니어 연구자들의 저자를 맞히는 데에도 능숙했습니다. 또한 AI는 용의자들이 서로 덜 유사할수록 더 잘 작동한다는 것을 발견했지만, 용의자들이 정확히 같은 분야의 전문가들이더라도 AI는 여전히 인간보다 훨씬 더 나은 성과를 보였습니다.

하지만 이 논문은 이중 맹검 심사가 완전히 무너졌다거나 AI가 항상 저자를 100% 확실하게 지목할 수 있다고 말하는 것은 아님을 주의 깊게 밝히고 있습니다. 대신, 시스템이 '새는(leaky)' 상태가 되고 있다고 제안합니다. AI가 항상 단 한 명의 진정한 저자를 지목할 수는 없지만, 가능성의 범위를 아주 좁혀서 익명성이 우리가 생각했던 것만큼 안전하지 않게 만들 수 있다는 것입니다. 이는 '완벽한 변장'을 스마트한 기계가 꿰뚫어 볼 수 있는 '흐릿한 변장'으로 바꿉니다. 저자들은 AI가 매번 미스터리를 해결하는 마법 지팡이는 아닐지라도, 컴퓨터가 우리보다 우리의 생각을 더 잘 읽는 시대에 우리가 과학적 심사를 어떻게 계속 공정하게 유지할 것인지에 대해 재고해야 할 만큼 게임의 양상을 바꾸어 놓았다고 결론짓습니다.

기술 요약: 대규모 언어 모델(LLM)이 더블 블라인드 심사(Double-blind Review)를 위협하다

문제 제기
더블 블라인드 동료 심사는 저자의 명성, 소속 기관, 그리고 기존의 인지도와 관련된 편향을 완화하기 위해 설계된 과학 출판의 근간이 되는 메커니즘이다. 이 방식의 효용성은 익명화된 원고(이름, 소속, 명시적 인용 등을 제거한 상태)가 저자를 신뢰성 있게 드러낼 만큼 충분한 정보를 포함하지 않는다는 가정에 기초한다. 기존 연구들은 문체적 표식, 어휘 패턴 또는 서지 구조를 통해 저자 식별이 가능하다는 것을 보여주었으나, 본 연구는 더 깊은 취약성을 조사한다. 즉, 대규모 언어 모델(LLM)이 최소한의 과학적 텍스트(제목 및 초록)만을 사용하여 잠재적인 개념적 시그니처(latent conceptual signatures)를 추론함으로써 논문의 저자를 익명 해제할 수 있는지 여부를 탐구한다. 핵심 질문은 입력 정보가 밀접하게 연관된 소수의 도메인 전문가 집단으로 제한되고 표면적인 단서들이 제거되었을 때도 익명성 가정이 유효한가 하는 것이다.

연구 방법론
저자들은 Semantic Scholar에서 추출한 2024년에서 2025년 사이 발표된 12,000개 이상의 과학 논문 코퍼스를 사용하여 통제된 저자 식별 실험을 수행했다. 모델이 학습 데이터에 저장된 내용을 단순히 기억해내는 것에 의존하지 않도록 하기 위해, 평가 세트는 사용된 모델(Qwen2.5-72B 및 LLaMA3-70B, 두 모델 모두 2023년 컷오프)의 학습 컷오프 시점으로부터 엄격히 시간적으로 격리되었다.

입력 제약 조건: 모델에는 논문 제목과 초록만 제공되었다. 모든 명시적 식별자, 소속, 서지 메타데이터는 제외되었다.
후보군 구성: 각 논문에 대해 모델은 하나의 실제 저자와 네 명의 방해 요소(distractors)로 구성된 폐쇄형 집합을 제공받았다. 방해 요소의 구성은 다음과 같이 다양화되었다:
- 무작위(Random): 관련 없는 분야에서 추출됨.
- 도메인 전문가(Semantic Scholar): 유사한 주제를 다루는 것으로 권장되는 저자들.
- 도메인 전문가(OpenAlex): 개념적으로 더 정교하게 정렬된 풀을 나타내는 OpenAlex를 통해 검색된 저자들.
실제 저자(Ground Truth) 정의: 학문 분야 전반의 견고함을 테스트하기 위해 "실제 저자"를 세 가지 방식으로 정의했다: 교신 저자(마지막 저자), 가장 숙련된 저자(최다 출판 횟수), 그리고 가장 주니어 저자(최저 출판 횟수).
평가 프레임워크: 단일 예측을 요구하는 대신, 연구는 신뢰도 기반 랭킹 프레임워크를 채택했다. 모델은 후보들을 순위 매기고 신뢰도 점수를 할당했다. 누적 확률이 임계값 $\tau$ (예: 0.5 또는 0.9)를 초과할 때까지 후보를 축적하여 "의심 집합(suspect set)"을 구성했다. 지표로는 Top-k 정확도, 평균 역순위(MRR), 의심 집합 재현율(Suspect Set Recall), 기대 캘리브레이션 오차(ECE)가 사용되었다.
인간 기준선(Human Baseline): 머신러닝 전문 지식을 가진 20명의 대학원 연구원들로 구성된 대조군이 동일한 과업을 수행하여 인간의 기준선을 설정했다.
고급 추론 검증: 모델 결합(Qwen과 LLaMA의 예측 결합) 및 다회차 숙의(iterative reasoning)를 테스트하여 복잡성이 식별 성능을 향상시키는지 확인했다.

주요 결과

우월한 LLM 성능: LLM은 제목과 초록만으로 저자를 식별하는 데 있어 인간 연구자보다 유의미하게 높은 성능을 보였다.
- Top-1 정확도: LLM은 약 42%의 정확도(Qwen2.5-72B)를 달연한 반면, 인간 연구자는 11%에 그쳤다.
- 랭킹 품질: LLM은 MRR 0.623을 기록하여 인간의 0.36에 비해 우수했다 ( $p < 0.001$ 수준에서 통계적으로 유의함).
- 의심 집합 효율성: 중간 신뢰도 임계값( $\tau = 0.5$ )에서 LLM은 실제 저자를 61.6%의 경우에 유지하면서도 의심 집합을 평균 1.95명의 후보로 좁혔다. 인간은 유사한 크기의 의심 집합에서 실제 저자를 22%의 경우에만 유지했다.
잠재적 개념적 시그니처: 연구는 익명성 붕괴가 문체적 특징이 아니라, 연구자들이 문제를 프레이밍하고, 기여의 범위를 설정하며, 자신의 연구를 위치시키는 방식에 담긴 "잠재적 규칙성"에 의해 발생한다는 것을 발견했다.
- 방해 요소가 관련 없는 도메인에서 추출되었을 때 재현율이 84.1%로 급증했는데, 이는 모델이 주제적 정렬에 크게 의존함을 나타낸다.
- 매우 혼동하기 쉬운 방해 요소(연구 프로필이 겹치는 OpenAlex 전문가들)가 있는 경우에도 재현율은 51.5%를 유지하며 인간의 기준선을 상회했다.
학문 분야 및 경력에 따른 차이:
- 학문 분야: 익명성 침식은 컴퓨터 과학(58%)보다 의학(66% 재현율)에서 더 뚜렷하게 나타났으며, 이는 특정 분야의 연구 관행이 식별 가능한 신호를 증폭시킨다는 것을 시사한다.
- 경력: 효과는 시니어 저자와 주니어 저자 모두에게 일관되게 나타났으며, 이는 익명성 위험이 저명한 연구자뿐만 아니라 초기 경력의 과학자들에게도 적용됨을 의미한다.
복잡성의 한계:
- 결합(Aggregation): 여러 모델의 예측을 결합하는 것은 최상의 단일 모델보다 미미한 개선만을 가져왔다.
- 숙의(Deliberation): 다회차 추론은 오히려 성능을 저하시켜 의심 집합의 크기를 키우고 재현율을 낮추었다. 이는 입력 정보가 짧은 초록으로 제한될 때, 추가적인 추론 단계가 새로운 저자 신호를 도입하기보다는 불확실성을 높인다는 것을 시사한다.

의의 및 주장
본 논문은 AI 증강 연구 시대에 더블 블라인드 심사가 구조적 한계에 직면해 있다고 주장한다. 연구 결과는 명시적 식별자를 제거하는 것만으로는 익명성을 보존하기에 충분하다는 근본적인 가정을 뒤흔든다. 저자들은 다음과 같이 주장한다:

익명성은 절대적인 것이 아니라 확률적이다: 더블 블라인드 심사가 절대적으로 실패한다는 것(즉, 완벽한 식별이 보장되지 않는다는 것)은 아니지만, "단계적 취약성(graded vulnerability)"을 겪는다. LLM은 실제 저자를 높은 신뢰도를 가진 작은 하위 집합으로 체계적으로 좁힐 수 있으며, 이는 리뷰어의 기대치와 행동에 영향을 미치기에 충분할 수 있다.
스타일을 넘어선 추론: 위협은 문체적 모사나 서지적 흔적이 아니라, 바로 '의미적 내용' 자체에서 발생한다. 구체적으로는 연구자들이 문제를 프레이밍하고 기여를 정의하는 고유한 방식에서 비롯된다.
정책적 시사점: 현재의 익명화 가이드라인은 표면적인 특징(이름, 인용, 소속 등)에 집중되어 있으나, 이는 불충분할 수 있다. 저자들은 연구 커뮤니티가 연구 자체의 과학적 프레이밍으로부터 정체성이 추론될 수 있음을 인정하고, 익명성과 공정성을 어떻게 유지할 것인지 재평가해야 한다고 제안한다.

본 논문은 모델이 불확실성을 줄여주기는 하지만 항상 정답인 저자를 확정적으로 찾아내는 것은 아니라는 점을 언급하며 겸허하게 결론을 맺는다. 그러나 후보군을 일관되게 축소시킨다는 점은 더블 블라인드 심사의 위험 프로필에 중대한 변화를 의미하며, AI 통합 생태계 내에서 리뷰 정책에 대한 재검토가 필요함을 시사한다.

유사한 논문