The Base-Rate Trap in Generative AI Text Detection: Why Detectors Cannot Serve as Standalone Evidence of Academic Misconduct, and Who Bears the Cost

기술 요약: 생성형 AI 텍스트 탐지의 기저율 함정 (The Base-Rate Trap)

문제 제lement
고등 교육 기관들은 학업 부정행위를 판결하기 위해 AUC(Area Under the Receiver Operating Characteristic Curve)와 같은 보고된 정확도 지표를 근거로 생성형 AI(GenAI) 텍스트 탐지 도구에 점점 더 많이 의존하고 있으며, 이를 통해 도입의 정당성을 확보하려 한다. 그러나 본 논문은 이러한 지표들이 개별 학생에 대한 중대한 결정을 내리는 데 있어 근본적으로 부적절하다고 주장한다. 핵심 문제는 **기저율 오류(base-rate fallacy)**이다. 학술 환경에서 실제 GenAI 오용 사례(사전 확률)는 낮으며(최근 조사에 따르면 5~15% 수준으로 추정), 대다수의 제출물은 인간이 작성한 진실한 글이다. 이러한 조건 하에서는 높은 AUC 값을 가진 탐지기라 할지라도 단독 증거로 사용될 경우 높은 오판율을 발생시킨다. 본 논문은 징계 절차에서 중요한 질문은 "도구가 얼마나 정확한가?"가 아니라 "플래그(경고)가 발생했을 때, 실제로 부정행위가 일어났을 확률은 얼마인가?"라는 점을 강조한다. 이 사후 확률인 양성 예측도(Positive Predictive Value, PPV)는 오용의 기저율이 낮아짐에 따라 급격히 하락하며, 이는 현재의 탐지 도구들을 개별적인 판결에 사용하기에 안전하지 않게 만든다.

방법론
본 연구는 학생의 글에서 경험적 데이터를 수집하는 대신, 투명하고 재현 가능한 모델링 연습을 채택하였다. 방법론은 세 가지 주요 구성 요소로 통합된다:

1. 신호 탐지 이론 (Signal Detection Theory, SDT): 가우시안 등분산 모델(Gaussian equal-variance model)을 사용하여 탐지기 점수를 연속적인 분포로 매핑한다. 여기서 인간의 텍스트는 $N(0,1)$을 따르고, AI 텍스트는 $N(d',1)$을 따르며, $d'$는 변별력을 나타낸다. 보고된 AUC 값은 $d'$로 변환되어 다양한 결정 임계값에서의 진양성률(TPR)과 위양성률(FPR)을 도출한다.
2. 베이지안 기저율 추론 (Bayesian Base-Rate Reasoning): 모델은 베이즈 정리(Bayes' rule)를 적용하여 다양한 오용 유병률($\pi$)과 탐지기 성능에 따른 PPV 및 허위 발견율(False Discovery Rate, FDR)을 계산한다. 또한 특정 증거 표준($\tau$)을 충족하기 위해 필요한 양성 우도비(Positive Likelihood Ratio, $\Lambda^+ = TPR/FPR$)를 도출함으로써 분포-무관(distribution-free) 안전 기준을 도출한다.
3. 몬테카를로 시뮬레이션 (Monte Carlo Simulation): 폐쇄형(closed-form) 결과의 타당성을 검증하고 불확실성을 정량화하기 위해, 저자는 10,000개의 제출물이 포함된 2,000회의 기관-학기 반복 시뮬레이션을 수행한다. 이 시뮬레이션에는 퍼플렉시티(perplexity) 기반 탐지기가 비원어민(L2) 영어 작문을 AI 생성물로 오분류하는 경향을 반영한 형평성 모델이 포함된다. 또한, 오판(false accusation)의 비용($C_{FP}$)과 미탐지(missed case)의 비용($C_{FN}$) 사이의 비대칭적 비용을 가중치로 두는 기대 피해 분석도 포함된다.

주요 기여
본 논문은 학업 무결성 및 AI 탐지에 관한 담론에 다섯 가지 구체적인 기여를 한다:

1. PPV 프레임워크 제공: 투명한 SDT 및 기저율 프레임워크를 제공하여, 어떤 보고된 탐지기 AUC와 가정된 오용 유병률을 결합하더라도 해당 플래그가 맞을 확률(PPV)을 매핑할 수 있음을 보여줌으로써, 정확도 지표가 개별 사례에서는 오해의 소지가 있음을 입증한다.
2. "기저율 함정"의 정량화: 탐지기가 효과적으로 사용 불가능한 파라미터 공간을 식별하며, 현재의 도구들이 대다수의 실제 부정행위를 탐지하지 못하면서도 방어 가능한 증거 표준(예: 95% PPV)을 충족할 수 없음을 보여준다.
3. 분포-무관 안전 기준 도출: 특정 유병률과 표준에서 안전하게 고발하기 위해서는 탐지기가 특정 우도비를 초과해야 한다는 수학적 부등식(Proposition 1)을 도출한다. 이는 요구되는 우도비가 유병률에 반비례($\propto 1/\pi$)하여 증가하며, 오용이 드물어질수록 달성이 불가능해짐을 증명한다.
4. 공정성 분석: 비원어민 작문에 대한 불균형적 영향을 모델링하여, 원어민에 맞춰 조정된 임계값이 비원어민에게 구조적 부담을 주는 방식을 보여준다. 이 모델에서 오판율은 원어민보다 최대 16.7배 높게 나타난다.
5. 정책 권고: 기관들이 도입 전 도구의 우도비와 필요 임계값을 비교하도록 조언하는 "배포 계산기(deployment calculator)"를 제공하며, 탐지에서 평가 설계(assessment redesign)로 자원을 전환할 것을 권고한다.

결과
시뮬레이션 및 분석 결과는 다음과 같은 몇 가지 결정적인 발견을 도출한다:

• 낮은 예측 가치: 현실적인 조건(AUC $\approx$ 0.80, 유병률 10%) 하에서, 플래그의 PPV는 단 **22.6%**에 불과하다. 이는 플래그가 발생한 학생 4명 중 3명 이상이 무죄임을 의미한다. 거의 완벽한 탐지기(AUC 0.99)를 사용하더라도 10% 유병률에서의 PPV는 67.9%에 그친다.
• 탐지의 한계(The Detection Ceiling): 10% 유병률에서 95%의 증거 표준(PPV $\ge$ 0.95)을 달성하려면, AUC 0.95인 탐지기는 실제 사례의 최대 **26.3%**만을 잡아낼 수 있다. 현실적인 탐지기(AUC 0.80)는 유의미한 탐지율에서 이 표준에 도달할 수 없다.
• 불균형적 영향: 원어민에 대해 5%의 FPR을 설정할 경우, (경험적 연구에 따라 조정된 이동치를 적용한) 비원어민 작성자는 83.3%의 오판율을 경험하게 되며, 이는 16.7배의 불균형적 영향을 의미한다.
• 기대 피해: 일반적인 배포 시뮬레이션(AUC 0.80, 유병률 10%)에서, 모델은 10,000건의 제출물당 약 2,213건의 잘못된 고발을 예측한다.
• 우도비 격차: 10% 유병률에서 95% 표준을 충족하려면 171의 우도비가 필요하다. 거의 완벽한 탐지기(AUC 0.99)조차 우도비 19.0만을 제공하며, 이는 요구치에 거의 한 자릿수 차이로 미치지 못한다.

의의 및 주장
본 논문은 탐지 도구가 단독 증거로서 역할을 수행하지 못하는 것이 특정 도구의 결함이 아니라, 의사결정 문제의 구조적 특성이라고 결론짓는다. "기저율 함정"은 오용이 소수의 행동으로 남아 있는 한, 자동화된 플래그가 압도적으로 높은 위양성을 낳을 것임을 시사한다.

저자는 다음과 같이 주장한다:

• 탐지 점수는 결코 부정행위의 유일하거나 주요한 증거가 되어서는 안 된다. 그렇게 하는 것은 무죄 추정의 원칙을 역전시키는 것이다.
• 기관은 자원을 탐지에서 평가 설계(예: 실제적이고 개인화된 과제, 과정 증거 확보)와 예방으로 전환해야 한다. "AI-proof" 평가는 신화에 불과하다.
• 보고 지표가 바뀌어야 한다. 기관은 도구를 평가할 때 정확도나 AUC가 아니라, 유병률에 따른 조건부 예측값과 우도비를 기준으로 삼아야 한다.
• 오판의 비용은 취약 계층(비원어민, 신경다양성 작가)에게 불균형적으로 전가된다. 따라서 현재의 탐지 도구 의존은 단순히 신뢰할 수 없는 것을 넘어 차별적이다.

본 연구는 신뢰할 수 없는 탐지기에 의해 잘못 고발되는 학생의 가장 안전한 숫자는 '0'이며, 이를 달성하는 가장 확실한 방법은 판결을 위해 탐지기에 의존하는 것을 멈추는 것이라고 단언한다.