Algorithmic Penalty for Non-Native Voices: A Three-Arm Diagnostic Accuracy Audit of Five Commercial AI Text Detectors Against Pre-LLM Scientific Literature — Protocol for the AUDIT-AI Study

기술적 요약: AUDIT-AI 연구 프로토콜

문제 제기
상업용 AI 텍스트 탐지기가 학술지 편집자와 연구비 심사 위원들에 의해 과학적 저술의 AI 저자 여부를 판별하기 위해 점점 더 많이 도입되고 있다. 그러나 실증적 증거에 따르면, 이러한 도구들은 비영어 모국어 화자(non-native English speakers)에 대해 상당한 알고리즘 편향을 보이는 것으로 나타났다. 2023년의 기초적인 연구(Liang 등)는 탐지기가 비영어 모국어 화자가 작성한 에세이의 60% 이상을 AI 생성물로 오분류한 반면, 미국인 저자의 에세이에 대해서는 완벽에 가까운 정확도를 보였다는 점을 입증했다. 지배적인 가설은 퍼플렉시티(perplexity, 당혹도) 기반의 탐지 방식이 비영어 모국어 화자의 제한된 언어적 표현, 감소된 어휘 다양성, 그리고 정형화된 구조를 "기계적인 것"(낮은 퍼플렉시티/낮은 버스티니스)으로 해석한다는 것이다.

이러한 증거에도 불구하고 중대한 공백이 존재한다. 즉, 교신 저자의 소속 기관이라는 실질적인 프록시(proxy, 대리 지표)가 장문의 피어 리뷰된 의학 문헌에서 탐지기의 오분류를 예측하는지 테스트한 동료 검증 연구가 아직 없다. 기존의 검증 연구들은 학생 에세이, 짧은 초록, 또는 혼합된 장르의 코퍼스(corpus)에 의존하고 있으며, 이는 고위험 과학 출판의 편집 스크리닝 맥락을 반영하지 못한다.

연구 방법론
AUDIT-AI 연구는 심혈관계 연구에서 이러한 편향을 정량화하기 위해 설계된 사전 등록된 3개 군 진단 정확도 감사(diagnostic accuracy audit)이다. 본 연구는 STARD-AI 2025 가이드라인을 준수하며, 비인간 대상 연구(NHSR)로 분류된다.

• 코퍼스 구축 (n = 200 텍스트):

  • Arm A (Native): 1995~2020년 사이의 상위 인용 심혈관계 논문(당뇨병, 비만, NAFLD, 심혈관 질환) 50편. 제1저자 및 교신 저자의 소속 기관은 미국, 영국, 캐나다, 호주, 뉴질랜드 또는 아일랜드이다.
  • Arm B (Non-Native): 동일한 영역과 시대의 논문 50편. 저자의 소속 기관은 중동/북아프리카, 동아시아, 남아시아, 라틴 아메리카 또는 비영어권 유럽이다.
  • Arm C (AI Control): Arm A와 Arm B 논문의 서론(Introduction) 및 고찰(Discussion) 섹션을 AI로 재작성한 결과물 100개.
    • 파이프라인: "분리된, 에어갭(air-gapped) 방식"의 3단계 파이프라인은 방법론적 엄밀성을 보장한다. 1단계에서는 LlamaParse(시각-언어 모델)를 사용하여 PDF로부터 구조화된 데이터를 추출한다. 2단계에서는 Claude Sonnet 4.6을 사용하여 추출된 데이터에 엄격히 기반한 내러티브 섹션을 생성하며, 이때 퍼플렉시티를 극대화하고 "AI스러운" 상투적인 전환어를 피하기 위해 문체적 오버라이드(예: 다양한 문장 길이)를 강제한다. 3단계에서는 단어 수와 내용 충실도에 대한 품질 보증 게이트를 거친다.

• 탐지 앙상블 (Detection Ensemble):

  • 다섯 가지 상업용 탐지기를 평가한다: iThenticate (Turnitin), Originality.AI, GPTZero, Copyleaks, 그리고 Winston AI.
  • 400개의 내러티브 섹션(200개 논문 × 2개 섹션) 각각은 14일의 간격을 두고 각 탐지기에 의해 두 번씩 점수가 매겨지며, 총 4,000개의 관측치를 생성한다.

• 통계 분석:

  • 주요 결과값: 연속적인 AI 확률 점수 (0–100%).
  • 주요 모델: 섹션 유형(서론 vs 고찰), 출판 연대, 저널 영향력 지수(impact factor), 단어 수를 통제 변수로 하는 선형 혼합 효과 회귀 분석(linear mixed-effects regression).
  • 검정력(Power): n=50(군당)인 설계는 중간 정도의 효과 크기(Cohen's d = 0.5)를 탐지하기 위한 약 80%의 검정력을 제공한다.

핵심 기여 및 독창성
본 연구는 다음과 같은 다섯 가지 측면에서 해당 분야를 발전시킨다고 주장한다:

1. Pre-LLM 장문 텍스트: 짧은 에세이나 초록을 다루는 기존 연구와 달리, 본 연구는 편집 스크리닝에 실제로 사용되는 600~1,500단어 분량의 내러티브 산문(서론/고찰)을 테스트한다.
2. 지리적-기관 프록시: L1(제1언어) 상태나 TOEFL 점수 대신, 편집자가 사용하는 실질적인 신호인 기관 소속을 활용한다.
3. 전공 특화(Specialty Lock): 코퍼스를 심혈관계 문헌으로 제한함으로써 어휘 레지스터와 주제 분포를 통제하고, 장르 효과로부터 L1 차이를 분리해낸다.
4. 방법론적 에어갭(Air-Gap): AI 군은 추출을 위해 다른 벤더(LlamaParse)를 사용하고 생성에는 Claude를 사용하여, 학습 데이터 오염에 대한 비판을 방지한다.
5. 사전 등록된 엄밀성: 데이터 수집 전 모든 가설, 표본 크기, 통계 모델을 확정하여 임계값 선택 편향(threshold cherry-picking)을 방지한다.

예상 결과 및 가설
본 연구는 최종 결과를 제시하지 않고 다섯 가지 사전 등록된 가설을 개설한다:

• H1 (주요 가설): 평균 AI 확률 점수는 네이티브 기관 논문(Arm A)보다 비영어 모국어 기관 논문(Arm B)에서 유의하게 높을 것이며, 예상되는 절대적 차이는 12~22 퍼센트 포인트이다.
• H2: 어떤 단일 탐지기도 두 인간 군 모두에서 민감도(sensitivity)와 특이도(specificity)를 동시에 0.85 이상으로 달성하지 못할 것이다.
• H3: 50% 임계값에서의 탐지기 간 일치도(Fleiss' κ)는 낮을 것이다 (<0.40).
• H4: L1 차이는 서론보다 고찰 섹션에서 더 크게 나타날 것이며, 이는 고찰의 더 높은 문체적 표현력을 반영한다.
• H5: 지리적 기원은 저널 영향력 지수, 출판 연대, 가독성 지표를 조정한 후에도 AI 점수의 유의미한 예측 인자로 남을 것이다.

의의 및 주장
AUDIT-AI 연구는 과학적 청렴성을 규율하는 도구들에 대한 중요한 책임 메커니즘으로서 자리매김한다.

• H1이 지지될 경우: 본 연구는 상업용 탐지기에 의존하는 것이 비영어권 기관의 생물 의학 저자들에게 측정 가능한 "형평성 비용(equity cost)"을 부과하며, 이는 잠재적으로 논문 제출 및 연구비 심사 과정에서 부당한 플래깅(flagging)으로 이어질 수 있다는 직접적인 증거를 제공할 것이다.
• H1이 지지되지 않을 경우: 본 연구는 전문적인 과학 출판에서 TOEFL 에세이 기반의 Liang 등(2023) 연구 결과를 일반화할 수 있는지에 도전하는, 구조화된 의학 도메인 테스트의 첫 번째 부정적 결과(negative finding)를 제공할 것이다.

궁극적으로, 본 연구는 저널 워크플로, 연구비 심사(특히 NIH 가이드라인 참조), 학술적 청렴성 판정에서의 탐지기 배포에 관한 정책 결정에 정보를 제공하는 것을 목표로 한다. 저자들은 재현성을 보장하기 위해 모든 코드, 스키마 및 비식별화된 출력물을 CC-BY 4.0 라이선스 하에 공개할 것을 약속한다.