AI evaluation may bias perceptions: The importance of context in interpreting academic writing

기술적 요약: AI 평가가 인식에 편향을 초래할 수 있음

문제 제기
본 논문은 과학적 글쓰기에서 대규모 언어 모델 (LLM) 사용량을 추정하는 현재 방법론의 치명적 결함을 다루고 있습니다. 기존 접근법들은 종종 모든 국가와 학문 분야에 걸친 집계 데이터로 훈련된 "AI 유사성"에 대한 단일 글로벌 표준인 "풀링 벤치마크 (pooled benchmark)"에 의존합니다. 저자들은 이러한 접근 방식이 서로 다른 국가 - 분야 그룹 간에 이미 존재하는 상당한 스타일적 이질성을 무시한다고 주장합니다. 과학적 글쓰기 관습, 언어적 규범, 그리고 수사학적 스타일은 지리적 위치와 학문 분야에 따라 현저히 다르기 때문에, 통합된 벤치마크는 자연스러운 스타일적 변이를 AI 생성 텍스트와 혼동할 위험이 있습니다. 이러한 혼동은 체계적인 오분류로 이어질 수 있는데, 특정 그룹이 실제 LLM 사용 여부와 관계없이 그들의 기준선 글쓰기 스타일이 풀링된 "AI 유사" 프로필과 더 밀접하게 일치하기 때문에 AI 를 더 자주 사용하는 것처럼 나타날 수 있습니다.

방법론
본 연구는 2020 년부터 2025 년까지의 영어 학술지 출판물을 다루는 Dimensions 데이터베이스의 대규모 출판 데이터를 활용합니다. 저자들은 18 개 국가 그룹과 13 개 학문 분야를 정의하여 234 개의 서로 다른 국가 - 분야 그룹을 생성했습니다.

1. 데이터 구성:

   • 학습 코퍼스 (2020 년): 저자들은 2020 년 (LLM 이전 시대) 의 각 국가 - 분야 그룹당 최대 2,000 건의 출판물을 표본 추출합니다. 이들은 ChatGPT-4o-mini 를 사용하여 "개요 작성 및 확장"이라는 두 단계 절차를 통해 이러한 출판물의 초록을 재작성합니다. 이를 통해 원본 인간 작성 초록과 AI 재작성 초록의 쌍을 생성합니다.
   • 추론 코퍼스: 2021 년 출판물 (LLM 이전 위약 대조군으로 사용) 과 2025 년 출판물 (LLM 시대 이후) 은 벤치마크를 테스트하는 데 사용됩니다.

2. 벤치마크 구성:

   • 풀링 벤치마크: 모든 234 개 그룹에 걸친 2020 년 학습 데이터를 모두 풀링하여 단어 수준의 로그 오즈비 (log-odds ratios) 단일 세트를 계산합니다. 이는 인간 대 AI 텍스트에서의 단어 사용 확률에 대한 글로벌 기준선을 확립합니다.
   • 국가 - 분야별 벤치마크: 234 개의 별도 벤치마크가 구성되는데, 각 벤치마크는 해당 특정 국가 - 분야 그룹 내의 데이터만으로 훈련됩니다.
   • 지표: 각 단어 $t$에 대해 로그 오즈비는 $\log \frac{P_t/(1-P_t)}{Q_t/(1-Q_t)}$로 계산되며, 여기서 $P_t$와 $Q_t$는 각각 인간 작성 초록과 AI 재작성 초록에서 해당 단어가 나타날 확률입니다. 음수 값은 AI 텍스트에서 나타날 가능성이 더 높은 단어를 나타냅니다.

3. 추정:

   • 저자들은 AI 에 의해 수정된 텍스트의 비율을 나타내는 혼합 가중치 ($\alpha$) 를 추정하기 위해 최대우도추정법 (MLE) 을 사용합니다.
   • 문장 수준의 단어 발생은 베르누이 사건으로 모델링됩니다. 문장의 가능성은 인간과 AI 분포의 혼합으로 모델링됩니다: $L_i(\alpha) = (1-\alpha)L_H(S_i) + \alpha L_A(S_i)$.
   • 추정기는 2025 년 데이터에 두 번 적용됩니다: 한 번은 풀링 벤치마크 ($\alpha^{pool}_g$) 를 사용하여, 다른 한 번은 그룹별 벤치마크 ($\alpha^g_g$) 를 사용하여 적용됩니다.

주요 발견

1. 기존 스타일적 이질성:
   2020 년 데이터 (LLM 이전) 분석은 그룹 간 "AI 유사" 단어 사용에 상당한 변이가 있음을 보여줍니다. ANOVA 분해에 따르면 로그 오즈비의 분산 약 80% 는 분야 간 차이보다는 동일 분야 내 국가 간 차이에서 비롯됩니다. 순열 시뮬레이션은 이러한 이질성이 통계적 노이즈가 아닌 실제적인 것임을 확인시켜 줍니다.

2. LLM 이전 위약 (2021 년) 의 편향:
   풀링 벤치마크를 2021 년 출판물 (실제 AI 사용이 거의 0 이어야 함) 에 적용하면 추정된 AI 사용량 ($\alpha$) 의 분포가 매우 왜곡됩니다.

   • 과대평가: 영어 우세 국가 (예: 미국, 영국) 와 경제학, 경영학, 인문학 같은 분야는 인위적으로 높은 기준선 추정치 (최대 0.17) 를 보입니다.
   • 과소평가: 러시아와 같은 국가와 수리 및 물리 과학과 같은 분야는 거의 0 에 가까운 기준선을 보입니다.
   • 반면, 국가 - 분야별 벤치마크는 0.04~0.05 근처에 중심을 둔 분포를 생성하며 분산이 크게 감소합니다 (표준편차가 0.052 에서 0.016 으로 감소), 더 신뢰할 수 있는 기준선을 제공합니다.

3. 2025 년 추정치의 체계적 편향:
   2025 년 추정치를 비교한 결과, 풀링 벤치마크는 AI 사용의 지리적 및 학문적 분포에 대한 인식을 체계적으로 왜곡하는 것으로 나타났습니다.

   • 과대평가: AI 사용량은 영어 우세 국가와 풀링된 AI 프로필과 유사한 글쓰기 스타일을 가진 분야 (예: 경제학, 심리학, 컴퓨터 과학) 에서 과대평가됩니다.
   • 과소평가: AI 사용량은 비영어 우세 국가 (예: 러시아, 브라질, 일본) 와 고유한 스타일적 기준선을 가진 분야 (예: 수리 과학, 생물의학 과학) 에서 과소평가됩니다.

의의 및 주장
본 논문은 과학 내 AI 사용에 대한 정확한 평가가 일률적인 표준이 아닌 맥락 인식 측정을 필요로 한다고 주장합니다. 저자들은 풀링 벤치마크가 단순히 노이즈를 도입하는 것이 아니라, AI 수용에 대한 인식 지형을 재구성하는 구조적 편향을 유발한다고 주장합니다.

• 형평성과 신뢰: 연구 결과에 따르면 현재 탐지 방법은 기존 불평등을 강화할 수 있습니다. 영어 우세 고소득 국가의 연구자들은 "AI 유사" 글쓰기 (유창함으로 해석될 수 있음) 로 인해 부당하게 플래그가 지정될 수 있는 반면, 다른 지역이나 분야의 연구자들은 과소 탐지되거나 다른 신뢰성 패널티를 받을 수 있습니다.
• 정책적 함의: 저자들은 학술적 정직성 정책, 저널 심사, 자금 지원 준수 사항에서 균일한 AI 탐지 임계값의 채택을 경계합니다. 과학적 담론의 왜곡과 특정 지역이나 분야에 대한 신뢰의 침식을 방지하기 위해 맥락에 맞게 보정된 벤치마크를 옹호합니다.
• 방법론적 기여: 본 연구는 맥락적 기준선을 무시하는 것이 AI 수용 동향에 대한 취약한 해석으로 이어진다는 것을 보여줍니다. 국가 - 분야별 기준선을 통합함으로써 그룹 간 비교의 신뢰성이 크게 향상됩니다.

본 논문은 완벽한 편향이 없는 벤치마크는 없을지라도, 과학적 글쓰기에서 AI 에 대한 공정하고 정확한 평가를 보장하기 위해 맥락 인식 측정을 향한 이동이 필수적인 단계라고 결론짓습니다.