On the Salience of Low-Probability Tokens for AI-Generated Text Detection: A Multiscale Uncertainty Perspective

기술 요약: AI 생성 텍스트 탐지에 있어 저확률 토큰의 중요성에 대하여

문제 정의

대규모 언어 모델(LLM)이 진화함에 따라, AI가 생성한 텍스트와 인간이 작성한 글을 구별하는 것이 점점 더 어려워지고 있으며, 이는 오정보, 학술적 오용, 코퍼스 오염과 같은 위험을 초래한다. 워터마킹이나 미세 조정(fine-tuning) 방식에 비해 통계적 탐지기는 효율성과 일반화 능력이 뛰어나지만, 다음과 같은 두 가지 결정적인 한계에 직면해 있다:

1. 보일러플레이트 지배(Boilerplate Dominance): 전체 시퀀스에 걸쳐 토큰 단위 확률을 집계하면, 고확률의 일상적인 "보일러플레이트" 토큰(인간과 AI의 글 모두에서 공통적으로 나타나는 토큰)이 더 정보량이 많은 토큰에서 발견되는 판별 신호를 압도하게 된다.
2. 취약한 점 추정(Brittle Point Estimates): 의사결정을 위해 단일 확률 점수(점 추정치)에 의존하는 것은 기저의 조건부 분포의 형태를 버리는 것이다. 이는 탐지기를 디코딩 전략이나 패러페이징(paraphrasing)과 같은 표면적인 섭동(perturbation)에 민가하게 만들어, 점수를 급격히 변화시키고 예측을 뒤집게 만든다.

방법론

저자들은 저확률 토큰에 집중하고 분포의 형태를 포착하도록 설계된 다중 스케일 불확실성 프레임워크인 Uncertainty와 **Uncertainty++**를 제안한다.

핵심 가설

이 방법은 **저확률 판별성 가설(Low-Probability Discriminability Hypothesis)**에 근거한다. 즉, 인간과 AI 텍스트 사이의 판별 신호는 고확률 토큰보다 저확률 토큰에서 실질적으로 더 크다는 것이다. 실증적 분석에 따르면, 고확률 토큰은 두 클래스 간에 유사한 가능성(likelihood)을 공유하는 경우가 많지만, 저확률 토큰은 로그 확률 및 확률 비율에서 유의미하게 큰 격차를 보인다.

프레임워크

프레임워크는 두 가지 상호 보완적인 스케일로 작동한다:

1. 국소 불확실성 (백분위 기반 - Local Uncertainty):

   • 모든 토큰에 대해 평균을 내는 대신, 이 방법은 관찰된 로그 확률에 따라 토큰 위치를 정렬하고 하위 $\rho$ 비율(즉, "꼬리" 부분)을 선택한다.
   • 이 저확률 토큰들의 평균 로그 확률($z_{local}$)을 계산한다.
   • 강건성을 높이기 위해, **Uncertainty++**는 **조건부 독립 샘플링(conditional independent sampling)**을 채택한다. 모델의 자체 조건부 분포(원래의 접두사(prefix)에 조건화된 분포)로부터 토큰을 샘플링하여 기대되는 불일치를 추정한다. 로컬 신호는 이 기대값에 의해 정규화되며($D^*_\rho$), 이를 통해 모델의 분포적 기준선에 대해 점수를 교정한다.

2. 전역 불확실성 (엔트로피 기반 - Global Uncertainty):

   • 단일 토큰의 실현값(realization)이 아닌 조건부 분포의 형태를 포착하기 위해, 이 방법은 각 위치에서의 조건부 분포에 대한 **레니 엔트로피(Rényi entropy, $H_\alpha$)**를 계산한다.
   • 이 엔트로피는 동일한 저확률 토큰 위치에 대해 평균화된다($z_{global}$).
   • 이론적 분석(Proposition 3.4)은 레니 엔트로피가 원시 로그 확률보다 곱셈적 섭동(예: 패러페이징)에 더 강건함을 입증한다. 로그 확률은 섭동 계수에 따라 선형적으로 변하지만, 엔트로피의 변화는 제한적이다.

통합 탐지 점수

최종 탐지 점수는 이 두 신호를 융합한다:

• Uncertainty: 원시 국소 로그 확률과 전역 엔트로피의 가중 합.
• Uncertainty++: 정규화된 국소 불일치($D^*_\rho$)와 전역 엔트로피의 가중 합. 이 변형 모델은 모델 고유의 불확실성을 고려함으로써 더 안정적인 추정을 제공한다.

주요 기여

1. 저확률 가설의 실증적 검증: 저자들은 저확률 토큰이 고확률 보일러플레이트보다 훨씬 강력한 판별 증거를 운반하며, 신호 격차가 저확률 영역에서 최대 3.5배 더 크다는 것을 식별하고 검증하였다.
2. 다중 스케일 불확실성 추정기: 이들은 국소 꼬리 로그 확률과 전역 레니 엔트로피를 융합하는 새로운 탐지기를 제안하여, 보일러플레이트 지배 현상과 취약한 점 추정 문제를 해결하였다.
3. 조건부 샘플링을 통한 강건성 확보: **Uncertainty++**는 조건부 독립 샘플링을 활용하여 국소 신호를 정규화함으로써, 디코딩 변동 및 패러페이징에 대한 안정성을 높였다.

실험 결과

방법론은 7개의 데이터셋(XSum, SQuAD, WritingPrompts, Reddit, FiQA, Wiki-csai, arXiv 포함)과 16개의 LLM(GPT-2부터 GPT-5 및 Gemini-3까지)을 대상으로 평가되었다.

• 성능: 블랙박스 설정에서, Uncertainty는 평균 AUROC **88.74%**를 달성하여 가장 강력한 확률 기반 베이스라인(Lastde)보다 2.25포인트 앞섰다. **Uncertainty++**는 평균 AUROC **93.24%**를 달성하여 가장 강력한 샘플링 기반 베이스라인(Lastde++)보다 1.73포인트 앞섰다.
• 일반화: 이 방법들은 전문 분야(FiQA) 및 학술 초록(arXiv)과 같은 특수 도메인에서도 높은 성능을 유지하며 강력한 교차 도메인 일반화 능력을 보여주었으나, 매우 전문적인 콘텐츠에서는 성능이 자연스럽게 하락하였다.
• 강건성: 탐지기는 기존 베이스라인들에 비해 디코딩 전략 변동(temperature, top-p, frequency penalty) 및 패러페이징 공격에 대해 우수한 회복력을 보였다. 예를 들어, 패러페이징 공격 하에서 Uncertainty++는 평균 AUROC 81.65%를 유지하며 Lastde++보다 2.67포인트 높은 성능을 기록했다.
• 절제 연구(Ablation): 저확률 선택 모듈을 제거했을 때 성능이 크게 하락(-6.74 AUROC)하여, 꼬리 부분에 집중하는 것의 중요성을 확인하였다. 엔트로피 항을 제거했을 때는 약간의 하락(-0.89)이 있었는데, 이는 엔트로피가 안정화 역할을 수행함을 시사한다.

의의 및 주장

본 논문은 Uncertainty와 **Uncertainty++**가 고확률의 흔한 토큰에서 정보량이 많은 저확률 영역으로 초점을 전환함으로써, AI 생성 텍스트를 식별하기 위한 더 신뢰할 수 있는 통계적 신호를 제공한다고 주장한다. 국소적 및 전역적 분포 특성을 모두 포착함으로써, 이 접근법은 기존의 통계적 탐지기들을 괴롭히는 "보일러플레이트 지배"와 "취약한 점 추정" 문제에 대한 강건한 솔루션을 제공한다.

저자들은 자신들의 방법이 탐지 성능을 개선하긴 하지만, 이는 인간의 검토와 병행되는 의사결정 지원 도구로 사용되어야 한다고 강조한다. 또한, 탐지기 출력을 고위험 결정의 유일한 근거로 삼는 것에 대해 명시적으로 경고하며, 증거가 약할 때 불확실성을 보고하고 특정 애플리케이션 리스크에 따라 임계값을 교정할 것을 권고한다. 향후 연구로는 희소한 증거를 위한 불확실성 보간 및 전문 텍스트를 위한 도메인 적응 강화가 제시되었다.