NOTAI.AI: Explainable Detection of Machine-Generated Text via Curvature and Feature Attribution

이 논문은 곡률 기반 신호와 신경망 및 스타일론적 특징을 통합한 XGBoost 메타 분류기와 SHAP 기반 설명 시스템을 통해 기계 생성 텍스트를 탐지하고 자연어 근거를 제공하는 설명 가능한 프레임워크 'NOTAI.AI'를 제안합니다.

핵심

NOTAI.AI: "AI 가 쓴 글인지 인간이 쓴 글인지 알려주는 똑똑한 탐정"

이 논문은 NOTAI.AI라는 새로운 시스템을 소개합니다. 이 시스템은 AI 가 쓴 글과 사람이 쓴 글을 구별할 뿐만 아니라, **"왜 그렇게 판단했는지"**도 쉽게 설명해 줍니다. 마치 범죄 수사에서 범인을 잡을 때 단순히 "범인이다"라고 말하는 게 아니라, "이 지문과 이 목격 증언 때문에 범인이라고 결론 내렸다"라고 상세히 설명해 주는 것과 같습니다.

이 시스템을 이해하기 위해 몇 가지 재미있는 비유를 들어보겠습니다.

---

1. 왜 이 시스템이 필요한가요? (문제 상황)

요즘 AI 는 글을 너무 잘 씁니다. 문법도 완벽하고, 사람처럼 자연스럽게 말도 잘합니다. 하지만 문제는 진짜인지 가짜인지 구별하기가 점점 어려워진다는 것입니다.

기존의 탐정들 (기존 AI 탐지기) 은 "이건 AI 가 쓴 것 같아"라고 점수만 줄 뿐, 왜 그런지 설명해 주지 못했습니다. 마치 "이 사람은 범인이다"라고만 말하고 증거를 보여주지 않는 형사처럼, 사람들은 그 말을 믿기 어렵습니다. 또한, AI 가 글을 조금만 변형해도 탐지기가 망설이는 경우가 많았습니다.

2. NOTAI.AI 는 어떻게 작동할까요? (해결책)

NOTAI.AI 는 세 명의 전문 형사 (검증 도구) 가 팀을 이루어 사건을 해결하는 방식으로 작동합니다.

🕵️‍♂️ 형사 1: "곡선 분석가" (Curvature)

이 형사는 글의 흐름이 너무 매끄러운지를 봅니다.

• 비유: 사람이 글을 쓸 때는 생각의 흐름이 불규칙하고, 때로는 엉뚱한 방향으로 가기도 합니다. 마치 산책할 때 발걸음이 들쑥날쑥한 것처럼요.
• 반면, AI 는 확률적으로 가장 '안전한' 단어를 선택하기 때문에 글의 흐름이 너무 매끄럽고 평탄합니다. 이 형사는 그 '매끄러운 곡선'을 찾아내어 AI 의 흔적을 포착합니다.

🧠 형사 2: "뇌과학자" (Neural Features)

이 형사는 최신 AI 모델 (ModernBERT) 을 이용해 글의 숨겨진 패턴을 분석합니다.

• 비유: 글자 하나하나를 보지 않고, 글 전체의 '분위기'나 '맥락'을 읽는 전문가입니다. "이 문장은 AI 가 배운 데이터 패턴과 너무 비슷해"라고 감지합니다.

✍️ 형사 3: "스타일 분석가" (Stylometric Features)

이 형사는 글의 문체와 스타일을 뜯어봅니다.

• 비유: 사람이 글을 쓸 때는 문장 길이가 다양하고, 반복되는 단어가 적으며, 문장 부호 사용이 개성적입니다. 하지만 AI 는 종종 같은 단어를 반복하거나, 문장 길이가 일정하게 유지되는 경향이 있습니다. 이 형사는 "너무 반복되네?", "문장 부호 사용이 기계적이네?"라고 지적합니다.

3. 최종 판단과 설명 (결정과 이유)

세 형사가 각자 수집한 증거 (17 가지의 다양한 단서) 를 XGBoost라는 똑똑한 지휘관에게 가져갑니다. 지휘관은 이 모든 증거를 종합하여 "인간이 썼다" 또는 "AI 가 썼다"라고 최종 판결을 내립니다.

하지만 여기서 끝이 아닙니다. NOTAI.AI 의 가장 큰 장점은 이유를 설명해 준다는 점입니다.

• SHAP (샤피) 라는 번역기: 지휘관이 내린 판결은 복잡한 수학 공식으로 되어 있어 일반인이 이해하기 어렵습니다. 그래서 SHAP라는 도구를 써서 "이 증거가 판결에 30% 기여했다"라고 숫자로 변환합니다.
• LLM (대규모 언어 모델) 이 쓴 해설: 숫자만으로는 여전히 어렵습니다. 그래서 또 다른 AI(지식인) 가 이 숫자들을 보고 사람이 읽기 쉬운 자연어로 바꿔줍니다.
  • 예시: "이 글은 문장 길이가 너무 일정하고, 특정 단어가 반복되어 AI 가 쓴 것으로 판단됩니다. 하지만 문맥이 매우 자연스러워 인간이 쓴 것처럼 보일 수도 있습니다."

4. 실제로 어떻게 쓸 수 있나요? (웹 애플리케이션)

이 시스템은 누구나 쓸 수 있는 웹 사이트로 만들어졌습니다.

1. 글을 입력: 사용자가 의심스러운 글을 붙여넣습니다.
2. 판단 받기: 화면에 "인간 90% / AI 10%" 같은 게이지가 나옵니다.
3. 이유 확인: "왜 AI 라고 했나요?"라고 물으면, 시스템이 "문장 부호 사용이 기계적이고, 어휘 다양성이 낮기 때문입니다"라고 친절하게 설명해 줍니다.
4. 실험하기: "만약 이 부분 (예: 반복되는 단어) 을 빼면 어떻게 될까?"라고 직접 실험해 볼 수도 있습니다.

5. 결론: 왜 이것이 중요한가요?

이 연구는 단순히 "AI 글 찾기"를 넘어서, 사람들이 AI 의 판단을 이해하고 신뢰할 수 있게 만드는 것에 초점을 맞췄습니다.

• 교육자: 학생의 과제가 AI 가 쓴 건지, 진짜 학생이 쓴 건지 명확한 근거를 가지고 판단할 수 있습니다.
• 기자/연구자: 뉴스나 논문이 AI 에 의해 조작되었는지 확인하는 데 도움을 줍니다.
• 일반인: 인터넷의 글이 진짜인지 가짜인지 의심할 때, 단순히 "AI 가 쓴 것 같다"는 막연한 느낌이 아니라 구체적인 증거를 볼 수 있습니다.

한 줄 요약:
NOTAI.AI 는 AI 가 쓴 글을 찾아내는 단순한 감지기가 아니라, "왜 AI 가 쓴 글인지" 그 이유를 친절하게 설명해 주는 똑똑한 파트너입니다.

기술 요약

NOTAI.AI: 곡률 (Curvature) 및 특징 할당을 통한 설명 가능한 AI 생성 텍스트 탐지

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 급속한 발전으로 인해 인간과 구별하기 어려운 고품질의 텍스트 생성이 가능해졌으나, 이는 저작권, 진위성, 정보 무결성 등에 대한 심각한 우려를 야기했습니다. 기존 탐지 시스템들은 다음과 같은 한계를 가지고 있습니다:

• 불투명한 의사결정: 많은 탐지기가 단순히 확률 점수만 제공하여, 왜 해당 텍스트가 AI 로 판별되었는지에 대한 명확한 근거를 사용자에게 제시하지 못함.
• 강건성 부족: 도메인 변화, 디코딩 변형, 적대적 공격 (Adversarial Perturbations) 하에서 성능이 급격히 저하됨.
• 단일 신호 의존: 통계적 신호, 신경망 신호, 또는 워터마킹 중 하나에만 의존하여 포괄적인 분석이 부족함.

따라서 높은 정확도를 유지하면서도, 비전문가도 이해할 수 있는 투명하고 설명 가능한 (Explainable) 탐지 시스템의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

NOTAI.AI 는 Extract(추출) → Decide(판단) → Explain(설명) → Present(제시) 의 4 단계 파이프라인을 따르는 하이브리드 설명 가능 프레임워크입니다.

• A. 특징 추출 (Feature Extraction): 텍스트의 분포적, 구조적, 스타일적 특성을 포착하는 17 가지 해석 가능한 특징을 추출합니다.

  1. 신경망 신호 (Neural): 미세 조정된 ModernBERT 모델을 사용하여 생성 확률 신호 (bert_ai_score) 를 추출합니다.
  2. 조건부 확률 곡률 (Conditional Probability Curvature, CPC): Fast-DetectGPT 기반의 무지도 (Zero-shot) 접근법을 활용합니다. 토큰 확률 분포의 2 차 변동을 측정하여, 인간 작성 텍스트는 불규칙하고 변동성이 큰 확률 지형을, AI 생성 텍스트는 더 매끄럽고 안정적인 지형을 보인다는 원리를 적용합니다.
  3. 가독성 및 어휘 다양성: Flesch Reading Ease, 문장 수, 평균 문장 길이, Type-Token Ratio (TTR), hapax legomena 비율 등.
  4. 표면 및 스타일론 (Stylometric) 단서: 정지어 비율, 클리셰 비율, 반복되는 n-gram 빈도, 문장 부호 사용 패턴 등.

• B. 메타 분류 (Meta-Classification):

  • 추출된 17 가지 특징을 XGBoost(Extreme Gradient Boosting) 메타 분류기에 입력하여 인간/AI 텍스트를 분류합니다. 이는 다양한 신호 간의 비선형 상호작용을 학습합니다.

• C. 설명 가능성 (Explainability):

  • SHAP (Shapley Additive Explanations): 각 특징이 최종 결정에 기여한 정도를 정량화합니다. 양의 값은 'AI' 증거, 음의 값은 'Human' 증거로 해석됩니다.
  • LLM 기반 구조화된 설명: SHAP 값을 비전문가가 이해하기 쉬운 자연어 논거 (Rationale) 로 변환합니다. Google Gemma-3-27b-it LLM 을 사용하여, 특징 값과 중요도 점수를 바탕으로 "왜 이 텍스트가 AI 로 판별되었는가"에 대한 1~2 문장의 간결한 설명을 생성합니다.

• D. 인터페이스: Flask 기반의 웹 애플리케이션으로 구현되어 실시간 분석, 시각적 특징 검사, 그리고 특징 제거 (Ablation) 를 통한 모델 행동 검증을 지원합니다.

3. 주요 기여 (Key Contributions)

1. 하이브리드 통합 프레임워크: 곡률 기반 통계 신호 (Fast-DetectGPT), 신경망 신호 (ModernBERT), 그리고 스타일론적 특징을 단일 메타 분류기 내에서 통합하여 탐지 성능을 극대화했습니다.
2. 이중 계층 설명 메커니즘: 수학적 엄밀성을 가진 SHAP 할당과 이를 자연어로 변환하는 LLM 기반 설명 계층을 결합하여, 기술적 투명성과 사용자 접근성을 동시에 달성했습니다.
3. 상호작용형 웹 데모: 사용자가 입력한 텍스트에 대해 실시간으로 예측 결과, 신뢰도, 주요 증거 (Top-3 특징), 그리고 자연어 설명을 제공하며, 특정 특징을 비활성화하여 모델 결정이 어떻게 변하는지 직접 관찰할 수 있는 기능을 제공합니다.
4. 재현성 보장: 소스 코드와 데모 비디오를 공개하여 연구의 재현성을 지원합니다.

4. 실험 결과 (Results)

• 데이터셋: RAID 데이터셋을 기반으로 AI 생성과 인간 작성 텍스트를 1:1 로 균형 있게 조정 (Balanced Split) 한 테스트셋을 사용했습니다.
• 성능 비교:
  • 단일 특징 기반: 곡률 (Curvature) 만 사용 시 F1 점수 0.888 (정밀도 0.942), 스타일론만 사용 시 0.871, ModernBERT 만 사용 시 0.856.
  • NOTAI.AI 앙상블: 모든 특징을 통합한 시스템은 정확도 0.963, F1 점수 0.963을 기록하여 단일 모델 대비 약 7.5 포인트의 F1 점수 향상을 보였습니다.
• 특징 중요도 분석: SHAP 분석 결과, 조건부 확률 곡률 (CPC), Type-Token Ratio (TTR), ModernBERT 점수가 결정에 가장 큰 영향을 미치는 것으로 확인되었습니다. 특히 CPC 는 0 부근의 값과 양의 값이 인간 텍스트를, 음의 값이 AI 텍스트를 강력하게 지지하는 비선형 패턴을 보였습니다.

5. 의의 및 결론 (Significance)

NOTAI.AI 는 단순한 'AI 텍스트 탐지기'를 넘어, 왜 그 텍스트가 AI 로 판단되었는지에 대한 근거를 제공하는 도구로서의 역할을 수행합니다.

• 실용성: 교육자, 저널리스트, 분석가 등 비전문가 사용자가 모델의 판단을 신뢰하고 검증할 수 있도록 돕습니다.
• 강건성과 투명성의 균형: 단일 신호에 의존하지 않는 앙상블 방식을 통해 강건성을 높이고, SHAP 와 LLM 을 결합하여 블랙박스 문제를 해결했습니다.
• 향후 과제: 극단적인 도메인 이동이나 적대적 공격에 대한 강건성 향상, 단어/구 수준 (Micro-level) 의 더 세밀한 위치 특정 (Localization) 기능 추가, 다국어 및 인간-AI 공동 저작 시나리오 확장 등이 향후 연구 과제로 제시되었습니다.

이 논문은 AI 생성 텍스트 탐지 분야에서 높은 성능과 사용자 중심의 설명 가능성을 동시에 달성하기 위한 중요한 진전을 보여줍니다.