Detecting AI-Generated Essays in Writing Assessment: Responsible Use and Generalizability Across LLMs

이 논문은 AI 생성 에세이 탐지기의 현황과 책임 있는 사용 가이드라인을 제시하고, GRE 쓰기 프롬프트를 기반으로 한 실증 분석을 통해 특정 LLM 으로 훈련된 탐지기가 다른 LLM 에서 생성된 에세이를 얼마나 잘 일반화하여 식별하는지 평가하여 실용적 적용을 위한 지침을 제공합니다.

핵심

1. 문제 상황: "완벽한 가짜 지폐"가 돌아다닙니다

과거에는 학생이 남의 글을 베끼는 '표절'이 문제였습니다. 이때는 **도서관 (데이터베이스)**을 만들어서 "이 글이 다른 책과 똑같은가?"라고 비교하면 쉽게 잡을 수 있었습니다.

하지만 요즘의 AI(대규모 언어 모델) 는 다릅니다. AI 는 도서관에 없는 새로운 글을 스스로 창작합니다. 마치 완벽하게 위조된 지폐처럼, 글자 하나하나가 진짜처럼 보이지만 실제로는 사람이 쓴 것이 아닙니다. 그래서 "다른 책과 비교해보자"는 옛날 방식은 통하지 않게 되었습니다.

2. 해결책: "세 가지 탐정 도구"

연구자들은 AI 글을 잡기 위해 세 가지 다른 방법을 제안합니다.

• 방법 A: 언어의 '손맛'을 보는 탐정 (통계적 분석)

  • 비유: 사람이 글을 쓸 때는 문장 길이가 들쭉날쭉하고, 가끔은 엉뚱한 비유를 쓰거나 실수를 합니다. 하지만 AI 는 너무 완벽해서 문장 길이가 일정하고, 통계적으로 '예상 가능한' 단어들을 나열하는 경향이 있습니다.
  • 원리: 이 탐정은 글의 리듬과 패턴을 분석합니다. "이 글은 너무 매끄러워서 인간이 쓴 게 아닐지도 몰라"라고 의심하는 것입니다. 연구에 따르면, 특정 AI 가 쓴 글을 학습시킨 탐정기는 그 AI 와 비슷한 다른 AI 가 쓴 글도 잘 찾아냅니다. 하지만 AI 가 계속 진화하면 (예: GPT-4 에서 GPT-5 로), 이 탐정기는 다시 훈련받아야 합니다.

• 방법 B: '수박 속'을 보는 탐정 (워터마킹)

  • 비유: AI 가 글을 쓸 때, 눈에 보이지 않는 **특수 잉크 (워터마크)**를 섞어 넣는 방법입니다. 나중에 그 잉크를 비추면 "이건 AI 가 썼다"는 신호가 나옵니다.
  • 한계: 하지만 이 방법은 AI 개발 회사가 협조해야만 가능합니다. 또한, 사람이 글을 조금만 수정하거나 다듬으면 그 특수 잉크가 지워져버려서 소용이 없게 됩니다.

• 방법 C: '작업 과정'을 보는 감시 카메라 (키스트로크 분석)

  • 비유: 사람이 글을 쓸 때는 생각하는 시간, 멈춤, 지우기, 다시 쓰기 같은 행동 패턴이 있습니다. 마치 요리사가 재료를 다듬고 맛을 보는 과정처럼요. 하지만 AI 가 쓴 글을 복사해서 붙여넣으면, 이런 '생각의 흔적'이 전혀 없습니다.
  • 강점: 이 방법은 가장 강력합니다. AI 가 쓴 글을 복사해서 붙여넣었는지, 아니면 사람이 직접 타이핑했는지를 키보드 치는 속도나 빈도로 바로 알 수 있기 때문입니다.

3. 결론 및 조언: "형광등 아래서만 믿으세요"

이 논문은 AI 탐지기 (Detector) 가 만능이 아니라고 경고합니다.

• 완벽하지 않습니다: 탐지기는 가끔 진짜 사람이 쓴 글을 AI 가 쓴 것처럼 오해할 수 있습니다 (거짓 양성). 특히 글이 너무 짧으면 구별이 불가능합니다.
• 혼합된 글은 잡기 어렵습니다: 사람이 AI 가 쓴 글을 베이스로 해서 직접 수정하고 내용을 추가했다면, 탐지기는 "이게 AI 글인지 인간 글인지" 혼란을 겪습니다.
• 책임 있는 사용: 탐지기의 결과는 단독 증거로 쓰면 안 됩니다. 마치 경찰이 지문만 보고 범인을 잡지 않고, CCTV 와 진술을 함께 보듯, 글 자체의 분석 + 작성 과정 기록 (타이핑 로그) + 교사의 판단을 합쳐야 합니다.

💡 한 줄 요약

"AI 가 쓴 글을 잡는 것은, 완벽한 가짜 지폐를 찾는 것과 같습니다. 통계적 패턴을 보는 것도 좋지만, 가장 확실한 방법은 그 사람이 글을 쓰는 '과정 (손맛)'을 지켜보는 것입니다. 하지만 탐지기 하나만 믿지 말고, 여러 증거를 종합해서 판단해야 합니다."

이 연구는 AI 기술이 빠르게 발전하는 만큼, 우리가 글을 평가하는 방식도 함께 변해야 함을 강조하며, 기술의 발전과 인간의 판단이 균형을 이루어야 한다는 메시지를 전합니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 의 급속한 발전으로 인해 고도로 일관성 있고 품질이 높은 에세이를 생성하는 것이 쉬워졌습니다. 이로 인해 학생이 제출한 작업의 진위성 (Authenticity) 에 대한 우려가 커지고 있으며, 이는 교육 평가의 타당성을 위협하고 있습니다.
• 현재의 한계:
  • 기존 공개 탐지 도구 (GPTZero, Turnitin 등) 는 통제되지 않은 개방형 환경에서 인간 작성 텍스트를 AI 생성 텍스트로 잘못 분류 (False Positive) 하거나, 반대로 AI 생성 텍스트를 놓치는 (False Negative) 경우가 빈번합니다.
  • 특히 다양한 LLM 버전이 빠르게 등장함에 따라, 특정 모델로 훈련된 탐지기가 다른 모델로 생성된 텍스트를 탐지하는 일반화 (Generalizability) 능력이 부족하다는 문제가 대두되었습니다.
  • 인간과 AI 가 혼합된 텍스트 (Hybrid text) 나 짧은 텍스트의 경우 탐지 정확도가 급격히 떨어집니다.

2. 연구 방법론 (Methodology)

이 논문은 표준화된 쓰기 평가 (GRE 에세이) 환경에 초점을 맞추어 다음과 같은 방법론을 적용했습니다.

• 데이터 구성:
  • 프롬프트: 공개된 GRE 쓰기 프롬프트 2 개를 사용했습니다.
  • 생성 모델: 2024~2025 년에 출시된 GPT 계열 모델 (GPT-4, GPT-4o, GPT-o1, GPT-o3-mini, GPT-o4-mini, GPT-5 등) 을 포함하여 총 7 가지 LLM 을 대상으로 실험했습니다.
  • 샘플링: 각 프롬프트당 각 LLM 에서 200 편의 에세이를 생성 (총 400 편/모델) 하고, 인간 작성 에세이 100 편을 프롬프트당 샘플링하여 총 200 편의 인간 데이터를 확보했습니다.
• 탐지 모델 훈련:
  • 특징 추출: 대부분의 LLM 이 직접적인 Perplexity(불확실성) 계산을 지원하지 않으므로, 공통 참조 모델인 GPT-2를 사용하여 모든 에세이의 Perplexity 를 계산했습니다.
  • 특징 변수: 전체 에세이 Perplexity 와 문장 수준 Perplexity 분포의 평균, 중앙값, 최소/최대값, 10~90 백분위수 등을 추출했습니다.
  • 분류기: 추출된 특징을 기반으로 **Gradient Boosting Machine (GBM)**을 4-폴드 교차 검증을 통해 훈련시켰습니다.
• 평가 지표:
  • AUC (Area Under the ROC Curve): 임계값에 의존하지 않는 분류 성능 지표로, 0.5(무작위) 와 1.0(완벽한 분리) 사이의 값을 가집니다.
  • 교차 검증 (Cross-LLM Evaluation): 특정 LLM 으로 훈련된 탐지기를 다른 LLM 의 테스트 데이터에 적용하여 성능을 측정했습니다. 또한, 모든 LLM 데이터를 합쳐 훈련한 통합 탐지기 (GPT-all) 의 성능도 평가했습니다.
• 기타 접근법 검토:
  • 지도 학습 분류기 (Supervised Learning), 워터마킹 (Watermarking), 작성 과정 데이터 (Keystroke dynamics, 수정 이력), 유사도 매칭 (Similarity Matching) 등 다양한 탐지 기법의 장단점을 고찰했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 모델 간 일반화 성능 분석 (Cross-LLM Generalizability)

• 동일 모델 내 탐지: 훈련된 모델과 테스트된 모델이 동일한 경우, 모든 LLM 에서 높은 AUC 값을 보이며 탐지가 용이했습니다.
• GPT-4 계열의 군집화: GPT-4, GPT-4o, GPT-4o-mini, GPT-o1, GPT-o3-mini 는 서로 간에 높은 상호 일반화 성능 (AUC > 0.8, 많은 경우 0.9 이상) 을 보였습니다. 이는 이 모델들이 유사한 스타일적 패턴이나 통계적 규칙성을 공유함을 의미합니다.
• 새로운 모델의 격차: GPT-o4-mini와 GPT-5는 이전 GPT-4 계열과는 다른 패턴을 보였습니다. 이 두 모델 간에는 상호 탐지가 잘 되지만, 이전 모델들로 훈련된 탐지기로는 탐지가 매우 어렵습니다. 이는 새로운 모델들이 기존 GPT 계열과 구별되는 고유한 생성 특성을 지니고 있음을 시사합니다.
• 통합 탐지기의 효과: 모든 LLM 데이터를 합쳐 훈련한 GPT-all 모델은 개별 모델 특성에 구애받지 않고 모든 LLM 에서 높은 탐지 성능을 보였습니다. 이는 다양한 LLM 데이터를 혼합하여 훈련하는 것이 미래 지향적인 전략임을 입증했습니다.

B. 탐지 방법론의 비교 및 시사점

• Perplexity 기반 특징: GPT-2 를 기준으로 한 Perplexity 기반 특징이 다양한 LLM 에서 효과적으로 작동함을 확인했습니다.
• 워터마킹의 한계: 워터마킹은 생성 시점에 삽입되므로 명확한 출처를 제공하지만, 재작성 (Paraphrasing) 이나 다른 모델을 통한 수정 시 신호가 쉽게 사라지며, 오픈소스 모델에는 적용 불가능하다는 한계가 있습니다.
• 작성 과정 데이터 (Process Data): 키스트로크 역학, 수정 이력, 타이밍 데이터는 인간과 AI 의 행동 패턴 차이를 포착하여 텍스트 기반 탐지의 정확도를 보완할 수 있는 강력한 수단입니다.

4. 책임 있는 사용에 대한 권고 (Responsible Use)

논문은 탐지 기술의 오남용을 방지하기 위해 다음과 같은 원칙을 제시합니다.

1. 불완전성 인정: 어떤 탐지기든 100% 정확하지 않으며, False Positive/False Negative 가 발생합니다. 특히 짧은 텍스트나 비원어민 작성자의 경우 편향 (Bias) 이 발생할 수 있으므로 결과를 신중하게 해석해야 합니다.
2. 혼합 텍스트의 어려움: 인간이 AI 생성물을 수정하거나 편집한 경우 (Hybrid text) 탐지가 매우 어렵습니다.
3. 다중 증거의 활용: 텍스트 기반 탐지 결과만으로는 결론을 내리지 말고, 작성 과정 데이터 (키스트로크 로그, 영상 등) 와 맥락적 정보를 결합해야 합니다.
4. 제도적 합의: 개별 교사의 임의적 판단보다는 기관 차원의 가이드라인을 수립하고, 탐지기를 보조 도구로만 활용하며, 평가 설계 자체 (수업 내 작성 과제 병행 등) 를 개선해야 합니다.

5. 의의 및 결론 (Significance)

• 실용적 가이드라인 제시: 다양한 LLM 환경에서 탐지기가 어떻게 작동하는지에 대한 실증적 데이터를 제공하여, 실제 교육 현장에서의 탐지 전략 수립에 기여합니다.
• 미래 대응 전략: 단일 모델에 의존하기보다는 다양한 LLM 데이터를 포함한 통합 훈련이 필수적임을 강조합니다.
• 평가 패러다임의 전환: AI 도구의 보편화로 인해 문법이나 기계적 오류 수정과 같은 표면적 요소의 평가 비중을 재고하고, 인간 고유의 사고 과정과 작성 과정 데이터를 평가에 통합해야 할 필요성을 제기합니다.
• 확장성: 텍스트 탐지에 적용된 원칙은 오디오, 비디오, 이미지 등 다른 모달리티의 AI 생성물 탐지 (Deepfake 등) 에도 동일하게 적용될 수 있음을 강조합니다.

이 논문은 AI 생성 텍스트 탐지가 단순한 기술적 문제를 넘어, 교육적 공정성, 윤리, 그리고 평가 시스템의 재설계가 필요한 복합적인 과제임을 명확히 하고 있습니다.