기술 요약: '당신의 AI 텍스트는 나의 것이 아니다': 현실적인 가정을 바탕으로 한 AI 생성 텍text의 재정의 및 평가

문제 정의

AI 생성 텍스트 탐지(AITD)는 과학적 품질 관리 약화, 학업 부정행위, 허위 정보 캠페인과 같은 사회적 위험을 완화하기 위한 핵심 기술로 널리 인식되고 있으나, 무엇이 "해로운" AI 사용인지에 대해서는 문헌상 합의가 이루어지지 않았다. 기존의 데이터셋과 평가 방식은 실제 인간-AI 공동 창작 패턴과 일치하지 않는 암묵적이고 단순한 가정에 의존하는 경우가 많다. 구체적으로, 현재의 벤치마크는 텍스트를 완전히 인간이 작성했거나 완전히 AI가 생성한 것(en-bloc)으로 취급하거나, 인간과 AI 구간 사이의 고정된 경계를 가정하는 경우가 빈번하다. 이러한 합성된 구조는 프롬프트, 수정, 지속(continuation)을 통해 저자와 대규모 언어 모델(LLM)이 상호작용하는 인간-AI 협업의 미묘하고 반복적인 본질을 포착하지 못한다. 결과적으로, 기존의 AITD 개념은 명세가 불충분하여 서로 다른 데이터셋 간의 결과를 호환하기 어렵게 만들며, 실제 사용 사례에 일반화될 수 있는 탐지기 개발을 저해한다.

방법론

저자들은 다음과 같은 세 가지 측면의 방법론을 통해 이러한 격차를 해결한다:

1. 개념적 프레로임 (Conceptual Framework): 본 논문은 AITD 개념을 세 가지 차원에 따라 정의하는 공유된 어휘를 구축한다:

   • 규범적 표준 (Normative Standard): 허용 가능한 AI 사용과 허용되지 않는 AI 사용을 구분한다 (예: 전면 금지 vs. 허용 가능한 다듬기).
   • 발생 가정 (Genesis Assumptions): 텍스트가 생성되는 방식에 대한 제약 조건 (예: en-bloc 생성 vs. 혼합 구간).
   • 공격자 모델 (Attacker Model): 발생 가정이 위반되는 정도 (예: 사후 토큰 교체).
     이를 바탕으로 저자들은 기존의 개념을 발생 기반(문서 수준, 경계 수준, 문장 수준) 및 집단 기반(멤버십 기반)으로 분류한다. 또한 실질적인 공백을 메우기 위해 두 가지 새로운 개념을 제안한다: 콘텐츠 기반 AITD(콘텐츠 정책을 위반하는 AI 문장을 플래그 지정) 및 저자 ID 기반 AITD(특정 인간 저자의 스타일과 일치하지 않는 AI 텍스트를 플래그 지정).

2. 데이터셋 구축 (AITDNA): 현실적인 데이터를 통해 이러한 개념들을 테스트하기 위해, 저자들은 99명의 참가자로부터 얻은 352개의 인간-기계 공동 창작 텍스트로 구성된 새로운 벤치마크인 AITDNA를 구축했다.

   • 수집 과정: 참가자들은 CARE를 기반으로 한 커스텀 인터페이스를 사용하여 네 가지 조건(인간 단독, 그리고 다양한 LLM(Llama-4, Qwen2.5, DeepSeek-V3.2, GPT-5.2, Gemini-3 포함)을 사용한 세 가지 공동 창작 모드(논증적, 창의적, 설명적))에서 텍스트를 공동 작성했다.
   • 정밀도: 인터페이스는 사용자 프롬프트, LLM 응답, 구체적인 편집 이력(삽입/삭제)을 포함한 상세한 상호작용 흔적을 기록했다. 이를 통해 "발생(genesis)"(모든 토큰의 기원: 인간, AI, 또는 혼합)을 정밀하게 도출할 수 있다.
   • 범위: 데이터셋은 다양한 장르와 LLM 구성을 포괄하며, 텍스트당 평균 약 50%의 AI 토큰과 23.33개의 인간-AI 구간 경계를 보여 높은 상호 혼합도를 반영한다.

3. 평가 프로토콜: 저자들은 AITDNA와 다섯 개의 기존 데이터셋(CoAuthor, SenDetEx, BD, Mixset, DetectRL)에 대해 8개의 탐지기(오픈 소스 6개, 독점 모델 2개)를 벤치마킹했다.

   • 통제 변수: 저자들은 개념 파라미터, 특히 임계값 $\tau$(구간을 AI로 라벨링하는 데 필요한 최소 AI 토큰 비율)와 분할 정밀도(문서, 경계, 문장 단위)를 체계적으로 변화시켰다.
   • 지표: 성능은 AUROC, F1-Score, False Positive Rate(FPR)를 사용하여 측정되었다.

주요 기여

• C#1: AITD 개념 프레임워크: 저자들은 AITD 문제를 명시하기 위한 공식적인 프레임워크를 도출하였으며, 기존의 5가지 개념을 식별하고 실질적인 정책에 더 잘 부합하는 두 가지 새로운 개념(콘텐츠 기반 및 저자 ID 기반)을 도입했다.
• C#2: AITDNA 데이터셋: 저자들은 상세한 인간-AI 상호작용 이력(프롬프트, 편집, 발생 기원)을 담은 최초의 데이터셋인 AITDNA를 공개하며, 이는 개념에 구애받지 않는 참조점 역할을 한다.
• C#3: 가정에 대한 경험적 분석: 본 연구는 기존 데이터셋들이 자연스러운 공동 창작을 모델링하지 못하는 비현실적인 가정(예: 낮은 혼합 비율, en-bloc 생성)을 내포하고 있음을 체계적으로 입증한다. 또한 탐지기 성능이 근본적인 개념과 그 파라미터에 매우 민감하다는 것을 보여준다.

결과

• 기존 데이터의 불일치: 분석 결과, 합성 데이터셋(DetectRL, Mixset 등)은 AI가 문서 전체를 다시 쓰는 "en-bloc" 생성을 가정하는 경우가 많아, 경계 수가 적고 AI 토큰 비율이 높다(65%). 반면, AITDNA는 더 균형 잡힌 혼합(51% AI 토큰)과 현저히 높은 경계 수(23.33)를 보여, 합성 데이터가 실제 공동 창작의 세밀한 혼합을 모델링하지 못함을 나타낸다.
• 개념별 난이도: 탐지 성능은 개념에 따라 크게 달라진다. 문서 수준 AITD는 가장 높은 성능을 보이는 반면, 더 세밀한 개념(문장 수준, 의도 기반, 콘텐츠 기반)은 훨씬 더 어렵다. 상용 탐지기(GPTZero, Pangram)는 콘텐츠/의도 기반 작업에서 낮은 성능을 보였는데, 이는 이들이 의미적 콘텐츠나 프롬프트 의도보다는 표면적인 특징에 과적합(overfit)되어 있음을 시사한다.
• 파라미터 민감도: 선택된 임계값 파라터 $\tau$는 평가 결과를 극적으로 변화시킨다. 예를 들어, $\tau = 0.5$(AI가 과반수)와 $\tau = 0.1$(AI가 조금이라도 있음)을 설정할 때 데이터셋 전반에 걸쳐 F1-score가 최대 0.8까지 차이 난다. 이는 명시적이고 일관된 파라미터 명시 없이는 데이터셋 간의 비교가 유효하지 않음을 나타낸다.
• 보편적 탐지기의 부재: 모든 데이터셋과 개념에 대해 일관되적으로 우수한 성능을 보이는 단일 탐지기는 존재하지 않는다. 성능 순위는 데이터셋의 근본적인 가정과 테스트되는 특정 개념에 따라 바뀐다. 예를 들어, moBERT는 DetectRL에서는 뛰어난 성능을 보였으나(아마도 훈련 데이터의 중복 때문), AITDNA에서는 그렇지 않았다.

의의 및 주장

본 논문은 AITD 분야가 인간-AI 협업의 복잡성을 가리는 합성 및 개념 불명확한 벤치마크를 넘어서야 한다고 주장한다. 저자들의 주장은 다음과 같다:

1. 표준화가 필수적이다: 하위 개념(분할, 규범적 표준, $\tau$와 같은 파라미터)이 명시적으로 정의되고 일치하지 않으면 평가 결과는 비교 가능하지 않다.
2. 현실성이 중요하다: 합성된 저혼합 데이터셋에서 훈련되거나 평가된 탐지기는 인간과 AI 텍스트가 깊게 뒤섞여 있는 실제 시나리오에서 실패할 수 있다.
3. 정책과의 정렬: 미래의 탐지기는 이진적인 "인간 대 AI" 라벨링이 아니라, 미묘한 정책(예: 허용 가능한 다듬기와 금지된 전체 생성의 구분)을 지원할 수 있도록 설계되어야 한다.

저자들은 신뢰할 수 있는 탐지가 여전히 가능하지만, 현재의 표준화된 정의와 현실적인 데이터의 부족이 발전을 저해하고 있다고 결론짓는다. 이들은 향후 연구가 다양한 가정을 명시적으로 고려하는 강건한 탐지기에 집중하고, 저자 식별과 같이 아직 충분히 탐구되지 않은 개념을 위한 전용 데이터셋을 수집하는 데 초점을 맞춰야 한다고 촉구한다.