💬 NLP

Overview of PAN 2026: Voight-Kampff Generative AI Detection, Text Watermarking, Multi-Author Writing Style Analysis, Generative Plagiarism Detection, and Reasoning Trajectory Detection

PAN 2026 워크숍은 생성형 AI 탐지, 텍스트 워터마킹, 다중 저자 문체 분석, 생성형 표절 탐지 및 추론 경로 탐지라는 다섯 가지 과제를 통해 계산 스타일로메트리와 텍스트 포렌식 기술의 객관적이고 재현 가능한 평가를 목표로 합니다.

원저자: Janek Bevendorff, Maik Fröbe, André Greiner-Petter, Andreas Jakoby, Maximilian Mayerl, Preslav Nakov, Henry Plutz, Martin Potthast, Benno Stein, Minh Ngoc Ta, Yuxia Wang, Eva Zangerle

게시일 2026-02-11

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Janek Bevendorff, Maik Fröbe, André Greiner-Petter, Andreas Jakoby, Maximilian Mayerl, Preslav Nakov, Henry Plutz, Martin Potthast, Benno Stein, Minh Ngoc Ta, Yuxia Wang, Eva Zangerle

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🕵️‍♂️ PAN 2026: "AI 시대의 디지털 탐정 대회"

요즘은 AI가 소설도 쓰고, 논문도 쓰고, 심지어 수학 문제 풀이 과정까지 써 내려갑니다. 너무 똑똑해서 사람인지 기계인지 구분하기가 점점 어려워지고 있죠. 그래서 전 세계의 천재 과학자들이 모여 다음 5가지 미션을 해결하기로 했습니다.

1. 보이트-캄프(Voight-Kampff) 미션: "진짜 사람을 찾아라!"

비유: 영화 <블레이드 러너>에 나오는 '인간 vs 복제인간' 판별기입니다.
설명: AI가 쓴 글은 아주 매끄럽지만, 미세한 '기계적 지문'이 남아 있습니다. 하지만 나쁜 마음을 먹은 사람이 AI 글을 살짝 수정해서(글자 바꾸기, 문장 꼬기 등) 정체를 숨기려 할 때, 그 변장술을 뚫고 "이건 AI가 쓴 거야!"라고 잡아내는 기술을 겨룹니다.

2. 텍스트 워터마킹 미션: "글 속에 숨겨진 비밀 낙인"

비유: 명품 가방에 새겨진 눈에 보이지 않는 '정품 인증 마크'입니다.
설명: 글을 쓸 때 눈에는 안 보이지만 특수한 패턴을 심어두는 기술입니다. 나중에 이 글이 진짜인지 확인하고 싶을 때, 마치 돋보기를 대듯 패턴을 찾아내는 거죠. 설령 누군가 글을 조금 고치더라도 이 '비밀 낙인'이 지워지지 않고 살아남을 수 있는지를 테스트합니다.

3. 다중 저자 스타일 분석 미션: "글쓰기 이어달리기 감시"

비유: 여러 명이 한 권의 책을 이어 썼을 때, "여기서부터는 철수가 썼고, 저기서부터는 영희가 썼네!"라고 알아맞히는 것입니다.
설명: 한 문서 안에서 글의 분위기나 말투가 갑자기 바뀌는 지점을 찾아냅니다. 팬픽(Fanfiction) 같은 긴 이야기를 활용해, 문체가 변하는 '교체 지점'을 얼마나 정확히 짚어내는지 겨룹니다.

4. 생성형 표절 탐지 미션: "AI식 짜깁기 잡아내기"

비유: 요리사가 다른 레시피를 보고 재료를 살짝 바꿔서 자기 요리인 양 내놓는 것을 잡아내는 것입니다.
설명: 예전에는 글을 그대로 베끼는 걸 잡았다면, 이제는 AI가 기존 자료를 교묘하게 요약하거나 문장을 바꿔서(Paraphrasing) '자기 것인 양' 만드는 것을 잡아야 합니다. "이 내용은 사실 A 논문의 내용을 요약한 거야!"라고 원본을 찾아내는 능력을 봅니다.

5. 추론 경로 탐지 미션: "생각의 과정 검사하기" (가장 새로운 미션!)

비유: 수학 문제를 풀 때 답만 맞히는 게 아니라, **"풀이 과정이 논리적인가? 아니면 답만 맞히려고 억지로 끼워 맞춘 궤변인가?"**를 검사하는 것입니다.
설명: 요즘 AI는 답을 내기 전에 '생각하는 과정(추론)'을 보여줍니다. 그런데 AI가 겉으로는 아주 논리적인 척하면서 속으로는 위험하거나 잘못된 생각을 할 수도 있죠. 이 미션은 AI의 '생각의 흐름'이 사람의 것인지, 그리고 그 과정이 안전하고 올바른지를 판별합니다.

💡 요약하자면?

이 대회는 단순히 "AI냐 사람이냐"를 묻는 것을 넘어, **"AI가 만든 가짜 정보, 교묘한 표절, 위험한 논리로부터 우리 사회의 진실을 어떻게 지킬 것인가?"**를 연구하는 아주 중요한 방어전입니다.

**"AI라는 강력한 도구가 세상을 어지럽히지 않도록, 디지털 세상의 질서를 잡는 보안관을 뽑는 대회"**라고 할 수 있습니다!

[기술 요약] PAN 2026 워크숍 개요: 생성형 AI 탐지 및 텍스트 포렌식의 진화

1. 개요 (Problem Statement)

생성형 AI(LLM)의 급격한 발전으로 인해 고품질의 텍스트 생성이 일상화되면서, 정보 생태계의 신뢰성을 위협하는 여러 문제가 발생하고 있습니다. 본 논문은 PAN 2026 워크숍에서 다룰 5가지 핵심 과제를 통해 다음과 같은 기술적 난제들을 해결하고자 합니다.

AI 생성 텍스트의 식별: 스타일 변조(Obfuscation)를 통한 AI 흔적 은폐 문제.
텍스트 인증 및 소유권: 생성된 텍스트의 출처를 증명할 수 있는 견고한 워터마킹 기술의 부재.
저자 식별 및 스타일 변화: 다중 저자가 참여한 텍스트에서 스타일이 변하는 지점(Authorship change)을 찾는 문제.
생성형 표절(Generative Plagiarism): LLM이 기존 문서를 단순히 복제하는 것을 넘어, 요약(Merging)하거나 확장(Expanding)하여 교묘하게 재구성하는 새로운 형태의 표절 문제.
추론 과정의 투명성 및 안전성: LLM이 결론에 도달하기까지의 '추론 경로(Reasoning Trajectory)'가 인간의 것인지, 혹은 유해하거나 기만적인지를 판별하는 문제.

2. 주요 과제 및 방법론 (Methodology & Tasks)

PAN 2026은 총 5개의 공유 과제(Shared Tasks)를 통해 연구를 진행합니다.

Task 1: Voight-Kampff Generative AI Detection (AI 생성 탐지)

목표: 텍스트 변조(Obfuscation) 공격에도 견고한 AI 탐지 모델 개발.
방법론: 'Builder-Breaker' 방식을 채택합니다. 한 그룹(ELOQUENT lab)이 AI 탐지기를 무력화하기 위해 변조된 데이터셋을 생성하면, 참가자들은 이를 탐지하는 시스템을 제출합니다.

Task 2: Text Watermarking (텍스트 워터마킹 - 신규)

목표: 기존 텍스트에 보이지 않는 워터마크를 삽입하고, 텍스트 변조 후에도 이를 검증하는 기술 개발.
방법론: 2단계 프로세스로 진행됩니다. 1) 텍스트에 워터마크 삽입 $\rightarrow$ 2) 자동화된 변조 과정을 거친 후 워터마크 존재 여부 확인. TIRA 플랫폼의 샌드박스 환경을 통해 지식 유출을 방지하며 평가합니다.

Task 3: Multi-Author Writing Style Analysis (다중 저자 스타일 분석)

목표: 텍스트 내에서 저자의 스타일이 바뀌는 위치를 식별.
방법론: 팬픽션(Fanfiction) 데이터셋을 활용합니다. 의미적(Semantic) 및 스타일적(Stylistic) 유사성을 기반으로 혼합된 데이터셋을 구축하여, 주제 변화와 스타일 변화를 구분하는 능력을 평가합니다.

Task 4: Generative Plagiarism Detection (생성형 표절 탐지)

목표: LLM에 의한 고도화된 표절(요약 및 확장형 표절) 탐지.
방법론:
- Subtask 1 (Source Retrieval): 의심 문서를 바탕으로 원본 소스 문서를 찾아내는 검색 작업.
- Subtask 2 (Text Alignment): 표절된 문단과 원본 문단 간의 정렬(Alignment) 작업. (여러 소스가 하나로 합쳐지거나, 하나의 소스가 여러 문단으로 나뉘는 경우 포함)
- 데이터 확장: PubMed(의학/화학) 및 JSTOR(인문/사회과학) 분야의 논문을 포함하여 도메인을 확장합니다.

Task 5: Reasoning Trajectory Detection (추론 경로 탐지 - 신규)

목표: LLM의 추론 과정(Reasoning Trajectory)의 출처와 안전성을 판별.
방법론:
- Subtask 1 (Source Detection): (질문, 추론 경로, 최종 답변) 세트를 보고 이것이 인간의 것인지 AI(Claude 3.7, DeepSeek-R1 등)의 것인지 판별.
- Subtask 2 (Safety Detection): 추론 과정이 유해한지(Unsafe), 혹은 기만적인 경로를 통해 안전한 결론에 도달하는지를 단계별(Step-level) 및 결과별(Outcome-level)로 탐지.

3. 핵심 기여 및 의의 (Key Contributions & Significance)

평가 프레임워크의 고도화: 단순한 텍스트 분류를 넘어, 워터마킹, 추론 경로, 생성형 표절 등 AI 시대에 새롭게 등장한 복합적인 보안 및 윤리 문제를 체계적인 벤치마크로 전환했습니다.
실제적 시나리오 반영: 기존의 단순한 문단 교체 방식에서 벗어나, 실제 학술적/사회적 맥락(논문 요약, 복잡한 수학/코딩 추론 등)을 반영한 데이터셋을 구축하여 연구의 실효성을 높였습니다.
신뢰할 수 있는 AI(Trustworthy AI) 지원: AI 생성물의 탐지뿐만 아니라, AI의 '사고 과정'에 대한 투명성과 안전성을 검증하는 과제를 도입함으로써 차세대 신뢰 가능한 AI 모델 개발을 위한 기술적 토대를 마련했습니다.
재현 가능한 연구 환경: TIRA 플랫폼과 Docker 컨테이너를 활용하여, 전 세계 연구자들이 객관적이고 재현 가능한 방식으로 실험 결과를 비교할 수 있는 환경을 제공합니다.