💬 NLP

EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection

이 논문은 중국어 시나리오에서 LLM 생성, 인간 작성 및 LLM 수정 텍스트를 효과적으로 탐지하여 NLPCC 2026 Shared Task 6에서 1위를 차지한 충돌 인지 융합 기반의 다중 신호 앙상블 프레임워크인 EVIL-Detect를 제시한다.

원저자: Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

게시일 2026-08-12

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 인간과 새로운 종류의 매우 빠른 사서인 인공지능(AI)이 함께 책을 쓰는 거대하고 북적이는 도서관이라고 상상해 보세요. 오랫동안 이 AI 사서들(대규모 언어 모델이라 불리는)은 단순한 메모만을 작성할 수 있었지만, 이제는 인간이 쓴 것처럼 거의 똑같이 들리는 전체 이야기, 에세이, 기사를 쓸 수 있게 되었습니다. 이것은 양날의 검입니다. 한편으로는 창의성을 위한 초능력이 되지만, 다른 한편으로는 누가 실제로 글을 썼는지 구별하기 어렵게 만듭니다. 만약 학생이 에세이를 제출했다면, 그것을 학생이 썼는지, AI가 썼는지, 아니면 학생이 초안을 다듬기 위해 AI의 도움을 받았는지 어떻게 알 수 있을까요? 이것이 바로 과학자들이 해결하려고 노력 중인 큰 퍼즐입니다. 즉, 인간, 로봇, 그리고 인간과 로봇의 협업 사이의 차이를 포착할 수 있는 텍스트용 "거짓말 탐지기"를 구축하는 것입니다.

이 이야기에서, 중국의 연구진은 이 퍼즐을 해결하기 위해 EVIL-Detect라고 불리는 새로운 도구를 만들었습니다. 그들은 단순히 단일 탐지기를 만든 것이 아니라, 진실을 잡기 위해 함께 작동하는 "탐정단"을 구축했습니다. 그들의 시스템은 NLPCC 2026이라는 주요 대회에서 테스트되었으며, 그곳에서 세 가지 유형의 텍스트—순수하게 인간이 쓴 글, 순수하게 AI가 쓴 글, 그리고 인간이 썼지만 AI에 의해 편집되거나 다듬어진 글—를 구별해야 하는 까다로운 과제에 직면했습니다. 다른 방법들이 단일한 뇌로 정답을 추측하려고 노력할 때, EVIL-Detect는 다양한 단서들을 결합하여 정답을 찾아내는 팀 접근 방식을 사용했습니다. 최종 점수에서 그들의 시스템은 0.8888의 macro-F1 점수를 기록하며 공식 평가에서 1위를 차지했습니다.

문제점: "세 갈래"의 미스터리

기존의 탐지기들은 대부분 이진 스위치와 같았습니다. 즉, "인간" 또는 "AI"라고만 말할 수 있었습니다. 하지만 현실 세계는 더 복잡합니다. 사람들은 종종 문법을 고치거나 글을 더 좋게 만들기 위해 AI를 사용합니다. 이는 세 번째 카테고리를 만들어냅니다: LLM으로 다듬어진 텍스트(LLM-refined text). 학생이 초안을 쓰고(인간), 그 후 AI에게 "이것을 더 전문적으로 보이게 해줘"라고 요청하거나(다듬어짐), 혹은 AI가 처음부터 전체 이야기를 쓰는 것(AI)을 상상해 보세요. 문제는 "다듬어진" 텍스트가 두 가지 성격이 섞여 있어 포착하기 매우 어렵다는 점입니다.

연구진은 만약 컴퓨터에게 세 가지를 한꺼번에 맞히도록 가르치려고 하면 혼란에 빠진다는 것을 발견했습니다. 그들의 테스트에서, 세 카테고리를 직접 학습하려고 시도한 표준적인 방법은 테스트에서 단 0.1690점을 기록하며 형편없는 성적을 냈습니다. 그것은 마치 개에게 세 가지 언어를 동시에 말하도록 가르치는 것과 같았고, 결국 개는 포기해 버린 셈이었습니다.

해결책: 탐정단 (EVIL-Detect)

하나의 거대한 뇌 대신, 연구진은 EVIL-Detect(탐지용 편집 인식 뷰 통합 학습, Edit-aware View-Integrated Learning for Detection의 약자)를 구축했습니다. 이 시스템을 네 명의 서로 다른 탐정이 각기 다른 안경을 쓰고 텍스트를 바라보는 팀이라고 생각하면 됩니다. 그들은 단순히 투표하는 것이 아니라, 서로 대화하고 의견 차이를 해결하여 최종 판결에 도달합니다.

다음은 네 명의 탐정과 그들이 찾아내는 요소들입니다:

"편집 탐정" (지도 학습): 이 탐정은 텍스트가 얼마나 많이 변경되었는지를 측정하도록 훈련되었습니다. 이 탐정은 인간의 원래 스타일과 최종 버전 사이의 차이를 살펴봅니다. 텍스트가 순수한 인간의 글이라면 변화는 0입니다. 순수한 AI라면 변화는 매우 큽니다. 만약 "다듬어진" 글이라면 변화는 그 중간 어디쯤에 위치합니다. 이 탐정은 0에서 1 사이의 슬라이딩 척도로 점수를 부여하여 팀에 텍스트가 얼마나 "편집"된 느낌인지를 알려줍니다.
"제로샷 탐정" (EchoPrompt): 이 탐정은 특정 데이터에 대해 훈련될 필요가 없습니다. 이 탐정은 영리한 트릭을 사용합니다: 다양한 AI 모델이 해당 텍스트를 생성할 가능성을 비교함으로써 텍스트에게 "이것이 로봇이 할 법한 말인가?"라고 묻습니다. 만약 텍스트가 로봇의 자연스러운 출력물과 매우 흡사하다면, 이 탐정은 "AI 생성"에 대한 경고 신호를 보냅니다.
"단어 수 탐정" (어휘 통계): 이 탐정은 작고 지루한 세부 사항들을 살펴봅니다: 특정 단어나 글자 조합이 얼마나 자주 나타나는지 말입니다. 인간과 로봇은 서로 다른 단어 "지문"을 사용하는 경향이 있습니다. 이 탐정은 이러한 패턴을 계산하여 텍스트가 인간의 습관에 가까운지 혹은 기계의 습관에 가까운지를 확인합니다.
"규칙 책 탐정" (텍xt 규칙): 이것은 안전망입니다. 이 탐정은 인간이라면 저지르지 않을 명백한 실수들, 예를 들어 남겨진 컴퓨터 코드(HTML 태그인 <div 또는 <html>)나 로봇이 문장 중간에 끊긴 듯한 미완성 문장 등을 찾아냅니다. 만약 이런 것들이 발견되면, 즉시 텍스트를 AI로 분류합니다.

그들은 어떻게 협력하는가: "갈등 인식" 회의

EVIL-Detect의 마법은 단순히 네 명의 탐정을 보유한 것이 아니라, 그들이 의견이 일치하지 않을 때 어떻게 처리하느냐에 있습니다. 때때로 "편집 탐정"은 텍스트가 "다듬어진" 것이라고 생각하지만, "단어 수 탐정"은 "AI"라고 생각할 수 있습니다.

단순히 투표를 평균 내는 대신(이는 소수의 의견이 무시되는 민주주의와 같습니다), 팀은 갈등 인식 융합(Conflict-Aware Fusion) 전략을 사용합니다. 그들은 논쟁을 해결하기 위한 일련의 규칙을 가지고 있습니다:

두 탐정이 동의하면, 그 답을 따릅니다.
만약 의견이 갈리면, 구체적인 단서를 확인합니다. 예를 들어, "편집 탐정"이 "인간"과 "다듬어진 글" 사이에서 확신하지 못한다면, 팀은 "제로샷 탐정"을 통해 AI의 징후가 강하게 나타나는지 확인합니다.
마지막으로, "규칙 책 탐정"이 최종 결정권을 갖습니다. 만약 텍스트에 명백한 컴퓨터 코드가 포함되어 있다면, 시스템은 다른 모든 것을 무시하고 이를 AI로 판정합니다.

결과: 대회 우승

연구진이 까다롭고 탐지기를 무너뜨리기 위해 설계된 미지의 사례들이 포함된 공식 대회 데이터로 시스템을 테스트했을 때, EVIL-Detect는 놀라운 성과를 거두었습니다.

첫 번째 테스트 세트(testp1)에서 macro-F1 점수 0.8913을 기록했습니다.
두 번째로 더 어려운 테스트 세트(testp2)에서 0.8888을 기록했습니다.

이 시스템은 특히 순수 AI 텍스트를 포착하는 데 뛰어났으며(해당 카테고리에서 0.9219 득점), 까다로운 "다듬어진" 텍스트에 대해서도 준수한 성적(0.8407)을 냈습니다. 연구진은 "편집 탐정"이 팀 내에서 가장 강력한 단일 구성원임을 발견했지만, 시스템이 정상에 오를 수 있었던 것은 다른 탐정들이 메인 탐정의 실수를 보완해주었기 때문이라고 밝혔습니다.

무엇을 배웠는가 (그리고 무엇을 거부했는가)

논문은 또한 다른 아이디어들이 효과가 있는지 테스트했으며, 일부 인기 있는 방법들이 이 특정한 세 갈래 챌린지에서는 실패했다는 것을 발견했습니다.

직접 학습의 실패: 연구진은 단일 AI 모델이 세 카테고리를 직접 "추측"하도록 훈련시켜 보았습니다. 결과는 처참했습니다. 단 0.1690점을 기록했습니다. 이는 도움 없이 단순히 데이터를 모델에 던져준다고 해서 모델이 "인간", "AI", "다듬어진 글" 사이의 미묘한 차이를 이해할 수 없다는 것을 증명했습니다.
기존 탐지기의 한계: 그들은 이진 탐지에는 유용하지만 여기서는 0.3928점에 그친 "Binoculars"라는 방법도 테스트했습니다. 이 방법은 세 가지 클래스의 복잡성을 감당할 수 없었습니다.

연구진은 성공의 비결이 단일한 "슈퍼 모델"이 아니라, **다중 신호 앙상블(multi-signal ensemble)**에 있다고 제안합니다. "편집 강도"(얼마나 변경되었는지), "가능성"(로봇처럼 들리는지), 그리고 "단어 패턴"을 결 조합함으로써, 그들은 오늘날 사람들이 실제로 AI를 사용하는 복잡한 현실을 다룰 수 있을 만큼 견고한 시스템을 만들어냈습니다.

요컨대, EVIL-Detect는 AI와 인간이 공존하는 세상에서 진실을 잡기 위해서는 단 하나의 추측에 의존하기보다, 서로 논쟁하고 타협하며 재확인할 수 있는 전문가 팀이 필요하다는 것을 보여줍니다.

기술 요약: NLPCC 2026 Shared Task 6를 위한 EVIL-Detect

문제 정의
본 논문은 현실적인 중국어 시나리오 내에서 대규모 언어 모델(LLM)에 의해 생성되거나 정제된 텍스트를 탐지하는 과제를 다룹니다. 기존 문헌은 주로 이진 분류(인간 작성 텍스트[HWT]와 LLM 생성 텍스트[LGT]의 구분)에 집중되어 있으나, NLPCC 2026 Shared Task 6는 더 복잡한 3클래스 분류 문제를 도입했습니다:

HWT: 순수하게 인간이 작성한 텍스트.
LGT: LLM에 의해 완전히 생성된 텍스트.
HLT: LLM에 의해 정제된 텍스트(인간이 작성한 텍스트를 LLM이 다듬거나 다시 쓴 것).

저자들은 이러한 설정이 실제 AI 보조 글쓰기 환경을 반영하지만, 훈련 데이터(CUDRT에서 유도됨)와 평가 데이터(DetectRL-X에서 유도됨) 사이의 강력한 분포 외(OOD) 변화로 인해 상당한 어려움을 초래한다고 지적합니다. 평가 데이터에는 학습되지 않은 도메인, 생성기 및 생성 방식이 포함되어 있습니다. 이 3클래스 설정에 이진 분류기를 직접 적용하거나 표준 지도 미세 조정(SFT)을 사용하는 것은 충분한 강건성을 확보하지 못했으며, 일부 베이스라인 SFT 접근 방식은 macro-F1 점수가 0.1690까지 낮아지는 결과를 보였습니다.

방법론: EVIL-Detect
저자들은 HWT, HLT, LGT 사이의 연속성을 처리하기 위해 설계된 다중 신호 앙상블 프레임워크인 EVIL-Detect(Edit-aware View-Integrated Learning for Detection)를 제안합니다. 시스템 아키텍처는 충돌 인지 융합 전략을 통해 네 가지의 뚜렷한 증거 소스를 통합합니다:

지도 학습 모듈 (편집 범위 회귀):
- EditLens에서 영감을 얻은 이 모듈은 탐지를 이산적 분류가 아닌 연속적인 회귀 문제로 취급합니다.
- 이는 편집 범위 타겟 축을 정의하며, 여기서 HWT는 0, LGT는 1, HLT는 인간 소스와 정제된 텍스트 사이의 거리 $d(h, t)$ 를 나타내는 값입니다.
- 두 가지 변형이 구현되었습니다:
  - EditLens: 표면 수준의 소프트 캐릭터 $n$ -gram 거리를 사용합니다. 최적의 구성(rank044)은 1~7 차수의 $n$ -gram을 사용하며 선형적으로 증가하는 가중치를 부여합니다.
  - Soft-EditLens: 임베딩을 통해 의미론적 구절 수준의 소프트 매칭을 사용하여 어휘 교체에도 불구하고 보존된 표현을 포착합니다. 이는 연속적인 회귀 점수와 서수 버킷 인덱스를 모두 출력합니다.
- 두 변형 모두 LoRA(Low-Rank Adaptation)를 사용하는 Qwen 모델을 활용합니다.
제로샷 탐지 모듈:
- 지시어 튜닝된 모델과 베이스 모델 간의 가능도 대비 점수(likelihood-contrast scores)를 계산하는 훈련 불필요 방식인 EchoPrompt를 활용합니다.
- 독립적인 예측 대신, 여러 프롬프트/모델 브랜치(Qwen3.5 및 Qwen2.5 사용)를 통해 보조 증거 역할을 할 이진 "LGT-지지 투표"를 생성합니다.
어휘 빈도 통계 모듈:
- 훈련 세트로부터 레이블별 빈도 사전(lexicon)을 구축하여 변별력 있는 $n$ -gram을 식별합니다.
- 매끄럽게 처리된(smoothed) 레이블 조건 확률과 집계된 로그 오즈(log-odds) 점수(예: LGT 대 HWT, AI 대 HWT)를 계산하여 경량화된 표면 수준의 증거를 제공합니다.
융합 및 결정 모듈:
- 충돌 인지 통합: 시스템은 균등한 평균을 사용하지 않습니다. 대신, 보정된 결정 경계를 사용하여 EditLens 점수를 기본 레이블로 변환합니다. 두 보정 경계가 불일치할 경우 리졸버(resolver) $R(\cdot)$ 가 트리거됩니다.
- 리졸버는 특정 클래스 쌍(예: HWT/HLT, HLT/LGT) 간의 충돌을 해결하기 위해 Soft-EditLens의 회귀/버킷 점수와 집계된 LGT-지지 투표를 사용합니다.
- 고정밀 텍스트 규칙: 최종 안전장치로서, LGT를 나타내는 HTML/XML 구조적 마크업이나 스크립트 잔여물, 또는 HLT를 나타내는 명시적인 재작성 흔적과 같은 특정 아티팩트를 수정하는 보수적인 규칙을 적용합니다.

주요 기여

중국어 3클래스 설정 분석: 본 논문은 특정 맥서의 HWT, LGT, HLT 맥락에서 대표적인 탐지 방법들의 성능을 분석하며, 이진 방법의 직접적인 적응이 OOD 변화 하에서 실패함을 입증합니다.
EVIL-Detect 프레임워크: 편집 범위 회귀, 제로샷 가능도 증거, 어휘 통계 및 규칙 기반 수정을 통합하는 충돌 인지 앙상블 프레임워크를 제안합니다.
최첨단 성능(SOTA): 이 시스템은 공식 테스트 세트(testp2)에서 macro-F1 점수 0.8888을 달성하여 NLPCC 2026 Shared Task 6에서 1위를 차지했습니다.

실험 결과

성능: 시스템은 testp1에서 0.8913, testp2에서 0.8888의 macro-F1을 달기했습니다.
클래스별 성능: LGT 탐지가 가장 강력했으며(F1 $\approx$ 0.92), HLT는 그 중간적 성격으로 인해 가장 까다로운 클래스로 남았습니다(F1 $\approx$ 0.84).
절제 연구(Ablation Studies):
- EditLens 단독으로는 0.8411 macro-F1을 달성했습니다.
- 충돌 인지 통합 및 텍스트 규칙을 추가했을 때 점수는 0.8816으로 향상되었습니다.
- 전체 융합 시스템(0.8888)은 혼동 오류를 크게 줄였으며, 특히 EditLens 단독 베이스라인과 비교했을 때 LGT $\to$ HLT 오류를 59개에서 30개로, HLT $\to$ LGT 오류를 58개에서 28개로 줄였습니다.
- 직접적인 생성형 SFT 분류기(예: GLM-4-9B, Qwen3.5-9B)와 같은 대안적 설계는 낮은 성능(macro-F1 < 0.19)을 보였으며, 이는 단순 생성 분류에만 의존하는 대신 편집 범위 모델링을 기본 신호로 사용하려는 저자들의 설계 선택이 타당함을 입증합니다.

의의
본 논문은 현실적인 OOD 환경에서의 견고한 3클래스 탐지는 단일 신호에 의존할 수 없다고 주장합니다. 대신, 편집 강도 모델링, 가능도 기반 증거, 어휘적 단서 및 고정밀 수정을 통합하는 것이 인간, 기계 생성, 그리고 기계 정제 텍스트를 구분하는 데 필요한 상호 보완적인 정보를 제공합니다. 이 연구는 미세한 텍스트 탐지 작업을 위해 이질적인 신호를 융합할 때 충돌 해결 전략이 필수적임을 강조합니다.