💬 NLP

Team DACTYL at PAN 2026: Bayesian Data Mixing and Empirical X-risk Minimization for AI-text Detection

DACTYL 팀은 데이터셋 큐레이션을 위한 베이지안 데이터 믹싱과 경험적 X-리스크 최소화를 채택함으로써 AI 텍스트 탐지의 분포 외 성능 격차 문제를 해결하며, PAN 2026 테스트 세트에서 0.974의 평균 점수를 기록한 MCGrad-보정된 ModernBERT-large 모델을 통해 리더보드 상위 순위를 달성했습니다.

원저자: Shantanu Thorat

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shantanu Thorat

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 가짜 그림을 찾아내려는 탐정이라고 상상해 보십시오. 당신은 특정 위작 갤러리를 연구하는 데 수년을 보냈기에, 새로운 작품이 그 갤러리의 것인지 즉각적으로 알아낼 수 있습니다. 하지만 만약 위조범이 스튜디오를 바꾸고, 다른 붓을 사용하며, 완전히 다른 화풍으로 그림을 그린다면 어떻게 될까요? 갑자기 당신의 전문가적인 안목은 실패할 수도 있습니다. 그것은 당신이 똑똑하지 않아서가 아니라, 특정 종류의 프레임이나 첫 번째 갤러리에서만 나타났던 이상한 얼룩 같은 '잘못된 단서'를 배우게 되었기 때문입니다. 이것이 바로 "AI 텍스트 탐지" 문제의 핵심입니다. 과학자들은 컴퓨터 프로그램이 텍스트를 읽고, 그것을 인간이 썼는지 아니면 로봇(대규모 언语言 모델)이 썼는지 결정하도록 만들고 있습니다. 문제는, 이 프로그램들이 훈련 데이터에 있는 특정 "로봇 지문"을 찾아내는 데 너무 능숙해진 나머지, 로봇들이 새로운 방식으로 글을 쓰기 시작하면 혼란에 빠진다는 점입니다. 우리가 차이를 구별해내지 못한다면, 우리는 실수로 가짜 뉴스를 믿거나 실제 인간의 창의성을 놓칠 수도 있습니다. 큰 질문은 이것입니다. 어떻게 하면 우리의 디지털 탐정들을 단순히 과거를 암기하는 수준을 넘어 진정으로 똑똑하게 훈련시킬 수 있을까요?

여기에 PAN 2026 경연 대회, 즉 AI 탐지기를 위한 고도의 경쟁을 위해 이 문제에 도전하기로 결심한 DACTYL 팀이 있습니다. 그들은 단순히 문제에 더 많은 데이터를 쏟아붓는 대신, 중화기를 투입하기 전에 정찰병 팀을 훈련시키는 것과 비슷한 영리하고 다단계적인 전략을 시도했습니다.

먼저, 그들은 단순히 서로 다른 데이터셋을 섞는 것이 항상 도움이 되는 것은 아니라는 점을 깨달았습니다. 때로는 그것이 모델에게 진짜 교훈을 배우는 대신 시험을 속이기 위한 쉬운 속임수를 찾아내는 '지름길 학습(shortcut learning)'을 유발하여 모델을 혼란스럽게 할 수도 있습니다. 이를 해결하기 위해, 그들은 DACTYLv2라는 새로운 거대 데이터셋을 구축했습니다. 이것을 영화 대본부터 경제 논문에 이르기까지 인간과 다양한 AI 모델이 작성한 이야기들의 거대한 도서관이라고 생각하십시오. 하지만 그들은 이 책들을 단순히 훈련 더미에 쏟아붓지 않았습니다. 그들은 어떤 책들이 "악당"인지 알고 있었습니다. 즉, AI처럼 보이지만 실제로는 인간이 쓴 글이거나, 혹은 그 반대이거나, 혹은 그냥 아주 이상한 예외적인 데이터여서 훈련을 망칠 수 있는 텍스트들 말입니다.

이 악당들을 걸러내기 위해, 그들은 Bayesian BERT-tiny라고 불리는 작고 가벼운 AI 모델들을 사용하여 특별한 "정찰병" 팀을 만들었습니다. 이 정찰병들은 단순히 "예/아니오"라는 답을 내놓는 것이 아니라, 자신이 얼마나 확신하는지도 알려준다는 점에서 특별합니다. 마치 정찰병이 "이것은 로봇인 것 같지만, 100% 확신할 수는 없습니다"라고 말하는 것과 "저는 이것이 로봇이라는 것을 절대적으로 확신합니다"라고 말하는 것의 차이와 같습니다. 팀은 이 확신도를 사용하여 현명한 결정을 내렸습니다. 만약 어떤 텍스트가 정찰병들을 혼란스럽게 하거나(높은 불확실성), 혹은 정찰병들이 확신하지만 틀린 답을 내놓는 경우(낮은 불확실성이지만 오답), 그 텍스트를 버렸습니다. 그들은 정찰병들이 합의할 수 있는 "황금" 텍스트만을 남겨두어, 매우 깨끗하고 고품질인 훈련 세트를 만들었습니다.

이 순수한 도서관을 확보한 후, 그들은 두 명의 강력한 "헤비급" 탐정인 ModernBERT-large와 DeBERTa-V3-large를 훈련시켰습니다. 이들은 정찰병들보다 훨씬 크고 똑똑합니다. 하지만 여기서 반전이 있습니다. 팀은 단순히 이 거대 모델들이 추측하게 내버려 두지 않았습니다. 그들은 **경험적 위험 최소화(Empirical X-risk Minimization, EXM)**라는 기법을 사용했습니다. 단순히 가능한 한 자주 정답을 맞히려고 노력하는 대신, EXM은 모델이 인간과 로봇의 모습이 매우 유사한 "어려운" 사례들—즉, 까다로운 텍스트들—을 정말 잘 구분해내도록 가르칩니다. 이는 탐정이 단순히 뻔한 가짜를 찾아내는 것이 아니라, 거의 완벽에 가까운 가짜를 찾아내도록 훈련하는 것과 같습니다.

마지막 기술으로, 그들은 MCGrad라는 "교정 코치"를 추가했습니다. 똑똑한 탐정이라도 과하게 확신할 때가 있습니다. 때때로 모델은 실제로는 60%만 확신하면서도 "99% 확신하며 이것은 로봇입니다"라고 말할 수 있습니다. MCGrad 코치는 작은 정찰병들로부터 오는 불확실성 신호를 살펴보고, 거대 모델의 확신 점수를 더 정직하게 조정합니다. 이는 마치 자신감 넘치는 운동선수에게 "너는 잘하지만, 이 한 판에 네 전 재산을 걸지는 마라"고 조언하는 코치와 같습니다.

결과는 어땠을까요? 팀의 전략은 아름답게 작동했습니다. MCGrad의 코칭을 받은 그들의 ModernBERT-large 모델은 최종 테스트에서 0.974라는 놀라운 평균 점수를 기록했습니다. 이 점수는 그들이 리더보드에서 2위를 차지하기에 충분했으며, 많은 다른 팀들을 제치고 여러 카테고리에서 전년도 우승자까지 뛰어넘었습니다. 흥미롭게도, 그들의 또 다른 거대 모델인 DeBERTa-V3-large는 전체적으로는 약간 낮은 정확도(0.882)를 보였지만, "로봇" 텍스트를 포착하는 데는 믿기 힘들 정도로 탁월한 성능을 보여주며 서로 다른 전략이 각기 다른 강점을 가지고 있음을 보여주었습니다.

이 논문은 AI 탐지기를 이기는 열쇠가 단순히 더 큰 컴퓨터나 더 많은 데이터를 사용하는 것이 아니라, 어떤 데이터를 사용하는지 매우 주의 깊게 살피는 것이라는 점을 시사합니다. 작은 불확실성 모델을 사용하여 노이즈를 걸러내고, 그 다음 거대 모델이 가장 어려운 사례들에 집중하도록 훈련함으로써, Team DACTYL은 세심한 큐레이션이 훨씬 더 속이기 어려운 탐지기로 이어질 수 있음을 보여주었습니다. 비록 그들의 방법이 모든 테스트에서 완벽하게 작동하지는 않았지만(일부 새로운 유형의 AI 텍스트는 여전히 그들을 곤혹스럽게 했습니다), 계층적이고 영리한 접근 방식이 우리의 디지털 세계를 정직하게 유지하는 강력한 방법임을 증명했습니다.

기술 요약: AI 텍스트 탐지를 위한 베이지안 데이터 혼합 및 경험적 위험 최소화

문제 정의
현재의 AI 생성(AIG) 텍스트 분류기들은 분포 내(in-distribution, ID) 성능은 강력하게 나타내지만, 분포 외(out-of-distribution, OOD) 텍스트에 대해서는 일반화에 실패하는 경우가 많습니다. 저자들은 이러한 실패가 데이터셋 특유의 가짜 상관관계(spurious correlations)와 피상적인 특징에 과적합되는 데서 기인한다고 가설을 세웠으며, 이로 인해 작은 모델(예: BERT-tiny)조차 특정 벤치마크에서 기만적으로 높은 점수를 기록할 수 있게 됩니다. 또한, 표준적인 경험적 위험 최소화(Empirical Risk Minimization, ERM)를 통한 학습은 "지름길 학습(shortcut learning)"을 조장하는 경향이 있으며, 단순한 데이터셋 결합은 이러한 가짜 상관관계에 대한 의존성을 강화할 수 있습니다. 추가적으로, 기존 분류기들은 정교하게 보정된 신뢰도 점수가 부족한 경우가 많으며, 하드 마이닝(hard mining) 기법은 진정으로 어려운 샘플과 노이즈 또는 오염된 데이터를 구분하지 못합니다.

방법론
DACTYL 팀의 접근 방식은 베이지안 데이터 필터링, 경험적 X-위험 최소화(Empirical X-risk Minimization, EXM), 그리고 사후 다중 보정(post-hoc multicalibration)을 포함하는 파이프라인을 통해 이러한 문제를 해결합니다.

데이터셋 구축 (DACTYLv2):
팀은 6개 도메인(블로그, 웹 기사, Medium, 영화 대본, NBER 초록, Yelp 리뷰)에 걸쳐 다양한 LLM(Claude, GPT, GLM, MiniMax, Mercury, Kimi 포함)을 사용하여 원샷 프롬프팅(one-shot prompting)으로 AIG 텍스트를 생성함으로써 확장된 데이터셋인 DACTYLv2를 구축했습니다. 이를 외부 데이터셋(LLMTrace, Personagen, Stack Exchange, MAGA-Bench, DetectRL)과 결합하여 다양한 훈련 풀을 생성하고 DACTYL 특유의 아티팩트에 대한 과적합을 방지했습니다.
베이지안 데이터 필터링:
고품질의 통합 훈련 세트를 큐레이션하기 위해, 저자들은 서로 다른 소스 데이터셋의 샘플에 대해 5개의 약한 Bayesian BERT-tiny 분류기(베이지안 선형 헤드를 가진 BERT-tiny)를 훈련시켰습니다.

메커니즘: 이 모델들은 각 입력에 대해 평균 점수( $\mu$ )와 표준 편차( $\sigma$ )를 출력하며, 이는 예측 신뢰도와 불확실성을 나타냅니다.
필터링 로직: 텍스트는 정답/불확실(correct/uncertain), 정답/확실(correct/certain), 오답/불확실(incorrect/uncertain), 오답/확실(incorrect/certain)의 4개 사분면으로 평가됩니다.
선택 기준: 샘플이 올바르게 분류되었거나, 잘못 분류되었더라도 불확실한 경우(학습하기 어려운 사례를 나타냄)에는 "유지(keep)"되었습니다. 반면, 분류기가 오답이면서 동시에 확실한(incorrect and certain) 경우, 이는 이상치, 잘못 레이블링된 데이터 또는 가짜 상관관계를 나타낼 가능성이 높으므로 "제거(reject)"되었습니다. 최종 훈련 세트를 확정하기 위해 최소 3개의 "유지" 투표와 최대 1개의 "제거" 투표를 요구하는 앙상블 투표 메커니즘이 사용되었습니다.

경험적 X-위험 최소화(EXM)를 이용한 모델 훈련:
표준 ERM(교차 엔트로피) 대신, 팀은 두 방향 부분 AUROC 최적화(LibAUC 라이브러리를 통한)를 사용하여 필터링된 데이터셋에 대해 DeBERTa-V3-large 및 ModernBERT-large 모델을 미세 조정했습니다. 이 접근 방식은 특히 더 큰 모델의 일반화 능력을 향상시키도록 설계되었습니다.
다중 보정 (MCGrad):
ModernBERT-large 모델에 대해 MCGrad를 사용하여 사후 보정 단계를 적용했습니다. 이 모델은 ModernBERT-large의 변환된 점수와 세 가지 베이지안 BERT-tiny(DACTYL, LLMTrace, MAGA-Bench에서 훈련됨)의 불확실성 추정치( $\sigma$ )를 입력으로 받습니다. 이 단계는 예측 확률을 실제 레이블과 일치시켜 브라이어 점수(Brier score)와 같은 지표를 최적화하는 것을 목표로 합니다.

주요 기여

DACTYLv2: 다양한 도메인과 프롬프트 스타일을 포함하는 새로운 확장 데이터셋.
베이지안 필터링 프레임워크: 베이지안 신경망을 사용하여 훈련 데이터에서 "오답이면서 확실한" 샘플(잠재적 이상치/가짜 상관관계)을 식별하고 제거함으로써 여러 데이터셋을 효과적으로 혼합하는 새로운 방법.
EXM 구현: AIG 탐지 맥락에서 대규모 언어 모델을 미세 조정하기 위해 경험적 X-위험 최소화(부분 AUROC)를 적용함.
불확실성 기반 보정: 약한 베이지안 모델의 불확실성 추정치를 활용하여 강력한 비-베이지안 분류기의 예측을 보정하는 시스템.

결과
팀은 세 가지 분류기(DeBERTa-V3-large, ModernBERT-large, MCGrad-보정된 ModernBERT-large)를 훈련하고 평가했습니다.

성능: MCGrad 모델은 PAN 2026 테스트 세트의 5개 지표(AUROC, $F_1$ , C@1, Brier score, $F_{0.5u}$ )에서 0.974의 최고 평균 점수를 기록하며 리더보드에서 2위를 차지했습니다.
비교: 보정되지 않은 ModernBERT-large는 0.96의 평균 점수를 기록했으며, DeBERTa-V3-large는 0.882를 기록했습니다.
일반화: 두 대규모 모델 모두 훈련되지 않은 여러 외부 테스트 세트(예: DetectRL, Dolly-Cosmopedia)에서 AUROC 점수가 0.93을 초과하는 강력한 OOD 성능을 보여주었습니다.
보정 영향: MCGrad 시스템은 PAN 2025 및 2026 테스트 세트에서 점수를 개선하였으나(브라이어 점수에서 경쟁자 중 1위를 차지함), ELOQUENT 테스트 세트에서는 엇갈린 결과를 보여 특정 분포 변화에 대한 민감성을 시사했습니다.

의의 및 주장
본 논문은 단순히 방대한 양의 데이터를 집계하는 것보다 베이지안 불확실성 필터링을 사용한 신중한 데이터 큐레이션이 강력한 OOD 성능을 달성하는 데 결정적인 요소라고 주장합니다. 저자들은 높은 판별 능력(높은 AUROC)이 반드시 보정된 점수를 보장하는 것은 아니라는 점을 강조하며, 여러 지표에 걸친 평가의 필요성을 역설합니다. 본 연구는 베이지안 데이터 선택과 EXM 및 다중 보정을 결적으로 결합하면 이전의 최첨단 시스템(특히 전체 점수에서 PAN 2025 우승 시스템을 능가함)보다 뛰어난 견고한 탐지기를 생성할 수 있음을 입증합니다. 저자들은 베이지안 하이퍼파라미터가 수동으로 튜닝되었음을 언급하며, 향후 프록시 불확실성 지표를 통한 최적화가 결과를 더욱 개선할 수 있다고 제안합니다.

유사한 논문