Why AI Detection Fails for Academic Integrity

아래는 연구 논문의 요약본이며, 자동 검사기가 발견한 결함입니다.

=== 요약 ===
학교 에세이와 연구 논문의 세계를 거대하고 북적이는 도서관이라고 상상해 보세요. 수년 동안 교사와 교수들은 도서관 사서가 되어, 선반 위의 모든 책이 표지에 적힌 이름의 저자에 의해 쓰였는지 확인해 왔습니다. 하지만 최근, 새로운 종류의 로봇 작가가 등장했습니다. 대규모 언어 모델(LLM)이라 불리는 이 로봇들은 몇 초 만에 전체 이야기를 쓰고, 수학 문제를 풀고, 복잡한 개념을 설명할 수 있습니다. 이로 인해 일종의 패닉이 발생했습니다. "학생이 실제로 에세이를 썼는지, 아니면 그냥 로봇에게 대신 해달라고 부탁한 것인지 어떻게 알 수 있을까?"

이를 해결하기 위해 학교들은 "AI 탐정"을 고용하기 시작했습니다. 이들은 로봇이 쓴 텍스트를 찾아내도록 설계된 특수한 컴퓨터 프로그램입니다. 원리는 간단합니다. 만약 탐정이 "이것은 로봇의 냄새가 난다"라고 말하면, 학생은 처벌을 받습니다. 하지만 문제는 여기에 있습니다. 이 탐정들은 완벽해야 함에도 불구하고 자주 혼란에 빠집니다. 어떤 학생이 단지 문법을 교정하기 위해 로봇을 사용했을 뿐인데도 그를 부정행위자로 몰기도 하고, 반대로 로봇에게 전체 내용을 쓰게 한 뒤 이를 숨기려 시도한 학생은 놓치기도 합니다. 이 논문은 이 AI 탐정들이 실제로 제 역할을 하고 있는지, 아니면 학문적 정직성을 엉망으로 만들고 있는 것인지 깊이 파고듭니다.

---

위대한 AI 탐정의 실패 대결

이 연구에서 노터데임 대학교의 연구원들은 AI 탐정들을 테스트해 보기로 했습니다. 그들은 단순히 가짜 에세이를 본 것이 아니라, 네 가지 다른 분야(화학, 컴퓨터 과학, 정치학, 신학)의 실제 출판된 연구 초록(과학 논문 시작 부분의 짧은 요약)을 살펴보았습니다. 그들은 "로봇 이전 시대"(20132015년)의 논문과 "로봇 시대"(20232025년)의 논문을 비교했습니다.

그들은 탐정들이 어떻게 반응하는지 보기 위해 세 가지 시나리오를 설정했습니다:

1. 원본: 인간이 초록을 작성했으며, 로봇의 손길이 전혀 닿지 않은 경우.
2. 가벼운 다듬기: 인간이 초록을 작성했으나, 로봇에게 단순히 "더 좋게 들리도록" (문법과 흐름 교정) 요청한 경우.
3. 전체 재작성: 인간이 로봇에게 전체 기사를 주고, 로봇이 처음부터 끝까지 새로운 초록을 작성한 경우.

그 후, 이 텍스트들을 두 개의 유명한 상용 AI 탐지기인 Pangram과 GPTZero에 통과시켰습니다.

"오탐(False Alarm)" 문제

첫 번째 큰 놀라움은 탐정들이 무고한 인간을 보고 얼마나 자주 "로봇!"이라고 소리쳤는가 하는 점이었습니다.

• 연구진이 2023~2025년의 원본 인간 작성 초록을 탐지기에 넣었을 때, 탐지기들은 이를 AI가 생성한 것으로 8.9%에서 15.0% 사이의 확률로 분류했습니다. 이는 열 명 중 한 명 꼴로 정직한 논문이 존재 자체만으로 "유죄" 판정을 받았음을 의미합니다.
• 비과학 분야에서는 문제가 훨씬 심각해졌습니다. 신학이나 정치학 같은 분야에서는 화학이나 컴퓨터 과학 분야보다 탐지기가 훨씬 더 의심이 많았습니다. 알고 보니, 화려한 학술 용어나 긴 문장을 사용하는 스타일로 글을 쓰면, 설령 실제 인간 교수라 할지라도 탐지기는 그를 로봇이라고 생각하게 됩니다.
• 진짜 핵심은 이것입니다. 정직한 논문을 가져다가 로봇에게 "다듬거나" 윤문하도록 요청했을 때, 탐지기들은 광분했습니다. 이 가볍게 편집된 논문들을 AI가 생성한 것으로 분류한 비율이 **64%에서 80%**에 달했습니다.

비유: 박물관의 보안 요원을 상상해 보세요. 만약 당신이 턱시도를 입고 들어오면(화려한 학술적 글쓰기), 보안 요원은 당신을 도둑이라고 생각합니다. 만약 당신이 턱시도를 입고 친구에게 넥타이를 매는 것을 도와달라고 요청한다면(가벼운 AI 편집), 보안 요원은 당신을 덮칩니다. 하지만 만약 도둑이 광대 옷을 입고 들어온다면(전체 로봇 에세이), 그가 먼저 코스튬을 바꾼다면 보안 요원은 그냥 지나가게 둘지도 모릅니다.

"마법 망토" 문제

연구의 두 번째 부분은 "휴머나이저(Humanizers)"를 살펴보는 것이었습니다. 이것들은 AI 탐지기를 속이기 위해 특별히 설계된 도구들입니다. 이들은 로봇이 쓴 텍스트를 가져와서 다시 인간처럼 보이도록 아주 살짝 뒤섞습니다.

연구진은 로봇이 쓴 초록(탐지기가 잡아야 했던 것들)을 가져와서 Undetectable AI라는 휴머나이저에 통과시켰습니다. 결과는 충격적이었습니다.

• 휴머나이저를 사용하기 전에는, 탐지기들이 대부분의 전체 로봇 재작성 글을 잡아냈습니다.
• 휴머나이저를 사용한 후, 탐지기들은 완전히 정신을 잃었습니다. 그들은 로봇이 쓴 텍스트의 96% 이상을 잡아내는 데 실패했습니다. 즉, 휴머나이저는 로봇에게 "마법 망토"를 씌웠고, 탐정들은 그것을 전혀 볼 수 없게 되었습니다.

비유: 이것은 "무궁화꽃이 피었습니다" 게임과 같습니다. AI 탐정은 등을 돌리고 있는 사람입니다. 만약 로봇이 방을 가로질러 걸어가려고 하면 탐정이 잡습니다. 하지만 로봇이 특수 투명 슈트(휴머나이저)를 입으면, 탐정은 뒤를 돌아봤을 때 아무것도 없는 빈 방만을 보게 됩니다. 로봇은 바로 거기 있지만, 탐정은 안전하다고 생각하는 것입니다.

학생들의 "캐치-22(진퇴양난)"

이것은 저자들이 "캐치-22"(승리할 수 없는 상황)라고 부르는 끔찍한 상황을 만듭니다.

• 정직한 학생들이 글을 더 잘 쓰거나 문법을 고치기 위해 AI를 사용하는 경우, 낙인찍히고 처벌받을 가능성이 높습니다. 연구에 따르면 정직한 편집은 **64~80%**의 확률로 탐지될 수 있습니다.
• 콘텐츠 생성을 위해 AI를 사용하는 학생들이 이를 숨기기 위해 휴머나이저를 사용하는 경우, 96% 이상의 확률로 잡아내지 못하고 빠져나갑니다.

이 논문은 현재의 시스템이 정직한 사람을 처벌하고 부정직한 사람에게 보상을 준다고 주장합니다. 저자들은 탐지기가 "누가 이것을 썼는가"를 보는 것이 아니라, 얼마나 많은 긴 단어가 사용되었는지 또는 문장에 얼마나 많은 학술 용어가 담겨 있는지와 같은 단어의 특정 패턴에 반응하는 것이라고 말합니다. 휴머나이저가 이러한 패턴을 바꾸면 탐지기는 혼란에 빠집니다.

저자들의 결론

연구진은 매우 명확하게 밝힙니다: AI 탐지기는 학생이 부정행위를 했다는 유일한 증거로 사용되어서는 안 됩니다.

그들은 다음을 발견했습니다:

1. 탐지기는 신뢰할 수 없습니다: 특히 비과학 분야에서 정직한 인간의 글을 너무 자주 잘못 분류합니다.
2. 휴머나이저는 너무 강력합니다: 전체 AI 생성 에세이를 쉽게 속일 수 있어, 누군가 숨기려 할 경우 잡아내는 것이 불가능합니다.
3. 특징(Features)이 중요합니다: 탐지기는 인간이 실제로 아이디어를 생각했는지 여부보다 "긴 단어"나 "학술적 어휘"에 더 신경 쓰는 것처럼 보입니다.

논문은 학교가 AI를 감지한다고 주장하는 이러한 "마법 지팡이"에 의존하는 것을 멈춰야 한다고 제안합니다. 대신, 학생의 작업 초안, 글쓰기 이력, 그리고 인간의 판단 등 전체적인 그림을 보아야 합니다. 컴퓨터 점수 하나에 의존하는 것은, 체온계가 뜨겁다고 해서 환자가 열이 나는지 아니면 그냥 불 근처에 서 있는 것인지 확인하지 않고 의사를 해고하는 것과 같습니다.

요약하자면, AI 탐정들은 현재 자신의 직무를 수행하는 데 실패하고 있습니다. 그들은 너무 소란스럽고, 너무 쉽게 속으며, 잘못된 사람들을 처벌합니다. 개선되기 전까지, 이들을 사용하여 학생의 운명을 결정하는 것은 정직한 학생들이 패배할 가능성이 높은 위험한 게임입니다.