수백만 권의 책이 매초마다 쓰여지고 있는, 거대하고 시끌벅적한 도서관으로 걸어 들어간다고 상상해 보세요. 어떤 책들은 인간의 손으로 쓰여 독특한 개성, 오타, 개인적인 이야리가 담겨 있습니다. 또 다른 책들은 '거대 언어 모델(LLM)'이라 불리는 아주 똑똑한 로봇들에 의해 찍어내듯 만들어지며, 이들은 인간의 글쓰기를 너무나 완벽하게 흉내 내어 우리처럼 들리게 할 수 있습니다. 문제는 무엇일까요? 바로 인간과 로봇을 구별하는 것이 점점 더 어려워지고 있다는 점입니다. 컴퓨터 과학의 세계에서 이것은 'AI 탐지'를 위한 전쟁입니다. 오랫동안 과학자들은 단순히 명단을 확인하고 "인간" 또는 "로봇"이라고 말하는 클럽의 보안 요원처럼, 단순한 "예/아니오" 식의 탐지기를 만드는 방식으로 이 문제를 해결하려 했습니다. 하지만 이 방식은 너무 투박합니다. 인간은 모두 같지 않습니다. 시인은 뉴스 기자와 다르게 글을 쓰며, 로봇 또한 다양한 스타일로 글을 쓸 수 있습니다. 만약 그 다양한 스타일들을 단 두 개의 바구니에 억지로 밀어 넣으려 한다면, 실제로 중요한 세부 사항들을 놓치게 됩니다.

이때 서울대학교의 새로운 연구진이 등장했습니다. 그들은 단 한 명의 보안 요원을 사용하는 대신, 전문가 부대를 구축하기로 결정했습니다. 그들은 MD-ProTector라는 시스템을 만들었습니다. 이것은 단순히 '인간 탐정' 한 명과 '로봇 탐정' 한 명만 있는 탐정 사무소가 아니라, 전문 분야를 가진 전문가 팀이 있는 곳이라고 생각하면 됩니다. 한 명의 인간 탐정은 레스토랑 리뷰 전문가이고, 다른 한 명은 학술 논문 전문가이며, 세 번째는 일상적인 대화 전문가입니다. 마찬가지로 로봇 팀에도 과학 기사, 뉴스 기사, 혹은 판타지 소설처럼 보이는 AI 글쓰기를 포착하는 데 특화된 전문가들이 있습니다. 이 전문가들이 단순히 일반적인 "인간"이나 "로봇"이 아니라, 특정 유형의 글쓰기를 인식하도록 훈련함으로써 시스템은 훨씬 더 날카로워집니다. 이 논문은 이 "부대(squad)" 방식이 기존의 "단일 보안 요원" 방식보다 더 효과적임을 보여주며, 특히 글쓰기 스타일이 기이하거나 주제가 새롭거나, 혹은 로봇이 시스템을 속이려고 시도할 때 더욱 그렇습니다.

"하나의 크기로 통용되는" 보안 요점의 문제점

한동안 AI 텍스트를 잡아내는 표준적인 방법은 단순한 이진 분류기(binary classifier)를 사용하는 것이었습니다. 여러분에게 거대한 구슬 주머니가 있다고 상상해 보세요. 어떤 구슬은 빨간색(인간이 쓴 것)이고, 어떤 구슬은 파란색(AI가 생성한 것)입니다. 기존 방식은 빨간색과 파란색을 구분하기 위해 주머니 중간에 단 하나의 선을 긋고자 했습니다. 만약 빨간색과 파란색 구슬이 모두 같은 색조라면 이 방식은 괜찮았습니다. 하지만 현실에서 "빨간색" 구슬에는 네온, 파스텔, 진한 크림슨 색이 있고, "파란색" 구슬에는 하늘색, 남색, 일렉트릭 블루가 있습니다. 이 모든 다양한 색조를 단 두 그룹으로 강제로 묶어버리면, 경계선은 엉망이 됩니다. 탐지기는 인간이 로봇처럼 글을 쓰거나 로봇이 인간처럼 글을 쓸 때 혼란을 겪을 수 있는데, 왜냐하면 이 방식은 구체적인 스타일이 아니라 광범적인 범주만을 보고 있기 때문입니다.

연구진은 가짜를 잡기 위해서는 그룹 내의 다양성을 이해해야 한다는 것을 깨달았습니다. 단순히 "이것은 인간이다"라고 말하는 것이 아니라, "이것이 어떤 종류의 인간 글쓰기인가"를 알아야 합니다. 하지만 여기서 까다로운 점이 있습니다. 만약 컴퓨터에게 단순히 "자, 8개의 서로 다른 인간 탐지기를 만들어봐"라고 명령한다면, 컴퓨터는 유사한 해결책으로 수렴할 수 있습니다. 즉, 8개의 탐지기가 모두 똑같이 보이게 만들거나, 혹은 모두가 동일한 몇 가지 유형의 글쓰기만을 잡으려 하여 나머지 영역은 방치하게 될 수도 있습니다. 컴퓨터는 각 탐지기가 고유한 역할을 찾도록 강제하는 방법이 필요합니다.

해결책: 전문화된 탐정 부대

여기서 MD-ProTector가 등장합니다. 연구진은 인간과 기계 모두를 위한 '프로토타입(prototype)' 뱅크를 구축했습니다. "프로토타입"이란 특정 스타일의 완벽하고 평균적인 예시를 뜻하는 멋진 용어입니다. 하나의 거대한 "인간" 프로토타입 대신, 그들은 8개의 서로 다른 인간 프로토타입을 가지고 있습니다. 하나의 "로봇" 프로토타입 대신, 8개의 서로 다른 로봇 프로토타입을 가지고 있습니다.

하지만 이 8개의 프로토타입이 모두 똑같은 일을 하지 않도록 어떻게 보장할 수 있을까요? 그들은 **프로토타입 배치(Prototype Positioning)**라는 특별한 훈련 규칙을 발명했습니다.

여러분이 친구들을 모아 보물찾기를 조직한다고 상상해 보세요. 여러분은 단순히 "가서 찾아와"라고 말하지 않습니다. 대신 "앨리스, 너는 빨간색 물건을 찾아; 밥, 너는 파란색 물고 찾아; 찰리, 너는 무거운 물건을 찾아"라고 말합니다. 여러분은 그들이 잘하는 것에 기반하여 구체적인 방향을 제시합니다. 컴퓨터의 뇌 속에서도 연구진은 먼저 모든 "인간" 텍스트가 공유하는 공통점(클래스 허브)을 파악합니다. 그런 다음, 각 특정 텍스트가 그 평균으로부터 어떻게 다른지를 살펴봅니다. 그리고 각 프로토타입에게 이렇게 말합니다. "공통적인 부분은 신경 쓰지 마. 대신 네 그룹을 특별하게 만드는 고유하고 남겨진 세부 사항들을 찾아내."

이 과정은 프로토타입들이 서로 퍼져 나가도록 강제합니다. 어떤 프로토타입은 "인용구가 많은 학술적 글쓰기"를 포착하는 법을 배울 수 있고, 다른 프로토타입은 "속어가 섞인 일상적인 블로그 포스트"를 포착하는 법을 배울 수 있습니다. 이들은 서로 다른 글쓰기의 구석구석을 담당하는 다양한 팀이 됩니다.

결과: 부대가 승리하다

연구진은 가장 까다로운 테스트들을 사용하여 새로운 부대를 기존의 단일 보안 요원 방식들과 비교 테스트했습니다. 그들은 모든 것을 던져 넣었습니다: 다양한 언어, 다양한 주제, 심지어 글쓰기 스타일을 바꾸어 탐지기를 속이려고 시도하는 로봇들까지 포함해서 말이죠.

결과는 인상적이었습니다. 도메인과 모델을 뒤섞는 MAGE CDCM 테스트에서, MD-ProTector는 AvgRec(인간과 로봇을 모두 잡아내는 균형 잡힌 점수) **95.14%**를 달성했습니다. 이는 그들이 테스트한 모든 방법 중 가장 높은 점수였습니다. 비교하자를 들자면, 표준적인 "단일 보안 요원" 방식(Binary CE)은 **90.79%**를 기록했고, DeTeCtive라는 또 다른 고급 방식은 **94.84%**를 기록했습니다.

그들은 또한 텍-텍스트의 출처를 숨기기 위해 의도적으로 내용을 망가뜨리는 적대적 공격(adversarial attacks)을 처리할 수 있는지 확인하기 위해 설계된 벤치마크인 RAID에서도 테스트를 진행했습니다. 여기서도 MD-ProTector는 **AvgRec 88.18%**로 다시 한번 정상에 올랐으며, 그다음으로 높은 방법보다도 확실한 차이로 앞섰습니다. 또한 "오탐률(False Positive Rate, 인간을 로봇이라고 잘못 판단하는 비율)"을 단 **27.78%**라는 매우 낮은 수준으로 유지했는데, 이는 실제 사람을 로봇이라고 몰아세우고 싶지 않은 상황에서 매우 중요한 지표입니다.

심지어 본 적 없는 언어에 대해서도 테스트했을 때(M4 벤치마크), 성능이 매우 좋았으나 특정 도전 과제에서는 조금 더 어렵다는 것을 발견했습니다. 이는 부대 방식이 훌륭하긴 하지만, 가장 어려운 미지의 언어들에 대해서는 여전히 개선할 점이 있음을 시사합니다.

이것이 왜 중요한가

이 논문은 AI를 잡아내는 미래가 더 크고 무서운 벽을 쌓는 것이 아니라, 더 똑똑하고 다양한 팀을 구축하는 것에 있다고 제안합니다. "인간의 글쓰기"와 "AI의 글쓰기"가 단일하고 균일한 덩어리가 아니라 다양한 스타일의 집합체임을 인정함으로써, MD-ProTector는 다른 이들이 놓치는 세부 사항을 포착해 냅니다.

연구진은 이것이 모든 것을 영원히 해결하는 마법의 지팡이가 아니라는 점을 주의 깊게 언급합니다. 만약 로봇이 훨씬 더 똑똑해지거나 글쓰기 스타일이 시간이 흐름에 따라 급격히 변한다면, 시스템 업데이트가 필요할 수 있다는 점을 인정합니다. 하지만 현재로서는, 이 "전문가 부대" 접근 방식이 우리의 디지털 도서관을 정직하게 유지하고, 우리가 이야기를 읽을 때 누가 정말로 썼는지 알 수 있게 하는 가장 효과적인 방법으로 보입니다.