당신이 위대한 위조범을 잡으려는 형사라고 상상해 보십시오. 과거에는 위조범들을 잡아내기가 쉬웠습니다. 철자 오류나 잘못된 문법 같은 명백한 실수를 저질렀기 때문입니다. 하지만 오늘 $\text{LLM}$(대규모 언어 모델)이라 불리는 초지능형 AI 작가들의 등장으로 오늘날의 위조는 완벽합니다. 철자도 완벽하고, 문법도 정확하며, 마치 인간처럼 들립니다. 전통적인 탐지기들은 텍스트를 단어 하나하나 검사하며 잡아내려 합니다. 마치 재료 목록을 하나씩 체크하는 것과 같습니다. "이 단어는 너무 흔한가? 저 단어는 너무 희귀한가?"라고 묻는 식이죠. 하지만 AI는 인간의 단어 선택을 모방하는 데 너무나 능숙하기 때문에, 이러한 "단어 단위(word-by-word)" 방식은 자주 실패하며, 단순히 "가짜!"라고 말할 뿐 왜 그런지는 설명하지 못하는 블랙박스를 남깁니다.

이 논문은 기계 생성 텍text(MGT) 탐지라는 컴퓨터 과학의 새로운 영역을 깊이 파고듭니다. 저자들이 구축한 핵심 아이디어는 AI가 인간의 단어를 완벽하게 복제할 수는 있어도, 그 단어들이 서로 어떻게 결합하는지에 대한 '구조'까지는 복제하지 못할 수도 있다는 점입니다. 문장을 단순히 단어들의 직선적인 나열이 아니라, 연결의 그물망으로 생각하는 것입니다. 저자들은 텍스트를 단순한 직선으로 보는 대신, 연결의 지도(그래프)로 보기 시작하면 기계의 "지문"을 찾아낼 수 있다고 제안합니다. 그들은 **그래프(Graphs)**라는 개념, 즉 점(단어)들이 선(관계)으로 연결된 지도를 사용하여 일반적인 방식으로 텍스트를 읽을 때는 보이지 않는 패턴을 포착합니다.

그렇다면 왜 이것이 중요할까요? AI가 글을 쓰는 능력이 향려짐에 따라, 무엇이 진짜이고 무엇이 가짜인지 구별하기가 점점 더 어려워지고 있기 때문입니다. 이는 가짜 뉴스를 식별하는 것부터 학술적 부정행위를 잡아내는 것, 그리고 법적 및 의료 기록의 정직성을 유지하는 것에 이르기까지 모든 분야에 중요한 문제입니다. 우리가 읽는 것을 믿을 수 없다면, 우리는 세상을 믿을 수 없습니다. 거대한 질문은 이것입니다. "우리는 단순히 추측하는 것이 아니라, AI가 어떻게 글을 썼는지에 대한 '스모킹 건(결정적 증거)'을 보여줄 수 있는 탐지기를 만들 수 있는가?"

이 논문의 핵심 아이디어: 선에서 웹(Web)으로

Xu Zheng과 Dongsheng Luo가 이끄는 저자들은 LM2OTIFS(Language Model Motifs의 약자)라고 불리는 새로운 프레임워크를 제안합니다. 그들의 주요 발견은 텍스트를 직선이 아닌 "단어 연결 지도"(그래프)로 변환함으로써, 현재의 방법들보다 AI 글쓰기를 훨씬 더 잘 포착할 수 있으며, 더 중요한 것은 왜 그것이 AI라고 생각하는지 그 이유를 정확히 설명할 수 있다는 것입니다.

이해를 돕기 위해 간단한 비유를 들어 설명하겠습니다.

"단어 파티" 비유
텍스트를 하나의 거대한 파티라고 상상해 보십시오.

• 기존 방식 (선형 탐지): 전통적인 탐지기는 파티장을 돌아다니며 개별 손님들을 하나씩 살펴봅니다. "오, 당신은 빨간 모자를 쓰고 있군요. 수상합니다! 당신은 가만히 서 있군요. 그것도 수상합니다!" 이 방식은 고립된 단서들을 봅니다. 하지만 AI 손님들은 영리해서 평범한 모자를 쓰고 평범한 위치에 서 있습니다. 탐지기는 혼란에 빠집니다.
• 새로운 방식 (LM2OTIFS): 저자들은 손님들을 보는 것을 멈추고, 그들의 '대화'를 보기 시작할 것을 제안합니다. 그들은 모든 손님을 하나의 점으로 하고, 두 손님이 파티 중에 대화를 나누었다면 두 점을 선으로 연결하는 지도를 그립니다.
  • 인간의 파티: 인간은 대개 무질서하고 유기적인 대화의 그물을 형성합니다. 주제를 넘나들고, 서로의 말을 끊으며, 복잡하고 무질서한 그룹을 만듭니다.
  • AI의 파티: AI는 비록 인간처럼 들릴지라도, 아이디어를 연결하는 매우 특정한 구조적 방식을 가집니다. AI는 단어들을 너무 완벽하거나, 너무 예측 가능하거나, 혹은 인간은 사용하지 않는 숨겨진 "논리"를 따르는 방식으로 연결할 수 있습니다.

논문은 이 "대화 지도"(저자들이 **어휘 공생 그래프(lexical co-occurrence graph)**라고 부르는 것)를 통해 볼 때, AI의 파티가 인간의 파티와 구조적으로 다르다는 것을 보여줍니다. AI는 단어를 하나씩 읽을 때는 보이지 않는 "구조적 지문"을 남깁니다.

그들이 발견한 것과 배제한 것

저자들은 단순히 추측한 것이 아니라, 시스템을 구축하고 테스트했습니다. 다음은 그들이 발견한 내용입니다.

1. 구조가 단어를 이긴다: 실험을 통해 단어가 어떻게 연결되는지(그래프)를 보는 것이 개별 단어의 확률을 보는 것보다 AI를 찾아내는 데 훨씬 효과적임을 입었습니다. 실제로 그들의 결과는 이러한 구조적 패턴이 매우 뚜렷하여, 기존의 가장 뛰어난 도구들보다 더 높은 정확도로 AI 텍스트와 인간 텍스트를 구분할 수 있음을 보여주었습니다. 이론적으로 그들은 그래프 기반 탐지기가 선형 탐지기가 할 수 있는 모든 것을 수행할 수 있으며, 선형 방식이 놓치는 복잡한 의존성을 포착함으로써 잠재적으로 더 많은 것을 할 수 있음을 입증했습니다.
2. "블랙박스"를 열다: 현재 AI 탐지기의 가장 큰 문제 중 하나는 점수만 줄 뿐 이유는 알려주지 않는 "블랙박스"라는 점입니다. LM2OTIFS는 다릅니다. 그래프를 사용하기 때문에, 특정 "모티프"(연결 지도에서의 작고 반복되는 패턴)를 지목하며 "이 단어들이 이런 특정한 방식으로 연결되어 있기 때문에 우리는 이것이 AI라고 판단합니다"라고 말할 수 있습니다.
   • 그들은 이러한 설명이 얼마나 "충실(faithful)"한지 테스트했습니다. 시스템이 식별한 가장 중요한 연결들을 제거했을 때, AI를 찾아내는 탐지기의 능력은 거의 15% 가까이 떨어졌습니다. 반면, 다른 방법들(LIME이나 SHAP 등)이 식별한 "중요한" 단어들을 제거했을 때는 탐지기가 거의 영향을 받지 않았으며, 감소 폭은 10% 미만이었습니다. 이는 다른 방법들이 잘못된 단서를 보고 있는 반면, LM2OTIFS는 실제 구조적 증거를 찾아내고 있음을 시사합니다.
3. 그들이 배제한 것: 이 논문은 AI 탐지가 단순히 토큰 수준(단어 단위)의 돌출도(saliency)나 단순한 확률 점수만으로 해결될 수 있다는 생각에 명시적으로 반박합니다. 그들은 전통적인 방식들이 실제로 기계 글쓰기를 구별 짓는 "고차 구조적 의존성"을 포착하는 데 실패한다는 것을 보여줍니다. 또한 그래디언트 기반 방식(단일 단어가 결과에 얼마나 영향을 주는지 계산하려는 방식)은 현대의 LLM에 적용하기에는 계산량이 너무 많고 효과가 떨어진다고 주장합니다.

그들은 얼마나 확신하는가?

저자들은 결과에 대해 상당히 확신하고 있지만, 자신들의 데이터가 보여주는 바에 충실하고자 노력합니다.

• 성능: 저자들은 여섯 가지 데이터셋(Yelp, Reddit, 학술 논문 등 실제 텍스트 포함)과 13가지의 기존 방법들을 대상으로 LM2OTIFS를 테스트했습니다. 거의 모든 경우에서 LM2OTIFS는 가장 높은 정확도(특정 테스트에서는 **98%~100%**에 달함)와 가장 우수한 설명의 "충실도"를 달성했습니다.
• 이론적 뒷받침: 그들은 단순히 코드를 실행한 것이 아니라, 자신들의 접근 방식을 뒷받침하기 위해 **확률적 그래피컬 모델(Probabilistic Graphical Models)**에 기반한 수학적 이론을 구축했습니다. 그들은 그래프 기반 탐지기가 선형 탐지기의 모든 기능을 엄격하게 포괄(subsume)할 수 있음을 입증하여, 기계 특유의 지문을 식별하기 위한 더 강력한 프레임워크를 제시했습니다.
• 한계: 그들은 자신들의 방법이 훈련된 특정 영역에서는 매우 잘 작동하지만, AI 텍스트가 그래프가 본 적 없는 완전히 다른 영역(cross-domain)에서 온 경우 어려움을 겪을 수 있음을 인정합니다. 또한 초기 "파티 지도"를 구축하기 위해 상당한 양의 훈련 데이터가 필요하다는 점도 언급했습니다.

요약

요컨대, 이 논문은 완벽한 AI 위조범을 잡기 위해서는 단어를 보는 것이 아니라 단어 사이의 "춤(dance)"을 봐야 한다고 제안합니다. 텍스트를 연결의 지도로 변환함으로써, 저자들은 AI 작가를 기록적인 정확도로 잡아낼 뿐만 아니라, AI가 어떻게 속임수를 썼는지 정확히 보여주는 돋보기를 우리에게 건네주었습니다. 이는 "이 단어가 이상한가?"라고 묻는 것에서 "이 대화가 기계에 의해 만들어진 것처럼 보이는가?"라고 묻는 것으로의 전환입니다. 그들의 실험에 따르면, 그 대답은 명확합니다. "그렇습니다, 그리고 여기 그 증거가 있습니다."