Distinguishing Artificial from Authentic: Evaluating LLMs for Detecting LLM-Generated Content

기술 요약: 인공과 진본의 구별: LLM 생성 콘텐츠 탐지를 위한 LLM 평가

문제 정의
대규모 언어 모델(LLM)이 코드 및 자연어 응답을 생성하는 교육 환경에서 보편화됨에 따라, AI가 생성한 작업물과 학생의 실제 제출물을 구별해야 할 결정적인 필요성이 제기되고 있다. 워터마킹, 통계적 분류기와 같은 기존의 탐지 방법들이 존재하지만, 이들은 종면 불안정성, 일관성 부족 또는 접근성 결여 문제를 겪는 경우가 많다. 더욱이, 다양한 교육 과제 유형(특히 프로그래밍, 성찰적 글쓰기, 단답형 질문 간의 성능 차이를 조사하는 방식)에 대해 LLM 스스로가 자신의 출력물을 탐지하는 효능에 관한 실증적 연구는 제한적이다.

연구 방법론
저자들은 오클랜드 대학교의 입문 프로그래밍 코스 데이터를 사용하여 평가를 수행하였다. 데이터셋은 네 가지 서로 다른 과제의 실제 학생 제출물로 구성되었다:

1. 성찰(Reflection): MATLAB에서 C로 전환하는 과정에 대해 성찰하는 과제 (n=846).
2. 프로그래밍 1(Programming 1): C 언어를 이용한 루프 및 배열 연습 문제 (n=201).
3. 프로그래밍 2(Programming 2): C 언어를 이용한 문자열 매칭 연습 문제 (n=870).
4. 단답형(Short Answer): 코드 가독성에 관한 한 문장 답변 (n=854).

AI 생성 콘텐츠를 시뮬레이션하기 위해, 저자들은 세 가지 서로 다른 프롬프트 조건 하에서 각 과제에 대해 100개의 합성 응답을 생성하도록 GPT-4o를 사용하였다:

• 베이스라인(Baseline): 응답 생성을 위한 직접적인 지시.
• 페르소나(Persona): 입문 과정을 밟는 학생을 모방하도록 하는 지시.
• 적대적/노이즈(Adversarial/Noise): 텍스트 과제의 경우, 오타와 비격식적 언어를 추가하라는 지시를 포함하였으며, 프로그래밍 과제의 경우, 초보적인 버그와 서툰 스타일을 도입하라는 지시를 포함하였다.

탐지 프로토콜
생성된 응답과 실제 학생 제출물은 탐지기 역할을 하는 LLM에 의해 평가되었다. 탐지기는 두 가지 방식으로 프롬프트되었다:

1. 가능성(Likelihood): 텍스트가 LLM에 의해 생성되었을 확률을 나타내는 백분율 출력.
2. 이진 분류(Binary): "예" 또는 "아니오" 분류 출력.
   변동성을 고려하여 각 응답은 10회씩 평가되었다. 연구에서는 응답 길이, 평균 가능성 점수, 그리고 Mann–Whitney U 검정과 Cliff's delta 효과 크기를 이용한 순위 기반 분리도를 분석하였다.

주요 결과
연구 결과, LLM의 자기 탐지 성능은 과제에 따라 크게 달라지는 것으로 나타났다:

• 프로그래밍 과제: 탐지가 견고하게 이루어졌다. LLM 생성 코드는 실제 학생 코드보다 유의미하게 높은 "LLM-가능성" 점수를 받았다 (예: LLM의 경우 평균 가능성 약 80–91% vs. 학생의 경우 약 59–73%). 초보적인 버그나 서툰 스타일을 도입해도 탐지 능력이 유의미하게 감소하지 않았으며, 어떤 경우에는 AI와 인간 출력물 사이의 격차를 오히려 넓히기도 했다.
• 성찰적 글쓰기: 베이스라인 및 페르소나 프롬프트에 대해서는 탐지가 전반적으로 효과적이었으며, LLM 출력물이 학생의 작업물보다 높은 가능성 점수를 받았다. 그러나 오타와 비격식적 언어를 도입하면 분리도가 유의미하게 감소하여, LLM 출력이 실제 학생의 응답과 더 밀접하게 겹치게 되었다.
• 단답형 질문: 이 과제 유형은 탐지의 실패 사례로 나타났다. 다른 과제들과 대조적으로, 실제 학생의 응답이 LLM 생성 응답보다 더 높은 가능성 점수를 받았다. 탐지기는 짧은 AI 생성 답변을 실제 학생 제출물보다 더 인간적인 것으로 자주 판단하였다.
• 프롬프트 민감도: 프롬프트 프레임 구성은 결과에 큰 영향을 미쳤다. 프로그래밍 탐지는 프롬프트 변형에도 비교적 안정적이었던 반면, 텍스트 탐지는 매우 민감했다. 특히, 성찰 과제에서의 "오타" 프롬프트는 탐지 정확도를 급격히 낮추었다.
• 응답 길이: LLM 생성 응답은 모든 범주에서 실제 학생 제출물보다 일관되게 길었다. 저자들은 길이가 특히 텍스트 기반 과제에서 탐지 가능한 신호로 작용할 수 있다고 언급했으나, 이것이 단답형 질문에서 관찰된 역전 현상을 설명하지는 못한다.

주요 기여

1. 과제별 효능: 본 논문은 LLM의 자기 탐지가 균일한 능력이 아니라는 실증적 증거를 제공한다. 이는 프로그래밍이나 긴 자유 형식의 글쓰기와 같은 구조화된 영역에서는 매우 신뢰할 수 있지만, 짧고 제약된 자연어 과제에서는 성능이 저하된다.
2. 프롬프트 및 노이즈의 영향: 특정 생성 전략(예: 오타나 버그 추가)이 탐지 가능성에 어떤 영향을 미치는지 정량화하였으며, 코드의 구조적 특징은 회복력이 있는 반면, 텍스트의 문체적 수정은 AI의 기원을 쉽게 은폐할 수 있음을 보여주었다.
3. 실패 모드 식별: 본 연구는 LLM 탐지기가 AI 콘텐츠를 인간의 것으로, 인간의 콘텐츠를 AI의 것으로 체계적으로 오분류하는 특정 시나리오(단답형 질문)를 강조함으로써, 현재의 자기 탐지 접근 방식에 대한 도전 과제를 제시하였다.

의의 및 주장
저자들은 LLM 기반 탐지가 특정 교육적 맥락(특히 프로그래밍 및 성찰적 에세이)에서 잠재력을 가지고 있으나, 학업 부정행위 판정을 위한 단독 도구로서 신뢰할 수는 없다고 결론지었다. 연구 결과는 탐지 능력이 평가 형식에 따라 균일하게 전이되지 않음을 시사한다. 본 논문은 기술이 인간의 작업에 대해 체계적인 위양성(false positive)을, AI 작업에 대해 위음성(false negative)을 생성할 수 있는 짧고 정형화된 응답 중심의 환경에서 LLM 탐지에 의존하는 것이 특히 위험하다고 경고하며 주의를 촉구한다. 연구는 탐지 효과가 모델의 고유하고 보편적인 속성이 아니라, 과제 유형, 프롬프트 설계, 응답 특성에 따라 결정된다는 점을 강조한다.