Seeing the Poem: Image-Semantic Detection of AI-Generated Modern Chinese Poetry with MLLMs

기술 요약: MLLM 을 활용한 AI 생성 현대 중국 시의 이미지-의미 기반 탐지

문제 제기
대규모 언어 모델 (LLM) 의 급속한 발전은 인간이 쓴 텍스트와 AI 가 생성한 텍스트 간의 구분을 모호하게 만들었으며, 이는 현대 중국 시 분야에서 중요한 도전 과제를 제기합니다. 이전 탐지 연구들은 LLM 이 일반 텍스트의 탐지기로서는 종종 효과가 없음을 입증했으며, 전통적인 텍스트 기반 탐지기 (예: RoBERTa, Fast-DetectGPT) 는 현대 중국 시에 어려움을 겪는다는 사실이 밝혀졌습니다. 그러나 어떤 선행 연구도 이러한 양식 (모달리티) 을 구체적으로 다루지 않았습니다. 시각적 이미지를 사용하여 주관적인 감정을 전달하는 '경물서정 (경치를 통해 감정을 표현함)'에 크게 의존하는 시의 고유한 특성으로 인해, 텍스트만 분석하는 방식은 중요한 의미적 단서를 놓칠 수 있음을 시사합니다. 기존 벤치마크에 따르면, 전통적인 탐지기는 LLM 이 생성한 현대 중국 시에 대해 낮은 정확도 (종종 70% 미만) 를 보이며, 인간 창의성과 AI 모방을 구별하는 미묘한 뉘앙스를 포착하지 못합니다.

방법론: IMAGINE 프레임워크
이러한 한계를 극복하기 위해 저자들은 IMAGINE(IMAge-semaNtic GuIded poEtry detection)을 제안합니다. 이는 멀티모달 대규모 언어 모델 (MLLM) 을 활용하여 이미지-의미 기반 안내를 탐지 과정에 통합하는 새로운 프레임워크입니다. 이 방법론은 시가 종종 시각적 장면에서 영감을 받는다는 시적 원리에 기반을 두고 있으며, 따라서 해당 이미지의 존재는 텍스트 단독보다 더 깊은 의미적 맥락을 제공할 수 있습니다.

이 프레임워크는 두 가지 부분으로 구성된 예시 기반 접근 방식으로 작동합니다:

1. 예시 기반 학습: 모델은 먼저 한 편의 인간이 쓴 시와 한 편의 AI 가 생성한 시로 이루어진 쌍을 제공합니다. 핵심적으로, 이러한 시들은 동일한 제목, 주제, 의미, 이미지, 감정 톤을 공유하며, AI 시는 인간 시의 모든 명사를 유지하지만 작풍은 다릅니다. 또한 이러한 시의 내용을 반영하는 대응 이미지도 제공됩니다. 모델은 이미지와 시들 간의 관계, 그리고 구체적인 출처 (인간 대 AI) 에 대해 안내받습니다.
2. 안내 분류: 모델은 그 다음, 해당 시의 내용을 기반으로 생성된 대응 이미지와 함께 새로운 미지의 시를 제시받습니다. 예시에서 확립된 맥락을 사용하여 모델은 텍스트와 이미지 간의 상호작용을 분석하여 시의 출처를 판단합니다.

프롬프트 설계 (특히 IP3) 는 MLLM 에게 전문 시 전문가로 행동하도록 지시하며, 이미지가 시의 제목, 주제, 이미지, 감정을 반영하도록 생성되었으며 인간 시의 명사 요소를 구현하고 있음을 명시합니다. 모델은 이미지를 의미적 안내로 활용하여 특정 '시 텍스트'를 판단하도록 임무가 부여됩니다.

데이터셋 구축
본 연구는 다음과 같이 구성된 맞춤형 데이터셋을 활용합니다:

• 800 편의 인간이 쓴 시: AIGenPoetry 데이터셋에서 출처를 얻었으며, 전문 시인들에 의해 작성되었습니다.
• 3,200 편의 LLM 생성 시: GPT-4.1, GLM-4, DeepSeek-V3, DeepSeek-R1 의 네 가지 서로 다른 모델이 인간 시의 핵심 요소 (제목, 주제, 이미지, 감정) 를 모방하도록 강제하는 프롬프트를 사용하여 생성되었으며, 작풍은 변경되었습니다.
• 800 편의 대응 이미지: 인간 시의 내용을 시각적으로 표현하기 위해 Qwen-Image 를 사용하여 생성되었습니다 (시인 평가를 통해 여섯 가지 모델 중 최상위 성능을 보인 모델로 선정됨).

주요 기여

1. 데이터셋 생성: AI 가 생성한 현대 중국 시 탐지를 위한 의미 기반 데이터셋을 구축했습니다. 이는 LLM 이 인간 시의 포괄적인 특징 (주제, 의미, 이미지, 감정) 을 유지하도록 요구하여 엄격한 평가 환경을 보장합니다.
2. IMAGINE 프레임워크: 텍스트 전용 베이스라인을 능가하는 새로운 이미지-의미 기반 탐지 방법을 제안합니다. 이 접근법은 이미지에서 의미, 이미지, 감정을 포함한 정보를 효과적으로 통합하여 텍스트와 보완적인 판단을 형성합니다.
3. 성능 벤치마킹: LLM 을 시 탐지기로 활용한 초기 성능 베이스라인을 확립하고, 예시 기반의 멀티모달 접근 방식이 이러한 능력을 크게 향상시킬 수 있음을 입증했습니다.

실험 결과
저자들은 다양한 탐지기를 평가했는데, 여기에는 전통적인 분류기 (RoBERTa, Binoculars 등) 와 다양한 프롬프트 전략 (일반, 텍스트 전용 강화, 이미지-의미 기반 안내) 하의 LLM 기반 탐지기 (Gemini, Qwen, GPT-5) 가 포함됩니다.

• 베이스라인 한계: RoBERTa 를 포함한 최상위 성능의 전통적인 텍스트 전용 탐지기는 이 작업에 어려움을 겪었습니다. RoBERTa 는 생성기에 따라 약 73~84% 의 Macro-F1 을 달성한 반면, 다른 탐지기는 종종 50% 미만으로 떨어졌습니다.
• 텍스트 전용 LLM: 일반 텍스트 LLM 탐지기는 혼합된 결과를 보였으며, 텍스트 전용 모델 중에서는 Gemini 가 가장 좋게 수행되었으나 여전히 제안된 방법보다는 뒤처졌습니다.
• IMAGINE 성능: 이미지-의미 기반 안내 방법 (IP3) 은 탐지 정확도를 크게 향상시켰습니다.
  • IMAGINE 프레임워크를 사용한 Gemini 탐지기는 모든 테스트 사례 (인간 및 AI 생성 시) 에서 **Macro-F1 점수 85.65%**를 달성했습니다.
  • 이 결과는 최상위 성능의 전통적인 탐지기 (RoBERTa) 를 능가하며, 텍스트 전용 베이스라인 (TP1, 70.28%) 과 텍스트 전용 강화 베이스라인 (TP2, 79.50%) 보다 상당한 개선을 나타냅니다.
  • 이 방법은 특히 다양한 LLM 탐지기 간의 성능 격차를 좁히는 데 효과적이었으며, DeepSeek-R1 로 생성된 시의 탐지를 개선하여 Macro-F1 을 베이스라인 54.90% 에서 94.75% 로 크게 끌어올렸습니다.

의의 및 주장
본 논문은 이미지 의미의 통합이 AI 가 생성한 시를 탐지하는 데 결정적인 요소라고 주장합니다. 시의 내용에 대한 시각적 표현을 활용함으로써 모델은 텍스트 전용 분석에서 종종 손실되는 암시적 의미와 감정적 깊이를 더 잘 파악할 수 있습니다. 저자들은 이 방법이 해당 특정 작업에 있어 최첨단 (state-of-the-art) 수준에 도달했다고 주장하며, 멀티모달 정보가 시 영역에서 인간과 AI 의 창의성을 구별하는 데 필수적임을 입증했습니다.

또한 이 연구는 모든 LLM 이 탐지 작업에 동등하게 적합하지는 않음을 강조합니다. 성능은 모델 아키텍처와 학습 데이터에 따라 크게 달라집니다. 그러나 IMAGINE 프레임워크를 사용할 때 다양한 LLM 에서 관찰된 일관된 개선은 이미지-의미 접근법의 견고성을 검증합니다.

한계
저자들은 이 방법이 시각적 장면을 기반으로 시를 쓰는 인간의 관행에서 영감을 받았음을 인정합니다. 따라서 이 접근법은 시각적 이미지와 '경물서정'에 대한 동일한 강력한 의존성이 결여된 뉴스 기사나 학술 논문과 같은 다른 텍스트 장르에는 완전히 적용되지 않을 수 있음을 지적합니다.