Seeing the Poem: Image-Semantic Detection of AI-Generated Modern Chinese Poetry with MLLMs

技術的概要：MLLM による AI 生成現代中国詩の画像意味論的検出

問題定義
大規模言語モデル（LLM）の急速な発展は、人間が執筆したテキストと AI によって生成されたテキストの区別を曖昧にし、現代中国詩の分野において重大な課題を提起している。以前の検出研究では、LLM が一般テキストの検出器としてしばしば効果的ではないことが確立されており、従来のテキストベースの検出器（RoBERTa、Fast-DetectGPT など）は現代中国詩に対して苦戦しているが、このモダリティに特化した先行研究は存在しなかった。詩は「情景を以て情を述べる」（視覚的イメージを用いて主観的感情を伝える）ことに大きく依存するという独特の性質を有しており、テキストのみの分析では重要な意味論的手がかりを見逃す可能性を示唆している。既存のベンチマークは、従来の検出器が LLM によって生成された現代中国詩において低い精度（しばしば 70% 未満）を達成し、人間の創造性と AI の模倣を区別する微妙なニュアンスを捉え損ねていることを示している。

手法：IMAGINE フレームワーク
これらの限界に対処するため、著者らは、マルチモーダル大規模言語モデル（MLLM）を活用して画像意味論的ガイダンスを検出プロセスに統合する新しいフレームワーク、IMAGINE（IMAge-semaNtic GuIded poEtry detection）を提案する。この手法は、詩がしばしば視覚的風景に触発されて創作されるという詩的原則に基づいており、したがって、対応する画像の存在は、テキスト単独よりも深い意味論的文脈を提供し得る。

このフレームワークは、2 部構成の例示駆動アプローチを通じて機能する：

1. 例示駆動学習：モデルはまず、1 つの人間執筆詩と 1 つの AI 生成詩のペアを提供される。重要なのは、これらの詩が同じタイトル、テーマ、意味、イメージ、感情的トーンを共有しており、AI 詩は人間詩のすべての名詞を保持しつつ、執筆スタイルのみが異なる点である。また、これらの詩の内容を反映する対応する画像も提供される。モデルは、画像と詩との関係、および具体的な出所（人間対 AI）について情報を得る。
2. ガイダンス付き分類：その後、モデルには新しい未知の詩と、その詩の内容に基づいて生成された対応する画像が提示される。例示で確立された文脈を用いて、モデルはテキストと画像の相互作用を分析し、詩の出所を判定する。

プロンプト設計（特にIP3）は、MLLM に専門の詩の専門家として振る舞うよう指示し、画像が詩のタイトル、テーマ、イメージ、感情を反映するように生成され、かつ人間詩の名詞要素を体現していることを明示的に注記する。モデルは、画像を意味論的ガイダンスとして用いて、特に「詩テキスト」を判定するようタスク付けられる。

データセット構築
本研究は、以下のカスタムデータセットを利用する：

• 800 編の人間執筆詩：AIGenPoetry データセットから採取され、プロの詩人によって執筆されたもの。
• 3,200 編の LLM 生成詩：4 つの異なるモデル（GPT-4.1、GLM-4、DeepSeek-V3、DeepSeek-R1）によって作成されたもの。これらは、AI が人間詩の核心要素（タイトル、テーマ、イメージ、感情）を模倣しつつスタイルを変更するよう強制するプロンプトを使用して生成された。
• 800 枚の対応画像：人間詩の内容を視覚的に表現するために Qwen-Image（詩人による評価を通じて 6 つのモデルの中から最良のパフォーマンスを示したものとして選定）を使用して生成されたもの。

主要な貢献

1. データセットの作成：AI 生成の現代中国詩を検出するための意味論的基盤を持つデータセットの構築。これにより、LLM が厳密な評価設定を確保するために、人間詩の包括的な特徴（テーマ、意味、イメージ、感情）を保持することが要求される。
2. IMAGINE フレームワーク：テキストのみのベースラインを上回る、新しい画像意味論的ガイダンス付き検出手法の提案。このアプローチは、画像から意味、イメージ、感情などの情報を効果的に統合し、テキストとの補完的判定を形成する。
3. 性能ベンチマーク：詩の検出器としての LLM の初期性能ベンチマークの確立と、例示駆動型マルチモーダルアプローチがこれらの能力を大幅に向上させ得ることを示すこと。

実験結果
著者らは、従来の分類器（RoBERTa、Binoculars など）と LLM ベースの検出器（Gemini、Qwen、GPT-5）を、さまざまなプロンプト戦略（バニラ、テキストのみの強化、画像意味論的ガイダンス付き）の下で評価した。

• ベースラインの限界：最良のパフォーマンスを示した RoBERTa を含む従来のテキストのみの検出器は、このタスクに苦戦した。RoBERTa は生成モデルに応じて Macro-F1 値で約 73〜84% を達成したが、他の検出器はしばしば 50% 未満に留まった。
• テキストのみの LLM：プレーンテキストの LLM 検出器は結果が分かれ、テキストのみのモデルの中では Gemini が最良であったが、それでも提案手法には及ばなかった。
• IMAGINE の性能：画像意味論的ガイダンス付き手法（IP3）は、検出精度を大幅に向上させた。
  • IMAGINE フレームワークを使用したGemini 検出器は、すべてのテストケース（人間および AI 生成詩）において**Macro-F1 スコア 85.65%**を達成した。
  • この結果は、最良のパフォーマンスを示した従来の検出器（RoBERTa）を上回り、テキストのみのベースライン（TP1、70.28%）およびテキストのみの強化ベースライン（TP2、79.50%）に対して大幅な改善を表している。
  • この手法は、異なる LLM 検出器間の性能格差を縮小し、特に DeepSeek-R1 によって生成された詩の検出において効果的であった。そこでは、Macro-F1 がベースラインの 54.90% から 94.75% へと跳ね上がった。

意義と主張
本論文は、画像意味論の統合が AI 生成詩の検出において決定的な要因であると主張している。詩の内容の視覚的表現を活用することで、モデルはテキストのみの分析ではしばしば失われる暗黙の意味や感情的深みをよりよく把握できる。著者らは、この手法がこの特定のタスクにおいて最先端（state-of-the-art）のレベルに達しており、詩的領域における人間と AI の創造性を区別するためにマルチモーダル情報が不可欠であることを証明していると述べている。

本研究はまた、すべての LLM が検出タスクに等しく適しているわけではないこと、つまり性能はモデルのアーキテクチャとトレーニングデータによって大きく変動することを浮き彫りにしている。しかし、IMAGINE フレームワークを使用した場合に異なる LLM 間で一貫して観察される改善は、画像意味論的アプローチの堅牢性を裏付けている。

限界
著者らは、自らの手法が視覚的風景に基づいて詩を書くという人間の慣習に触発されたものであることを認めている。したがって、彼らはこのアプローチが、視覚的イメージと「情景を以て情を述べる」ことへの同様の強い依存関係を持たないニュース記事や学術論文などの他のテキストジャンルには完全に適用可能ではないと指摘している。