Seeing the Poem: Image-Semantic Detection of AI-Generated Modern Chinese Poetry with MLLMs

Technisches Fazit: Bildsemantische Erkennung KI-generierter moderner chinesischer Poesie mit MLLMs

Problemstellung
Die rasante Entwicklung von Large Language Models (LLMs) hat die Unterscheidung zwischen menschlich verfassten und KI-generierten Texten verwischt und stellt eine erhebliche Herausforderung im Bereich der modernen chinesischen Poesie dar. Während frühere Detektionsstudien gezeigt haben, dass LLMs als Detektoren für allgemeine Texte oft unwirksam sind und traditionelle textbasierte Detektoren (z. B. RoBERTa, Fast-DetectGPT) bei moderner chinesischer Poesie Schwierigkeiten haben, hat keine vorherige Forschung diese Modalität spezifisch adressiert. Die einzigartige Natur der Poesie, die stark auf „Gefühle durch Landschaft ausdrücken" (die Verwendung visueller Bilder zur Vermittlung subjektiver Gefühle) angewiesen ist, legt nahe, dass eine rein textbasierte Analyse kritische semantische Hinweise verpassen könnte. Bestehende Benchmarks zeigen, dass traditionelle Detektoren bei KI-generierten modernen chinesischen Gedichten eine niedrige Genauigkeit erreichen (oft unter 70 %) und die subtilen Nuancen, die menschliche Kreativität von KI-Imitation unterscheiden, nicht erfassen können.

Methodik: Das IMAGINE-Framework
Um diese Einschränkungen zu überwinden, schlagen die Autoren IMAGINE (IMAge-semaNtic GuIded poEtry detection) vor, ein neuartiges Framework, das Multi-modal Large Language Models (MLLMs) nutzt, um bildsemantische Führung in den Detektionsprozess zu integrieren. Die Methodik basiert auf dem poetischen Prinzip, dass Gedichte oft von visuellen Szenen inspiriert sind; das Vorhandensein eines entsprechenden Bildes kann somit einen tieferen semantischen Kontext bieten als Text allein.

Das Framework arbeitet über einen zweiteiligen, beispielgesteuerten Ansatz:

1. Beispielgesteuertes Lernen: Dem Modell wird zunächst ein Paar von Beispielen vorgelegt: ein menschlich verfasstes Gedicht und ein KI-generiertes Gedicht. Entscheidend ist, dass diese Gedichte denselben Titel, dasselbe Thema, dieselbe Bedeutung, dieselben Bilder und dieselbe emotionale Tonlage teilen, wobei das KI-Gedicht alle Substantive des menschlichen Gedichts beibehält, sich jedoch im Schreibstil unterscheidet. Ein entsprechendes Bild, das den Inhalt dieser Gedichte widerspiegelt, wird ebenfalls bereitgestellt. Das Modell wird über die Beziehungen zwischen dem Bild und den Gedichten sowie über die spezifischen Quellen (menschlich vs. KI) informiert.
2. Gesteuerte Klassifizierung: Dem Modell wird dann ein neues, unbekanntes Gedicht und ein entsprechendes Bild vorgelegt, das auf Grundlage des Inhalts dieses Gedichts generiert wurde. Unter Verwendung des im Beispielkontext etablierten Rahmens analysiert das Modell das Zusammenspiel zwischen Text und Bild, um die Quelle des Gedichts zu bestimmen.

Das Prompt-Design (insbesondere IP3) weist das MLLM an, als professioneller Poesie-Experte zu agieren, wobei explizit darauf hingewiesen wird, dass das Bild generiert wurde, um den Titel, das Thema, die Bilder und die Emotion des Gedichts widerzuspiegeln, und dass es die Substantiv-Elemente des menschlichen Gedichts verkörpert. Dem Modell wird die Aufgabe übertragen, spezifisch den „Gedichttext" unter Verwendung des Bildes als semantische Führung zu beurteilen.

Datensatz-Konstruktion
Die Studie nutzt einen benutzerdefinierten Datensatz, der Folgendes umfasst:

• 800 menschlich verfasste Gedichte: Aus dem AIGenPoetry-Datensatz stammend, verfasst von professionellen Dichtern.
• 3.200 KI-generierte Gedichte: Erzeugt von vier verschiedenen Modellen (GPT-4.1, GLM-4, DeepSeek-V3 und DeepSeek-R1) unter Verwendung eines Prompts, der die KI zwingt, die Kernelemente des menschlichen Gedichts (Titel, Thema, Bilder, Emotion) nachzuahmen, während der Stil verändert wird.
• 800 entsprechende Bilder: Generiert mit Qwen-Image (ausgewählt als bestes Modell unter sechs Modellen durch Dichter-Bewertung), um den Inhalt der menschlichen Gedichte visuell darzustellen.

Hauptbeiträge

1. Datensatz-Erstellung: Die Konstruktion eines semantisch fundierten Datensatzes zur Erkennung KI-generierter moderner chinesischer Poesie, der von LLMs verlangt, umfassende Merkmale menschlicher Poesie (Thema, Bedeutung, Bilder, Emotion) beizubehalten, um eine strenge Evaluierungsumgebung sicherzustellen.
2. IMAGINE-Framework: Die Vorstellung einer neuartigen bildsemantisch geführten Detektionsmethode, die textbasierte Baselines übertrifft. Dieser Ansatz integriert effektiv Informationen wie Bedeutung, Bilder und Gefühl aus dem Bild, um eine ergänzende Beurteilung zum Text zu bilden.
3. Leistungs-Benchmarking: Die Etablierung initialer Leistungsbaselines für LLMs als Poesie-Detektoren und der Nachweis, dass beispielgesteuerte, multimodale Ansätze diese Fähigkeiten erheblich verbessern können.

Experimentelle Ergebnisse
Die Autoren evaluierten verschiedene Detektoren, darunter traditionelle Klassifikatoren (RoBERTa, Binoculars usw.) und LLM-basierte Detektoren (Gemini, Qwen, GPT-5) unter verschiedenen Prompt-Strategien (vanilla, nur-text-verbessert und bildsemantisch geführte).

• Baseline-Einschränkungen: Traditionelle rein textbasierte Detektoren, einschließlich des bestperformenden RoBERTa, hatten Schwierigkeiten mit der Aufgabe. RoBERTa erzielte je nach Generator ein Macro-F1 von etwa 73–84 %, während andere Detektoren oft unter 50 % fielen.
• Nur-Text-LLMs: Reine Text-LLM-Detektoren zeigten gemischte Ergebnisse; Gemini schnitt unter den rein textbasierten Modellen am besten ab, blieb jedoch hinter der vorgeschlagenen Methode zurück.
• IMAGINE-Leistung: Die bildsemantisch geführte Methode (IP3) verbesserte die Detektionsgenauigkeit erheblich.
  • Der Gemini-Detektor unter Verwendung des IMAGINE-Frameworks erreichte über alle Testfälle hinweg (menschliche und KI-generierte Gedichte) einen Macro-F1-Score von 85,65 %.
  • Dieses Ergebnis übertrifft den bestperformenden traditionellen Detektor (RoBERTa) und stellt eine erhebliche Verbesserung gegenüber der rein textbasierten Baseline (TP1, 70,28 %) und der rein textbasierten verbesserten Baseline (TP2, 79,50 %) dar.
  • Die Methode war besonders effektiv darin, die Leistungslücke zwischen verschiedenen LLM-Detektoren zu verringern und die Detektion für von DeepSeek-R1 generierte Gedichte zu verbessern, wobei der Macro-F1 von 54,90 % (Baseline) auf 94,75 % sprang.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Integration von Bildsemantik ein entscheidender Faktor bei der Erkennung KI-generierter Poesie ist. Durch die Nutzung der visuellen Darstellung des Gedichtinhalts kann das Modell implizite Bedeutungen und emotionale Tiefe besser erfassen, die in der rein textbasierten Analyse oft verloren gehen. Die Autoren behaupten, dass ihre Methode das State-of-the-Art-Niveau für diese spezifische Aufgabe erreicht und beweist, dass multimodale Informationen für die Unterscheidung zwischen menschlicher und KI-Kreativität im poetischen Bereich unerlässlich sind.

Die Studie hebt zudem hervor, dass nicht alle LLMs gleichermaßen für Detektionsaufgaben geeignet sind; die Leistung variiert erheblich je nach Modellarchitektur und Trainingsdaten. Die jedoch konsistenten Verbesserungen, die bei verschiedenen LLMs unter Verwendung des IMAGINE-Frameworks beobachtet wurden, validieren die Robustheit des bildsemantischen Ansatzes.

Einschränkungen
Die Autoren räumen ein, dass ihre Methode spezifisch durch die menschliche Praxis inspiriert ist, Poesie auf Basis visueller Szenen zu schreiben. Folglich stellen sie fest, dass der Ansatz möglicherweise nicht vollständig auf andere Textgattungen anwendbar ist, wie etwa Nachrichtenartikel oder wissenschaftliche Arbeiten, die nicht dieselbe starke Abhängigkeit von visuellen Bildern und dem „Ausdrücken von Gefühlen durch Landschaft" aufweisen.