Seeing the Poem: Image-Semantic Detection of AI-Generated Modern Chinese Poetry with MLLMs

Technische Samenvatting: Beeld-semantische Detectie van door AI gegenereerde Moderne Chinese Poëzie met MLLM's

Probleemstelling
De snelle vooruitgang van Large Language Models (LLM's) heeft het onderscheid tussen door mensen geschreven en door AI gegenereerde tekst vervaagd, wat een aanzienlijke uitdaging vormt op het gebied van moderne Chinese poëzie. Hoewel eerdere detectiestudies hebben aangetoond dat LLM's vaak inefficiënt zijn als detectoren voor algemene tekst, en traditionele tekstgebaseerde detectoren (zoals RoBERTa, Fast-DetectGPT) moeite hebben met moderne Chinese poëzie, heeft geen enkel eerder onderzoek zich specifiek op deze modaliteit gericht. Het unieke karakter van poëzie, dat sterk vertrouwt op "emoties uitdrukken door middel van landschap" (het gebruik van visuele beelden om subjectieve gevoelens over te brengen), suggereert dat uitsluitend tekstuele analyse cruciale semantische aanwijzingen kan missen. Bestaande benchmarks geven aan dat traditionele detectoren een lage nauwkeurigheid bereiken (vaak onder de 70%) op door LLM's gegenereerde moderne Chinese gedichten, en falen in het vastleggen van de subtiele nuances die menselijke creativiteit onderscheiden van AI-imitatie.

Methodologie: Het IMAGINE-kader
Om deze beperkingen aan te pakken, stellen de auteurs IMAGINE (IMAge-semaNtic GuIded poEtry detection) voor, een nieuw kader dat Multi-modal Large Language Models (MLLM's) benut om beeld-semantische begeleiding te integreren in het detectieproces. De methodologie is gebaseerd op het poëtische principe dat gedichten vaak worden geïnspireerd door visuele scènes; de aanwezigheid van een bijbehorend beeld kan derhalve diepere semantische context bieden dan tekst alleen.

Het kader werkt via een tweeledige, voorbeeldgedreven aanpak:

1. Voorbeeldgedreven Leren: Het model krijgt eerst een paar voorbeelden: één door een mens geschreven gedicht en één door AI gegenereerd gedicht. Cruciaal is dat deze gedichten dezelfde titel, thema, betekenis, beeldspraak en emotionele toon delen, en dat het AI-gedicht alle zelfstandige naamwoorden uit het menselijke gedicht behoudt maar verschilt in schrijfstijl. Een bijbehorend beeld dat de inhoud van deze gedichten weerspiegelt, wordt eveneens aangeboden. Het model wordt ingelicht over de relaties tussen het beeld en de gedichten, evenals de specifieke bronnen (mens versus AI).
2. Geleide Classificatie: Het model krijgt vervolgens een nieuw, onbekend gedicht te zien en een bijbehorend beeld dat is gegenereerd op basis van de inhoud van dat gedicht. Met behulp van de context die in de voorbeelden is vastgesteld, analyseert het model de wisselwerking tussen tekst en beeld om de bron van het gedicht te bepalen.

Het promptontwerp (specifiek IP3) instrueert de MLLM om op te treden als een professionele poëzie-expert, met de expliciete opmerking dat het beeld is gegenereerd om de titel, het thema, de beeldspraak en de emotie van het gedicht weer te geven, en dat het de zelfstandige naamwoordelementen van het menselijke gedicht belichaamt. Het model krijgt de taak om specifiek de "Gedichttekst" te beoordelen, waarbij het beeld als semantische leidraad dient.

Datasetconstructie
De studie maakt gebruik van een aangepaste dataset die bestaat uit:

• 800 door mensen geschreven gedichten: Afkomstig uit de AIGenPoetry-dataset, geschreven door professionele dichters.
• 3.200 door LLM's gegenereerde gedichten: Gemaakt door vier verschillende modellen (GPT-4.1, GLM-4, DeepSeek-V3 en DeepSeek-R1) met behulp van een prompt die de AI dwingt de kernelementen van het menselijke gedicht (titel, thema, beeldspraak, emotie) te imiteren terwijl de stijl wordt gewijzigd.
• 800 Bijbehorende Beelden: Gegenereerd met Qwen-Image (geselecteerd als de beste performer onder zes modellen via een evaluatie door dichters) om de inhoud van de menselijke gedichten visueel weer te geven.

Belangrijkste Bijdragen

1. Datasetcreatie: De constructie van een semantisch onderbouwde dataset voor het detecteren van door AI gegenereerde moderne Chinese poëzie, waarbij LLM's worden verplicht om uitgebreide kenmerken van menselijke poëzie (thema, betekenis, beeldspraak, emotie) te behouden om een rigoureuze evaluatieomgeving te waarborgen.
2. IMAGINE-kader: Het voorstellen van een nieuwe beeld-semantisch geleide detectiemethode die tekst-only baselines overtreft. Deze benadering integreert effectief informatie zoals betekenis, beeldspraak en gevoel uit het beeld om een aanvullende beoordeling te vormen met de tekst.
3. Prestatiebenchmarking: Het vaststellen van initiële prestatiebaselines voor LLM's als poëziedetectoren en het aantonen dat voorbeeldgedreven, multimodale benaderingen deze capaciteiten aanzienlijk kunnen verbeteren.

Experimentele Resultaten
De auteurs evalueerden verschillende detectoren, waaronder traditionele classifiers (RoBERTa, Binoculars, enz.) en op LLM's gebaseerde detectoren (Gemini, Qwen, GPT-5) onder verschillende promptstrategieën (vanilla, alleen tekst-geoptimaliseerd, en beeld-semantisch geleid).

• Beperkingen van de Baseline: Traditionele tekst-only detectoren, waaronder de best presterende RoBERTa, hadden moeite met de taak. RoBERTa behaalde een Macro-F1 van ongeveer 73–84%, afhankelijk van de generator, terwijl andere detectoren vaak onder de 50% vielen.
• Tekst-only LLM's: Eenvoudige tekst-only LLM-detectoren vertoonden wisselende resultaten, waarbij Gemini het beste presteerde onder tekst-only modellen, maar nog steeds achterbleef bij de voorgestelde methode.
• IMAGINE-prestaties: De beeld-semantisch geleide methode (IP3) verbeterde de detectienauwkeurigheid aanzienlijk.
  • De Gemini-detecteur die het IMAGINE-kader gebruikte, behaalde een Macro-F1-score van 85,65% over alle testgevallen (door mensen en door AI gegenereerde gedichten).
  • Dit resultaat overtreft de best presterende traditionele detector (RoBERTa) en vertegenwoordigt een aanzienlijke verbetering ten opzichte van de tekst-only baseline (TP1, 70,28%) en de tekst-only geoptimaliseerde baseline (TP2, 79,50%).
  • De methode was bijzonder effectief in het verkleinen van het prestatiekloof tussen verschillende LLM-detectoren en het verbeteren van de detectie voor gedichten gegenereerd door DeepSeek-R1, waarbij de Macro-F1 sprong van 54,90% (baseline) naar 94,75%.

Betekenis en Claims
Het artikel claimt dat de integratie van beeldsemantiek een kritieke factor is bij het detecteren van door AI gegenereerde poëzie. Door gebruik te maken van de visuele representatie van de inhoud van het gedicht, kan het model beter impliciete betekenissen en emotionele diepgang begrijpen die vaak verloren gaan bij tekst-only analyse. De auteurs stellen dat hun methode het state-of-the-art niveau bereikt voor deze specifieke taak, en bewijzen dat multimodale informatie essentieel is voor het onderscheiden tussen menselijke en AI-creativiteit in het poëtische domein.

De studie benadrukt ook dat niet alle LLM's even geschikt zijn voor detectietaken; de prestaties variëren aanzienlijk per modelarchitectuur en trainingsdata. De consistente verbeteringen die worden waargenomen bij verschillende LLM's bij gebruik van het IMAGINE-kader, valideren echter de robuustheid van de beeld-semantische aanpak.

Beperkingen
De auteurs erkennen dat hun methode specifiek is geïnspireerd door de menselijke praktijk van het schrijven van poëzie op basis van visuele scènes. Bijgevolg merken zij op dat de aanpak mogelijk niet volledig toepasbaar is op andere tekstgenres, zoals nieuwsartikelen of academische papers, die niet dezelfde sterke afhankelijkheid hebben van visuele beeldspraak en "emoties uitdrukken door middel van landschap".