Seeing the Poem: Image-Semantic Detection of AI-Generated Modern Chinese Poetry with MLLMs

Riepilogo Tecnico: Rilevamento Semantico-Visivo di Poesia Cinese Moderna Generata da AI con MLLM

Enunciato del Problema
Il rapido avanzamento dei Modelli Linguistici di Grande Dimensione (LLM) ha offuscato la distinzione tra testo scritto da umani e testo generato dall'AI, ponendo una sfida significativa nel dominio della poesia cinese moderna. Mentre studi precedenti di rilevamento hanno stabilito che gli LLM sono spesso inefficaci come rilevatori per il testo generale, e i rilevatori tradizionali basati sul testo (ad esempio, RoBERTa, Fast-DetectGPT) faticano con la poesia cinese moderna, nessuna ricerca precedente ha affrontato specificamente questa modalità. La natura unica della poesia, che si basa pesantemente sull'"esprimere emozioni attraverso il paesaggio" (utilizzare immagini visive per trasmettere sentimenti soggettivi), suggerisce che l'analisi basata solo sul testo possa perdere segnali semantici critici. I benchmark esistenti indicano che i rilevatori tradizionali raggiungono una bassa accuratezza (spesso inferiore al 70%) su poesie cinesi moderne generate da LLM, fallendo nel catturare le sottili sfumature che distinguono la creatività umana dall'imitazione dell'AI.

Metodologia: Il Framework IMAGINE
Per affrontare queste limitazioni, gli autori propongono IMAGINE (IMAge-semaNtic GuIded poEtry detection), un nuovo framework che sfrutta i Modelli Linguistici di Grande Dimensione Multimodali (MLLM) per integrare la guida semantica delle immagini nel processo di rilevamento. La metodologia si fonda sul principio poetico secondo cui le poesie sono spesso ispirate da scene visive; pertanto, la presenza di un'immagine corrispondente può fornire un contesto semantico più profondo rispetto al solo testo.

Il framework opera attraverso un approccio in due parti, guidato da esempi:

1. Apprendimento Guidato da Esempi: Il modello riceve inizialmente una coppia di esempi: una poesia scritta da un umano e una poesia generata dall'AI. Crucialmente, queste poesie condividono lo stesso titolo, tema, significato, immagini e tono emotivo, e la poesia AI mantiene tutti i sostantivi della poesia umana ma differisce nello stile di scrittura. Viene fornita anche un'immagine corrispondente che riflette il contenuto di queste poesie. Il modello viene informato delle relazioni tra l'immagine e le poesie, nonché delle fonti specifiche (umana vs AI).
2. Classificazione Guidata: Al modello viene quindi presentata una nuova poesia sconosciuta e un'immagine corrispondente generata in base al contenuto di tale poesia. Utilizzando il contesto stabilito negli esempi, il modello analizza l'interazione tra il testo e l'immagine per determinare la fonte della poesia.

La progettazione del prompt (specificamente IP3) istruisce l'MLLM ad agire come un esperto professionista di poesia, notando esplicitamente che l'immagine è stata generata per riflettere il titolo, il tema, le immagini e l'emozione della poesia, e che essa incarna gli elementi sostantivi della poesia umana. Il modello ha il compito di giudicare specificamente il "Testo della Poesia", utilizzando l'immagine come guida semantica.

Costruzione del Dataset
Lo studio utilizza un dataset personalizzato composto da:

• 800 Poesie scritte da umani: Provenienti dal dataset AIGenPoetry, scritte da poeti professionisti.
• 3.200 Poesie generate da LLM: Create da quattro modelli distinti (GPT-4.1, GLM-4, DeepSeek-V3 e DeepSeek-R1) utilizzando un prompt che costringe l'AI a imitare gli elementi fondamentali della poesia umana (titolo, tema, immagini, emozione) alterando lo stile.
• 800 Immagini Corrispondenti: Generate utilizzando Qwen-Image (selezionato come il miglior performer tra sei modelli tramite valutazione di poeti) per rappresentare visivamente il contenuto delle poesie umane.

Contributi Chiave

1. Creazione del Dataset: La costruzione di un dataset semanticamente fondato per il rilevamento di poesie cinesi moderne generate da AI, che richiede agli LLM di mantenere caratteristiche complete della poesia umana (tema, significato, immagini, emozione) per garantire un setting di valutazione rigoroso.
2. Framework IMAGINE: La proposta di un nuovo metodo di rilevamento guidato dalla semantica delle immagini che supera i baseline basati solo sul testo. Questo approccio integra efficacemente informazioni come significato, immagini e sentimento dall'immagine per formare un giudizio complementare con il testo.
3. Benchmark delle Prestazioni: L'istituzione di baseline iniziali di prestazioni per gli LLM come rilevatori di poesia e la dimostrazione che gli approcci multimodali guidati da esempi possono migliorare significativamente queste capacità.

Risultati Sperimentali
Gli autori hanno valutato vari rilevatori, inclusi classificatori tradizionali (RoBERTa, Binoculars, ecc.) e rilevatori basati su LLM (Gemini, Qwen, GPT-5) sotto diverse strategie di prompting (vanilla, potenziati solo dal testo e guidati dalla semantica delle immagini).

• Limitazioni dei Baseline: I rilevatori tradizionali basati solo sul testo, incluso il migliore RoBERTa, hanno faticato con il compito. RoBERTa ha raggiunto un Macro-F1 di circa 73–84% a seconda del generatore, mentre altri rilevatori sono spesso scesi sotto il 50%.
• LLM Solo Testo: I rilevatori LLM in puro testo hanno mostrato risultati misti, con Gemini che ha ottenuto il miglior risultato tra i modelli solo testo, ma è comunque rimasto indietro rispetto al metodo proposto.
• Prestazioni di IMAGINE: Il metodo guidato dalla semantica delle immagini (IP3) ha migliorato significativamente l'accuratezza del rilevamento.
  • Il rilevatore Gemini che utilizza il framework IMAGINE ha raggiunto un punteggio Macro-F1 dell'85,65% su tutti i casi di test (poesie umane e generate da AI).
  • Questo risultato supera il miglior rilevatore tradizionale (RoBERTa) e rappresenta un miglioramento sostanziale rispetto al baseline solo testo (TP1, 70,28%) e al baseline potenziato solo testo (TP2, 79,50%).
  • Il metodo è stato particolarmente efficace nel ridurre il divario di prestazioni tra diversi rilevatori LLM e nel migliorare il rilevamento per le poesie generate da DeepSeek-R1, dove il Macro-F1 è passato dal 54,90% (baseline) al 94,75%.

Significato e Affermazioni
Il paper afferma che l'integrazione della semantica delle immagini è un fattore critico nel rilevamento di poesie generate da AI. Sfruttando la rappresentazione visiva del contenuto della poesia, il modello può comprendere meglio i significati impliciti e la profondità emotiva che spesso si perdono nell'analisi basata solo sul testo. Gli autori affermano che il loro metodo raggiunge il livello dello stato dell'arte per questo compito specifico, dimostrando che le informazioni multimodali sono essenziali per distinguere tra creatività umana e AI nel dominio poetico.

Lo studio evidenzia anche che non tutti gli LLM sono ugualmente adatti per compiti di rilevamento; le prestazioni variano significativamente in base all'architettura del modello e ai dati di addestramento. Tuttavia, i miglioramenti coerenti osservati tra diversi LLM quando si utilizza il framework IMAGINE validano la robustezza dell'approccio basato sulla semantica delle immagini.

Limitazioni
Gli autori riconoscono che il loro metodo è specificamente ispirato alla pratica umana di scrivere poesie basate su scene visive. Di conseguenza, notano che l'approccio potrebbe non essere pienamente applicabile ad altri generi testuali, come articoli di notizie o documenti accademici, che mancano della stessa forte dipendenza dalle immagini visive e dall'"esprimere emozioni attraverso il paesaggio".