Seeing the Poem: Image-Semantic Detection of AI-Generated Modern Chinese Poetry with MLLMs

Résumé technique : Détection sémantique d'images pour la poésie chinoise moderne générée par IA avec des MLLM

Énoncé du problème
Les progrès rapides des grands modèles de langage (LLM) ont brouillé la distinction entre les textes écrits par des humains et ceux générés par l'IA, posant un défi majeur dans le domaine de la poésie chinoise moderne. Alors que des études antérieures sur la détection ont établi que les LLM sont souvent inefficaces comme détecteurs pour le texte général, et que les détecteurs traditionnels basés sur le texte (par exemple, RoBERTa, Fast-DetectGPT) peinent avec la poésie chinoise moderne, aucune recherche précédente n'a spécifiquement abordé cette modalité. La nature unique de la poésie, qui repose fortement sur « l'expression des émotions par le paysage » (utiliser des images visuelles pour transmettre des sentiments subjectifs), suggère que l'analyse purement textuelle peut manquer des indices sémantiques critiques. Les benchmarks existants indiquent que les détecteurs traditionnels atteignent une faible précision (souvent inférieure à 70 %) sur les poèmes chinois modernes générés par LLM, échouant à capturer les nuances subtiles qui distinguent la créativité humaine de l'imitation par l'IA.

Méthodologie : Le cadre IMAGINE
Pour pallier ces limites, les auteurs proposent IMAGINE (IMAge-semaNtic GuIded poEtry detection), un cadre novateur qui exploite les grands modèles de langage multimodaux (MLLM) pour intégrer une guidance sémantique d'image dans le processus de détection. La méthodologie s'appuie sur le principe poétique selon lequel les poèmes sont souvent inspirés par des scènes visuelles ; ainsi, la présence d'une image correspondante peut fournir un contexte sémantique plus profond que le texte seul.

Le cadre fonctionne selon une approche en deux parties, guidée par des exemples :

1. Apprentissage guidé par des exemples : Le modèle reçoit d'abord une paire d'exemples : un poème écrit par un humain et un poème généré par l'IA. Crucialement, ces poèmes partagent le même titre, le même thème, le même sens, les mêmes images et la même tonalité émotionnelle, et le poème IA conserve tous les noms du poème humain mais diffère par le style d'écriture. Une image correspondante reflétant le contenu de ces poèmes est également fournie. Le modèle est informé des relations entre l'image et les poèmes, ainsi que des sources spécifiques (humain vs IA).
2. Classification guidée : Le modèle reçoit ensuite un nouveau poème inconnu et une image correspondante générée sur la base du contenu de ce poème. En utilisant le contexte établi dans les exemples, le modèle analyse l'interaction entre le texte et l'image pour déterminer la source du poème.

La conception de l'invite (spécifiquement IP3) instruit le MLLM à agir en tant qu'expert professionnel en poésie, notant explicitement que l'image a été générée pour refléter le titre, le thème, l'imagerie et l'émotion du poème, et qu'elle incarne les éléments nominaux du poème humain. Le modèle a pour tâche de juger spécifiquement le « Texte du poème », en utilisant l'image comme guide sémantique.

Construction du jeu de données
L'étude utilise un jeu de données personnalisé comprenant :

• 800 poèmes écrits par des humains : Provenant du jeu de données AIGenPoetry, rédigés par des poètes professionnels.
• 3 200 poèmes générés par LLM : Créés par quatre modèles distincts (GPT-4.1, GLM-4, DeepSeek-V3 et DeepSeek-R1) utilisant une invite qui force l'IA à imiter les éléments fondamentaux du poème humain (titre, thème, imagerie, émotion) tout en modifiant le style.
• 800 images correspondantes : Générées à l'aide de Qwen-Image (sélectionné comme le meilleur performeur parmi six modèles via une évaluation par des poètes) pour représenter visuellement le contenu des poèmes humains.

Contributions clés

1. Création d'un jeu de données : La construction d'un jeu de données ancré sémantiquement pour la détection de la poésie chinoise moderne générée par IA, exigeant que les LLM conservent des caractéristiques complètes de la poésie humaine (thème, sens, imagerie, émotion) afin d'assurer un cadre d'évaluation rigoureux.
2. Cadre IMAGINE : La proposition d'une nouvelle méthode de détection guidée par la sémantique d'image qui surpasse les bases de référence purement textuelles. Cette approche intègre efficacement des informations telles que le sens, l'imagerie et le sentiment tirés de l'image pour former un jugement complémentaire avec le texte.
3. Étalonnage des performances : L'établissement de bases de référence initiales pour les LLM en tant que détecteurs de poésie et la démonstration que les approches multimodales guidées par des exemples peuvent améliorer considérablement ces capacités.

Résultats expérimentaux
Les auteurs ont évalué divers détecteurs, y compris des classificateurs traditionnels (RoBERTa, Binoculars, etc.) et des détecteurs basés sur les LLM (Gemini, Qwen, GPT-5) selon différentes stratégies d'invite (vanilla, améliorée uniquement par le texte, et guidée par la sémantique d'image).

• Limites de la base de référence : Les détecteurs traditionnels purement textuels, y compris le meilleur performant RoBERTa, ont peiné avec la tâche. RoBERTa a obtenu un Macro-F1 d'environ 73 à 84 % selon le générateur, tandis que les autres détecteurs tombaient souvent en dessous de 50 %.
• LLM purement textuels : Les détecteurs LLM en texte brut ont montré des résultats mitigés, Gemini se distinguant le mieux parmi les modèles purement textuels, mais restant encore en retrait par rapport à la méthode proposée.
• Performance d'IMAGINE : La méthode guidée par la sémantique d'image (IP3) a considérablement amélioré la précision de détection.
  • Le détecteur Gemini utilisant le cadre IMAGINE a obtenu un score Macro-F1 de 85,65 % sur tous les cas de test (poèmes humains et générés par IA).
  • Ce résultat dépasse le détecteur traditionnel le plus performant (RoBERTa) et représente une amélioration substantielle par rapport à la base de référence purement textuelle (TP1, 70,28 %) et à la base de référence améliorée uniquement par le texte (TP2, 79,50 %).
  • La méthode s'est révélée particulièrement efficace pour réduire l'écart de performance entre différents détecteurs LLM et pour améliorer la détection des poèmes générés par DeepSeek-R1, où le Macro-F1 a bondi de 54,90 % (base de référence) à 94,75 %.

Signification et affirmations
L'article affirme que l'intégration de la sémantique d'image est un facteur critique dans la détection de la poésie générée par IA. En exploitant la représentation visuelle du contenu du poème, le modèle peut mieux saisir les significations implicites et la profondeur émotionnelle qui sont souvent perdues dans l'analyse purement textuelle. Les auteurs affirment que leur méthode atteint le niveau de l'état de l'art pour cette tâche spécifique, prouvant que l'information multimodale est essentielle pour distinguer la créativité humaine de la créativité artificielle dans le domaine poétique.

L'étude souligne également que tous les LLM ne sont pas également adaptés aux tâches de détection ; les performances varient considérablement selon l'architecture du modèle et les données d'entraînement. Cependant, les améliorations constantes observées à travers différents LLM lors de l'utilisation du cadre IMAGINE valident la robustesse de l'approche sémantique d'image.

Limites
Les auteurs reconnaissent que leur méthode est spécifiquement inspirée par la pratique humaine d'écrire de la poésie basée sur des scènes visuelles. Par conséquent, ils notent que l'approche pourrait ne pas être pleinement applicable à d'autres genres textuels, tels que les articles de presse ou les documents académiques, qui ne reposent pas autant sur l'imagerie visuelle et « l'expression des émotions par le paysage ».