Seeing the Poem: Image-Semantic Detection of AI-Generated Modern Chinese Poetry with MLLMs

Resumen Técnico: Detección Semántica de Imágenes de Poesía China Moderna Generada por IA con MLLM

Enunciado del Problema
El rápido avance de los Modelos de Lenguaje Grandes (LLM) ha difuminado la distinción entre texto escrito por humanos y texto generado por IA, planteando un desafío significativo en el ámbito de la poesía china moderna. Si bien estudios previos de detección han establecido que los LLM a menudo son ineficaces como detectores para texto general, y que los detectores tradicionales basados en texto (por ejemplo, RoBERTa, Fast-DetectGPT) luchan con la poesía china moderna, ninguna investigación anterior ha abordado específicamente esta modalidad. La naturaleza única de la poesía, que depende en gran medida de "expresar emociones a través del paisaje" (utilizar imágenes visuales para transmitir sentimientos subjetivos), sugiere que el análisis solo de texto puede pasar por alto pistas semánticas críticas. Las evaluaciones existentes indican que los detectores tradicionales logran una precisión baja (a menudo por debajo del 70%) en poemas chinos modernos generados por LLM, fallando en capturar los matices sutiles que distinguen la creatividad humana de la imitación de la IA.

Metodología: El Marco IMAGINE
Para abordar estas limitaciones, los autores proponen IMAGINE (Detección de Poesía Guiada por Semántica de IMagen, IMAge-semaNtic GuIded poEtry detection), un marco novedoso que aprovecha los Modelos de Lenguaje Grandes Multimodales (MLLM) para integrar la guía semántica de imágenes en el proceso de detección. La metodología se basa en el principio poético de que los poemas a menudo se inspiran en escenas visuales; por lo tanto, la presencia de una imagen correspondiente puede proporcionar un contexto semántico más profundo que el texto por sí solo.

El marco opera mediante un enfoque impulsado por ejemplos en dos partes:

1. Aprendizaje Impulsado por Ejemplos: Primero se proporciona al modelo un par de ejemplos: un poema escrito por un humano y un poema generado por IA. Crucialmente, estos poemas comparten el mismo título, tema, significado, imaginería y tono emocional, y el poema de IA conserva todos los sustantivos del poema humano pero difiere en el estilo de escritura. También se proporciona una imagen correspondiente que refleja el contenido de estos poemas. Se informa al modelo sobre las relaciones entre la imagen y los poemas, así como sobre las fuentes específicas (humana vs. IA).
2. Clasificación Guiada: Luego se presenta al modelo un nuevo poema desconocido y una imagen correspondiente generada en función del contenido de ese poema. Utilizando el contexto establecido en los ejemplos, el modelo analiza la interacción entre el texto y la imagen para determinar la fuente del poema.

El diseño del prompt (específicamente IP3) instruye al MLLM a actuar como un experto profesional en poesía, señalando explícitamente que la imagen fue generada para reflejar el título, el tema, la imaginería y la emoción del poema, y que encarna los elementos sustantivos del poema humano. Se le asigna al modelo la tarea de juzgar específicamente el "Texto del Poema", utilizando la imagen como guía semántica.

Construcción del Conjunto de Datos
El estudio utiliza un conjunto de datos personalizado que comprende:

• 800 poemas escritos por humanos: Procedentes del conjunto de datos AIGenPoetry, autoría de poetas profesionales.
• 3.200 poemas generados por LLM: Creados por cuatro modelos distintos (GPT-4.1, GLM-4, DeepSeek-V3 y DeepSeek-R1) utilizando un prompt que obliga a la IA a imitar los elementos centrales del poema humano (título, tema, imaginería, emoción) mientras altera el estilo.
• 800 Imágenes Correspondientes: Generadas utilizando Qwen-Image (seleccionado como el mejor desempeño entre seis modelos mediante evaluación de poetas) para representar visualmente el contenido de los poemas humanos.

Contribuciones Clave

1. Creación de Conjuntos de Datos: La construcción de un conjunto de datos fundamentado semánticamente para detectar la poesía china moderna generada por IA, requiriendo que los LLM retengan características integrales de la poesía humana (tema, significado, imaginería, emoción) para garantizar un entorno de evaluación riguroso.
2. Marco IMAGINE: La propuesta de un nuevo método de detección guiado por semántica de imágenes que supera las líneas base solo de texto. Este enfoque integra efectivamente información como significado, imaginería y sentimiento de la imagen para formar un juicio complementario con el texto.
3. Evaluación de Rendimiento: El establecimiento de líneas base de rendimiento iniciales para los LLM como detectores de poesía y la demostración de que los enfoques multimodales impulsados por ejemplos pueden mejorar significativamente estas capacidades.

Resultados Experimentales
Los autores evaluaron varios detectores, incluidos clasificadores tradicionales (RoBERTa, Binoculars, etc.) y detectores basados en LLM (Gemini, Qwen, GPT-5) bajo diferentes estrategias de prompt (vanilla, solo texto mejorado y guiado por semántica de imágenes).

• Limitaciones de la Línea Base: Los detectores tradicionales solo de texto, incluido el mejor desempeño de RoBERTa, tuvieron dificultades con la tarea. RoBERTa logró un Macro-F1 de aproximadamente 73–84% dependiendo del generador, mientras que otros detectores a menudo cayeron por debajo del 50%.
• LLM Solo de Texto: Los detectores LLM de texto plano mostraron resultados mixtos, con Gemini obteniendo el mejor rendimiento entre los modelos solo de texto, pero aún quedando por detrás del método propuesto.
• Rendimiento de IMAGINE: El método guiado por semántica de imágenes (IP3) mejoró significativamente la precisión de detección.
  • El detector Gemini utilizando el marco IMAGINE logró una puntuación Macro-F1 de 85,65% en todos los casos de prueba (poemas humanos y generados por IA).
  • Este resultado supera al detector tradicional de mejor rendimiento (RoBERTa) y representa una mejora sustancial sobre la línea base solo de texto (TP1, 70,28%) y la línea base solo de texto mejorada (TP2, 79,50%).
  • El método fue particularmente efectivo para reducir la brecha de rendimiento entre diferentes detectores LLM y mejorar la detección de poemas generados por DeepSeek-R1, donde el Macro-F1 saltó del 54,90% (línea base) al 94,75%.

Significado y Afirmaciones
El artículo afirma que la integración de semántica de imágenes es un factor crítico en la detección de poesía generada por IA. Al aprovechar la representación visual del contenido del poema, el modelo puede comprender mejor los significados implícitos y la profundidad emocional que a menudo se pierden en el análisis solo de texto. Los autores afirman que su método alcanza el nivel de vanguardia para esta tarea específica, demostrando que la información multimodal es esencial para distinguir entre la creatividad humana y la IA en el dominio poético.

El estudio también destaca que no todos los LLM son igualmente adecuados para tareas de detección; el rendimiento varía significativamente según la arquitectura del modelo y los datos de entrenamiento. Sin embargo, las mejoras consistentes observadas en diferentes LLM al utilizar el marco IMAGINE validan la robustez del enfoque de semántica de imágenes.

Limitaciones
Los autores reconocen que su método está inspirado específicamente en la práctica humana de escribir poesía basada en escenas visuales. En consecuencia, señalan que el enfoque podría no ser completamente aplicable a otros géneros de texto, como artículos de noticias o documentos académicos, que carecen de la misma fuerte dependencia de la imaginería visual y de "expresar emociones a través del paisaje".