Seeing the Poem: Image-Semantic Detection of AI-Generated Modern Chinese Poetry with MLLMs

Resumo Técnico: Detecção Semântico-Visual de Poesia Chinesa Moderna Gerada por IA com MLLMs

Enunciação do Problema
O avanço rápido dos Modelos de Linguagem de Grande Escala (LLMs) obscureceu a distinção entre texto escrito por humanos e texto gerado por IA, representando um desafio significativo no domínio da poesia chinesa moderna. Embora estudos anteriores de detecção tenham estabelecido que os LLMs são frequentemente ineficazes como detectores para texto geral, e que os detectores tradicionais baseados em texto (por exemplo, RoBERTa, Fast-DetectGPT) lutam com a poesia chinesa moderna, nenhuma pesquisa anterior abordou especificamente essa modalidade. A natureza única da poesia, que depende fortemente de "expressar emoções através da paisagem" (usando imagens visuais para transmitir sentimentos subjetivos), sugere que a análise baseada apenas em texto pode perder pistas semânticas críticas. Bases de referência existentes indicam que os detectores tradicionais alcançam baixa precisão (frequentemente abaixo de 70%) em poemas chineses modernos gerados por LLMs, falhando em capturar as nuances sutis que distinguem a criatividade humana da imitação por IA.

Metodologia: O Framework IMAGINE
Para abordar essas limitações, os autores propõem o IMAGINE (GuIda por semântica de IMAge para detecção de poEtria), um framework inovador que aproveita Modelos de Linguagem de Grande Escala Multimodais (MLLMs) para integrar orientação semântica de imagem no processo de detecção. A metodologia fundamenta-se no princípio poético de que os poemas são frequentemente inspirados por cenas visuais; assim, a presença de uma imagem correspondente pode fornecer um contexto semântico mais profundo do que o texto sozinho.

O framework opera através de uma abordagem em duas partes, orientada por exemplos:

1. Aprendizado Orientado por Exemplos: O modelo recebe primeiro um par de exemplos: um poema escrito por humanos e um poema gerado por IA. Crucialmente, esses poemas compartilham o mesmo título, tema, significado, imagética e tom emocional, e o poema de IA retém todos os substantivos do poema humano, mas difere no estilo de escrita. Uma imagem correspondente que reflete o conteúdo desses poemas também é fornecida. O modelo é informado sobre as relações entre a imagem e os poemas, bem como as fontes específicas (humana vs. IA).
2. Classificação Guiada: O modelo é então apresentado a um novo poema desconhecido e a uma imagem correspondente gerada com base no conteúdo desse poema. Usando o contexto estabelecido nos exemplos, o modelo analisa a interação entre o texto e a imagem para determinar a origem do poema.

O design do prompt (especificamente IP3) instrui o MLLM a atuar como um especialista profissional em poesia, notando explicitamente que a imagem foi gerada para refletir o título, tema, imagética e emoção do poema, e que ela incorpora os elementos nominais do poema humano. O modelo tem a tarefa de julgar especificamente o "Texto do Poema", usando a imagem como um guia semântico.

Construção do Conjunto de Dados
O estudo utiliza um conjunto de dados personalizado composto por:

• 800 poemas escritos por humanos: Provenientes do conjunto de dados AIGenPoetry, autorados por poetas profissionais.
• 3.200 poemas gerados por LLM: Criados por quatro modelos distintos (GPT-4.1, GLM-4, DeepSeek-V3 e DeepSeek-R1) usando um prompt que força a IA a imitar os elementos centrais do poema humano (título, tema, imagética, emoção) enquanto altera o estilo.
• 800 Imagens Correspondentes: Geradas usando Qwen-Image (selecionado como o melhor desempenho entre seis modelos através de avaliação por poetas) para representar visualmente o conteúdo dos poemas humanos.

Principais Contribuições

1. Criação de Conjunto de Dados: A construção de um conjunto de dados semanticamente fundamentado para detectar poesia chinesa moderna gerada por IA, exigindo que os LLMs retenham características abrangentes da poesia humana (tema, significado, imagética, emoção) para garantir um cenário de avaliação rigoroso.
2. Framework IMAGINE: A proposta de um método inovador de detecção guiada por semântica de imagem que supera as bases de referência apenas em texto. Esta abordagem integra efetivamente informações como significado, imagética e sentimento da imagem para formar um julgamento complementar ao texto.
3. Benchmarks de Desempenho: O estabelecimento de bases de referência de desempenho iniciais para LLMs como detectores de poesia e a demonstração de que abordagens multimodais orientadas por exemplos podem aprimorar significativamente essas capacidades.

Resultados Experimentais
Os autores avaliaram vários detectores, incluindo classificadores tradicionais (RoBERTa, Binoculars, etc.) e detectores baseados em LLM (Gemini, Qwen, GPT-5) sob diferentes estratégias de prompt (vanilla, aprimorada apenas em texto e guiada por semântica de imagem).

• Limitações da Linha de Base: Detectores tradicionais apenas em texto, incluindo o melhor desempenho do RoBERTa, lutaram com a tarefa. O RoBERTa alcançou um Macro-F1 de aproximadamente 73–84%, dependendo do gerador, enquanto outros detectores frequentemente caíram abaixo de 50%.
• LLMs Apenas em Texto: Detectores de LLM em texto puro mostraram resultados mistos, com o Gemini performando melhor entre os modelos apenas em texto, mas ainda ficando atrás do método proposto.
• Desempenho do IMAGINE: O método guiado por semântica de imagem (IP3) melhorou significativamente a precisão da detecção.
  • O detector Gemini usando o framework IMAGINE alcançou uma pontuação Macro-F1 de 85,65% em todos os casos de teste (poemas humanos e gerados por IA).
  • Este resultado supera o melhor detector tradicional (RoBERTa) e representa uma melhoria substancial sobre a linha de base apenas em texto (TP1, 70,28%) e a linha de base aprimorada apenas em texto (TP2, 79,50%).
  • O método foi particularmente eficaz em estreitar a lacuna de desempenho entre diferentes detectores de LLM e em melhorar a detecção de poemas gerados pelo DeepSeek-R1, onde o Macro-F1 saltou de 54,90% (linha de base) para 94,75%.

Significado e Alegações
O artigo alega que a integração de semântica de imagem é um fator crítico na detecção de poesia gerada por IA. Ao aproveitar a representação visual do conteúdo do poema, o modelo pode compreender melhor significados implícitos e profundidade emocional que são frequentemente perdidos na análise apenas em texto. Os autores afirmam que seu método atinge o nível state-of-the-art para esta tarefa específica, provando que informações multimodais são essenciais para distinguir entre criatividade humana e IA no domínio poético.

O estudo também destaca que nem todos os LLMs são igualmente adequados para tarefas de detecção; o desempenho varia significativamente conforme a arquitetura do modelo e os dados de treinamento. No entanto, as melhorias consistentes observadas em diferentes LLMs ao usar o framework IMAGINE validam a robustez da abordagem semântica de imagem.

Limitações
Os autores reconhecem que seu método é especificamente inspirado na prática humana de escrever poesia baseada em cenas visuais. Consequentemente, eles notam que a abordagem pode não ser totalmente aplicável a outros gêneros de texto, como artigos de notícias ou papers acadêmicos, que carecem da mesma forte dependência de imagética visual e de "expressar emoções através da paisagem".