💬 NLP

Can Language Models Imagine Without Seeing? Ekphrasis: Measuring Visual Creative Ideation in Text-Only LLMs

Este artigo apresenta o Ekphrasis, um novo benchmark e framework de avaliação que isola e mede as capacidades de ideação visual criativa de modelos de linguagem apenas de texto, ao distinguir entre prosa fluente e a habilidade real de gerar planos visuais úteis, expressivos e de novidade populacional.

Autores originais: Hongyu Luo, He Wang, Huihao Jing, Hong Ting Tsang, Yuxuan Liu, Wuganjing Song, Yauwai Yim, Chunyang Li, Yangqiu Song

Publicado 2026-08-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hongyu Luo, He Wang, Huihao Jing, Hong Ting Tsang, Yuxuan Liu, Wuganjing Song, Yauwai Yim, Chunyang Li, Yangqiu Song

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um diretor tentando escalar um filme, mas ainda não consegue ver os atores. Você tem apenas um roteirista que descreve as cenas em palavras. A grande questão é: este roteirista consegue realmente imaginar uma cena nova e emocionante, ou está apenas juntando palavras sofisticadas que parecem criativas, mas descrevem exatamente os mesmos clichês antigos que todos já viram mil vezes? Este é o enigma no coração de um novo estudo no mundo da Inteligência Artificial, especificamente observando os "Grandes Modelos de Linguagem" (LLMs). Estes são programas de computador superinteligentes que escrevem histórias, respondem perguntas e conversam conosco. Cientistas há muito tempo se perguntam se essas máquinas puramente de texto podem verdadeiramente "visualizar" ideias antes de serem transformadas em imagens, ou se estão apenas fingindo com uma linguagem pomposa. Para descobrir, os pesquisadores precisavam de uma maneira de testar se a descrição de uma IA era uma centelha genuína de invenção visual ou apenas uma ideia reciclada e segura vestida com um smoking.

Apresentamos o EKPHRASIS, um novo "exame" projetado por pesquisadores da Universidade de Ciência e Tecnologia de Hong Kong para testar exatamente isso. Pense no EKPHRASIS como uma academia criativa para a IA. Em vez de pedir à IA para desenhar uma imagem (o que ela não consegue fazer diretamente neste teste), os pesquisadores deram a 14 modelos diferentes de IA 400 desafios criativos específicos. Esses desafios pediam aos modelos para fazer coisas como transformar um conceito abstrato como "pressão do tempo" em uma cena visual, misturar duas ideias não relacionadas ou reescrever um objeto de uma nova maneira. O objetivo não era apenas ver se a IA escrevia uma frase bonita, mas sim ver se ela conseguia conceber um plano de Ideação Criativa Visual (VCI): uma descrição que fosse útil para a tarefa, expressiva o suficiente para pintar uma imagem clara em sua mente e, o mais importante, nova — significando que não apenas repetia as ideias chatas e excessivamente usadas que outras IAs sempre apresentam.

Os pesquisadores descobriram que uma escrita fluente e bela é um pouco de uma armadilha. Uma IA pode escrever um parágrafo que soa incrivelmente criativo e vívido, mas estar descrevendo exatamente os mesmos velhos clichês visuais, como usar uma ampulheta para representar o tempo ou uma nuvem de tempestade para representar a tristeza. Para capturar essa "ilusão de novidade", a equipe construiu um sistema de pontuação especial. Eles não perguntaram apenas: "Isso é criativo?". Eles perguntaram: "Isso é útil? É fácil de visualizar? E é diferente do que as outras 13 IAs teriam dito?". Eles usaram um método inteligente chamado "Gráficos de Ideias Tipografadas" para mapear os padrões comuns e chatos que todos os modelos tendem a repetir, e então verificaram se as novas respostas evitavam essas armadilhas.

Os resultados foram fascinantes e sutis. O estudo descobriu que ser "bom" em ideação visual não é apenas um único superpoder. Algumas IAs eram ótimas em seguir instruções e criar planos úteis, mas eram muito clichês. Outras eram extremamente originais, mas às vezes perdiam o ponto da tarefa. Os melhores desempenhos, como o Gemini 3.1 Pro e o GPT-5.4, conseguiram equilibrar todos os três traços, mas fizeram isso de maneiras diferentes. Crucialmente, os pesquisadores pegaram as melhores descrições de texto e realmente geraram imagens a partir delas usando uma ferramenta separada. Quando humanos olharam para essas imagens sem ver o texto original, eles ainda preferiram as imagens que vinham dos planos de texto de "alto VCI". Isso sugere que a IA estava realmente planejando algo visual, não apenas escrevendo prosa bonita.

No entanto, o artigo é cuidadoso ao notar que isso não significa que a IA tenha um "olho mental" ou uma imaginação privada semelhante à humana. Significa simplesmente que esses modelos puramente de texto podem criar projetos detalhados e prontos para imagem que sobrevivem à jornada do texto para a imagem. O estudo sugere que, embora os modelos atuais estejam ficando melhores no planejamento visual, eles ainda lutam para se libertar das ideias "seguras" que seus dados de treinamento ensinam que eles devem amar. A lição é clara: só porque uma IA escreve uma história criativa, não significa que ela tenha uma ideia visual criativa. Para medir verdadeiramente a criatividade visual, temos que olhar além das palavras floridas e verificar se o projeto é de fato novo, útil e pronto para ser construído.

Resumo Técnico: EKPHRASIS – Medindo a Ideação Criativa Visual em LLMs Apenas de Texto

Definição do Problema

As avaliações atuais de Grandes Modelos de Linguagem (LLMs) frequentemente falham em isolar se modelos apenas de texto podem genuinamente originar conceitos visuais antes da geração da imagem. Existe uma "armadilha de medição" significativa onde uma prosa visual fluente e vívida pode mascarar a falta de uma verdadeira invenção visual. Os modelos podem produzir saídas que parecem criativas, mas que dependem de clichês visuais familiares, motivos seguros ou padrões recorrentes da população (a "ilusão de novidade"). Os benchmarks existentes geralmente avaliam imagens renderizadas finais, criatividade verbal ou seguimento de instruções, mas não avaliam o plano visual pré-imagem — o blueprint textual que deve carregar substância, especificidade e novidade visual antes que os pixels existam.

A questão central abordada é: Os modelos de linguagem conseguem imaginar visualmente ou apenas escrevem como se pudessem?

Metodologia: Benchmark EKPHRASIS

Os autores introduzem o EKPHRASIS, um benchmark de 400 tarefas projetado para medir a Ideação Criativa Visual (VCI). A VCI é definida como a capacidade de produzir planos visuais textuais que sejam:

Úteis: Satisfazendo o briefing visual específico.
Expressivos: Fornecendo detalhes suficientes para suportar uma imagem mental concreta e estável.
Novos: Distanciando-se de clichês visuais específicos da tarefa comuns na população de LLMs.

Design de Tarefas

O benchmark abrange quatro famílias de tarefas controladas, cada uma testando um aspecto diferente do planejamento visual:

Abstração: Mapear conceitos abstratos para portadores visuais concretos (ex: expressar "pressão do tempo" sem usar uma ampulheta).
Combinação: Fundir dois conceitos distintos em uma única entidade visual coerente, em vez de uma simples justaposição.
Transformação: Reescrever a forma, o material ou o contexto de um objeto sob restrições específicas, mantendo a reconhecibilidade.
Adaptação: Projetar uma solução visual para um contexto do mundo real (ex: publicidade, educação) com audiência e meio específicos.

Protocolo de Avaliação

O EKPHRASIS emprega um pipeline de avaliação rigoroso de múltiplos estágios para evitar vieses associados à fluência ou extensão:

Formato de Resposta de Dois Campos: Os modelos devem fornecer uma Ideia Central (portador, metáfora, mecanismo) e uma Descrição Visual (objetos, layout, material, luz). Isso impede que a prosa fluente substitua um plano visual específico.
Comparação Pareada Assistida por Checklist: Juízes humanos e de LLM comparam pares de modelos anonimizados usando checklists de dimensões específicas para Utilidade, Expressividade e Novidade.
Gráficos de Ideias Tipadas (TIG) para Novidade: Para medir a novidade objetivamente, o sistema constrói uma referência "ancorada na população". Para cada tarefa, um grafo de "átomos de ideias tipadas" (conceitos, motivos, mecanismos) é construído a partir das respostas de todos os modelos, exceto os dois que estão sendo comparados (Leave-Two-Models-Out). Agrupamentos de alta pontuação neste grafo representam "clichês da população". A novidade é pontuada com base em se uma resposta evita, transforma ou repete esses clichês específicos.
Agregação de Bradley-Terry: As preferências pareadas são agregadas usando modelos de Bradley-Terry para gerar pontuações de habilidade latente ( $\theta$ ) para cada modelo através das três dimensões, com amostragem ativa usada para otimizar o orçamento de comparação.

Validação Cross-Modal

Para garantir que as pontuações em nível de texto reflitam o conteúdo visual real e não apenas a qualidade verbal, os autores conduziram um estudo de fundamentação cross-modal:

Os planos textuais foram renderizados em imagens usando um sistema de texto-para-imagem fixo.
Um "portão de fidelidade" (faithfulness gate) filtrou as renderizações que falharam em preservar a ideia de origem.
Anotadores humanos compararam as imagens renderizadas sem ver o texto original ou a identidade do modelo.
As preferências resultantes no nível da imagem foram comparadas com o ranking de VCI original no nível do texto para verificar a validade convergente.

Principais Contribuições

Definição do Constructo: O artigo operacionaliza a Ideação Criativa Visual (VCI) como um constructo distinto que separa a satisfação do briefing, a especificidade visual e a novidade populacional da fluência geral ou criatividade verbal.
Benchmark EKPHRASIS: Um conjunto de 400 instâncias cobrindo Abstração, Combinação, Transformação e Adaptação, apresentando um motor de avaliação inovador que utiliza Gráficos de Ideias Tipadas para ancorar a novidade contra padrões recorrentes da população de modelos.
Evidência Empírica: Avaliação de 14 LLMs de estado da arte apenas de texto demonstrando que a VCI é multidimensional. Modelos fortes alcançam pontuações agregadas altas através de perfis diferentes (ex: alguns se destacam em Utilidade, mas carecem de Novidade, enquanto outros são altamente Novos, mas menos Úteis).
Validação: Evidência de que a ordenação de VCI em nível de texto sobrevive amplamente à renderização fiel e ao julgamento cego de preferência em nível de imagem, apoiando a métrica como uma medida de ideação visual além da qualidade da prosa.

Resultados

Desempenho dos Modelos: Modelos de alto nível (Gemini 3.1 Pro, GPT-5.4, Claude 4.7, DeepSeek V4, Kimi K2.6) formam um grupo diverso. Por exemplo, o GPT-5.4 liderou em Utilidade (+1.53), o Claude 4.7 e o Gemini 3.1 Pro em Expressividade, e o Kimi K2.6 em Novidade (+1.66).
Dissociação Dimensional: O estudo confirma que a alta utilidade não garante novidade visual. Modelos como o Grok 4.3 mostraram alta Utilidade (+1.10), mas Novidade abaixo da média (-0.17), indicando que podem satisfazer briefings enquanto dependem de portadores visuais familiares.
Dificuldade da Tarefa: As tarefas de Combinação foram identificadas como as mais exigentes, requerendo uma estrutura visual compartilhada em vez de apenas colocação lado a lado.
Ablação de Novidade: Substituir as âncoras de TIG específicas da tarefa por referências de novidade genéricas reduziu o acordo da maioria humana em 20,9 pontos percentuais, provando que o ancoramento populacional específico da tarefa é crítico para a medição precisa da novidade.
Acordo Cross-Modal: No subconjunto fiel, 96,6% das preferências decisivas no nível da imagem alinharam-se com a ordenação do modelo no nível do texto, validando que os planos textuais capturaram informações visuais recuperáveis.

Significância e Alegações

O artigo alega um "sim qualificado" à questão de se modelos apenas de texto podem imaginar visualmente. Ele demonstra que:

Planos pré-imagem podem carregar informações visuais relevantes para a tarefa através de uma mudança de modalidade de texto para imagem.
A VCI não é monolítica; pontuações agregadas semelhantes podem mascarar diferentes capacidades subjacentes (ex: seguimento de briefing vs. genuína invenção visual).
A fronteira central exposta é a "plausibilidade segura": muitas saídas satisfazem os briefings e leem-se bem, mas recuam para portadores familiares e metáforas de estoque.
Implicação Prática: Prosa com aparência criativa não deve ser tratada como criatividade visual sem verificações separadas de mecanismo visual, imagética e novidade populacional.

Os autores observam modestamente limitações, incluindo a dependência da atual população de modelos para definir clichês, suposições culturais em julgamentos de novidade e a dependência de um renderizador específico para validação cross-modal. Eles enfatizam que o EKPHRASIS mede a formulação de planejamento pré-imagem externalizada, não a imaginação mental privada ou uma teoria geral da criatividade humana.