Benchmarking Frontier Text-to-Image Models on Image-Description Prompts

No zumbido silencioso da computação moderna, um novo tipo de artista surgiu, um que não pinta com pincéis ou argila, mas com palavras. Estes são os sistemas de texto para imagem, programas de computador que ouvem uma descrição humana e tentam desenhar uma imagem que a corresponda. Durante anos, esses sistemas foram testados em pedidos simples, como "um gato sentado em um tapete", onde apresentam um desempenho de uma graça surpreendente. Mas o mundo real raramente é tão simples. Quando um usuário pede algo específico e complexo — como uma cena com exatamente quatro cadeiras vermelhas, uma placa que diz "OPEN" em letras claras e um reflexo em uma poça que obedece às leis da física — os programas frequentemente tropeçam. Eles podem desenhar três cadeiras em vez de quatro, embaralhar as letras na placa ou fazer o reflexo flutuar no ar. Compreender por que esses sistemas falham, e quais deles falham menos, é crucial para qualquer pessoa que pretenda utilizá-los para trabalhos sérios, desde o design de anúncios até a criação de storyboards. A lacuna entre um sistema que funciona bem em tarefas fáceis e um que pode lidar com as demandas desordenadas e detalhadas da realidade é onde reside o verdadeiro teste de inteligência.

Uma equipe de pesquisadores partiu para medir essa lacuna, submetendo quatro dos sistemas geradores de imagem mais avançados a um teste rigoroso. Eles não pediram aos computadores que desenhassem imagens simples; em vez disso, alimentaram-nos com as quarenta e oito descrições mais difíceis disponíveis em uma grande coleção de legendas de imagens do mundo real. Esses prompts foram escolhidos porque exigiam precisão: contagens exatas de objetos, arranjos espaciais específicos e texto legível incorporado na cena. Os sistemas testados foram Hunyuan 3.0, Gemini 3 Pro Image, Black Forest Labs FLUX.2 e Ideogram 3.0. Para garantir um julgamento justo e imparcial, os pesquisadores empregaram um processo inteligente de duas etapas. Primeiro, um modelo de inteligência artificial atuou como escritor, criando uma lista de verificação detalhada do que uma imagem perfeita deveria parecer para cada prompt específico, enquanto também observava a imagem real que o sistema havia produzido para notar quaisquer falhas óbvias. Em seguida, um modelo de inteligência artificial completamente diferente, atuando como juiz, usou essa lista de verificação para avaliar a imagem. Essa separação garantiu que o modelo decidindo o que procurar nunca fosse o mesmo decidindo se a imagem passava no teste, removendo o viés que pode ocorrer quando um sistema avalia o próprio trabalho.

Os resultados revelaram uma clara divisão de capacidade. Dois sistemas, Gemini 3 Pro Image e FLUX.2, emergiram como líderes, pontuando 84,8 e 82,3 de 100, respectivamente. Eles foram seguidos por uma lacuna significativa, com o Ideogram 3.0 pontuando 65,7 e o Hunyuan 3.0 pontuando 63,3. A diferença entre os melhores e os piores desempenhos não foi apenas uma questão de pequenos erros; foi uma diferença fundamental na forma como lidavam com a complexidade. Os sistemas líderes geralmente acertavam o quadro geral, mas ocasionalmente erravam a contagem de objetos ou introduziam pequenas falhas geométricas, como uma roda fundindo-se estranhamente com um quadro. Em contraste, os sistemas de menor desempenho lutavam com o básico. Eles frequentemente falhavam em incluir elementos solicitados inteiramente, como omitir um objeto específico da cena, ou embaralhavam o texto, tornando as palavras rabiscos ilegíveis em vez de letras claras. Por exemplo, ao serem solicitados a desenhar uma caixa de correio com o formato de um carro com um endereço específico nela, o sistema de maior pontuação acertou todos os detalhes, enquanto o sistema de menor pontuação falhou em fazer a caixa de correio parecer um carro, perdeu o endereço e desenhou apenas duas rodas em vez de quatro.

O estudo destaca que, embora esses sistemas estejam melhorando, eles ainda carecem de uma compreensão nativa de regras discretas e simbólicas. Eles são excelentes em capturar o clima geral, a cor e a composição de uma cena, mas têm dificuldade com a lógica precisa necessária para contar itens ou soletrar palavras corretamente. Os pesquisadores descobriram que os desafios mais difíceis para todos os sistemas eram a rotulagem sequencial exata, como numerar blocos de partida de cinco a oito, e contar números específicos de pessoas ou objetos. Mesmo o sistema de melhor desempenho, Gemini 3 Pro Image, perdeu pontos nessas tarefas, embora o tenha feito com muito menos frequência do que os outros. Os sistemas de menor desempenho, particularmente o Ideogram 3.0, mostraram um padrão de omissão de elementos inteiros solicitados, sugerindo que às vezes desistem de instruções complexas em vez de tentar errar os detalhes. Essa distinção é vital para os usuários: se um projeto requer uma cena com muitos objetos distintos, os sistemas líderes são muito mais confiáveis, mas se o objetivo é gerar texto dentro de uma imagem, mesmo os melhores sistemas ainda lutam para acertar sempre.

Em última análise, esta pesquisa demonstra que a capacidade de seguir instruções complexas é a nova fronteza para a geração de imagens. A lacuna entre o melhor e o restante não é uma questão de estilo ou talento artístico, mas de consistência lógica. Os dois sistemas líderes provaram que podem lidar com o trabalho pesado das demandas composicionais, enquanto os outros permanecem propensos a erros fundamentais que quebram a ilusão da realidade. À medida que essas ferramentas passam de curiosidades experimentais para ferramentas de produção, a escolha de qual sistema usar dependerá fortemente da tarefa específica. Para imagens atmosféricas simples, as diferenças podem ser negligenciáveis, mas para solicitações que exigem precisão, os líderes oferecem um nível de confiabilidade que os outros ainda não conseguiram igualar. O caminho a seguir envolve o refinamento desses sistemas para que compreendam melhor as regras de contagem, texto e espaço, transformando-os de artistas que adivinham detalhes em ferramentas que podem executá-los com certeza.