Benchmarking Frontier Text-to-Image Models on Image-Description Prompts

Nel ronzio silenzioso dell'informatica moderna, è emerso un nuovo tipo di artista, uno che non dipinge con pennelli o argilla, ma con le parole. Questi sono i sistemi di text-to-image, programmi informatici che ascoltano una descrizione umana e tentano di disegnare un'immagine che la corrisponda. Per anni, questi sistemi sono stati testati su richieste semplici, come "un gatto seduto su un tappetino", dove si comportano con una grazia sorprendente. Ma il mondo reale è raramente così semplice. Quando un utente chiede qualcosa di specifico e complesso — come una scena con esattamente quattro sedie rosse, un cartello che riporti la scritta "OPEN" con lettere chiare e un riflesso in una pozzanghera che obbedisca alle leggi della fisica — i programmi spesso inciampano. Potrebbero disegnare tre sedie invece di quattro, confondere le lettere sul cartello o far fluttuare il riflesso nell'aria. Comprendere perché questi sistemi falliscono, e quali falliscono meno, è fondamentale per chiunque speri di usarli per un lavoro serio, dalla progettazione di pubblicità alla creazione di storyboard. Il divario tra un sistema che funziona bene su compiti facili e uno che può gestire le richieste disordinate e dettagliate della realtà è dove risiede la vera prova dell'intelligenza.

Un team di ricercatori si è posto l'obiettivo di misurare questo divario sottoponendo i quattro sistemi di generazione di immagini più avanzati a un test rigoroso. Non hanno chiesto ai computer di disegnare immagini semplici; al contrario, hanno fornito loro le quarantotto descrizioni più difficili disponibili in una vasta collezione di didascalie di immagini del mondo reale. Questi prompt sono stati scelti perché richiedevano precisione: conteggi esatti di oggetti, disposizioni spaziali specifiche e testo leggibile incorporato nella scena. I sistemi testati erano Hunyuan 3.0, Gemini 3 Pro Image, Black Forest Labs FLUX.2 e Ideogram 3.0. Per garantire un giudizio equo e imparziale, i ricercatori hanno impiegato un processo intelligente in due fasi. Prima, un modello di intelligenza artificiale ha agito come uno scrittore, creando una checklist dettagliata di come dovesse apparire un'immagine perfetta per ogni specifico prompt, osservando anche l'immagine effettiva prodotta dal sistema per annotare eventuali difetti evidenti. Poi, un modello di intelligenza artificiale completamente diverso, agendo come un giudice, ha usato quella checklist per valutare l'immagine. Questa separazione ha garantito che il modello che decideva cosa cercare non fosse mai lo stesso che decideva se l'immagine superasse il test, eliminando il pregiudizio che può verificarsi quando un sistema valuta il proprio lavoro.

I risultati hanno rivelato una netta divisione nelle capacità. Due sistemi, Gemini 3 Pro Image e FLUX.2, sono emersi come i leader, con punteggi rispettivamente di 84,8 e 82,3 su 100. Sono seguiti da un divario significativo, con Ideogram 3.0 che ha ottenuto 65,7 e Hunyuan 3.0 che ha ottenuto 63,3. La differenza tra i migliori e i peggiori performer non era solo una questione di piccoli errori; era una differenza fondamentale nel modo in cui gestivano la complessità. I sistemi leader generalmente coglievano l'idea generale, ma occasionalmente sbagliavano il conteggio degli oggetti o introducevano minori glitch geometrici, come una ruota che si fondeva stranamente con un telaio. Al contrario, i sistemi in coda faticavano con le basi. Spesso non riuscivano a includere elementi richiesti, come l'omissione di un oggetto specifico dalla scena, o confondevano il testo, rendendo le parole scarabocchi illeggibili invece di lettere chiare. Ad esempio, quando gli è stato chiesto di disegnare una cassetta delle lettere a forma di auto con un indirizzo specifico sopra, il sistema con il punteggio più alto ha ottenuto ogni dettaglio correttamente, mentre il sistema con il punteggio più basso non è riuscito a far sembrare la cassetta delle lettere affatto un'auto, ha saltato l'indirizzo e ha disegnato solo due ruote invece di quattro.

Lo studio evidenzia che, sebbene questi sistemi stiano migliorando, mancano ancora di una comprensione nativa delle regole discrete e simboliche. Sono eccellenti nel catturare l'atmosfera generale, il colore e la composizione di una scena, ma faticano con la logica precisa richiesta per contare gli articoli o scrivere correttamente le parole. I ricercatori hanno scoperto che le sfide più dure per ogni sistema erano la numerazione sequenziale esatta, come numerare i blocchi di partenza da cinque a otto, e il conteggio di un numero specifico di persone o oggetti. Anche il sistema con le prestazioni migliori, Gemini 3 Pro Image, ha perso punti in questi compiti, sebbene lo abbia fatto molto meno spesso degli altri. I sistemi in coda, in particolare Ideogram 3.0, hanno mostrato un pattern di omissione di interi elementi richiesti, suggerendo che a volte rinuncino alle istruzioni complesse piuttosto che tentare di sbagliare i dettagli. Questa distinzione è vitale per gli utenti: se un progetto richiede una scena con molti oggetti distinti, i sistemi leader sono molto più affidabili, ma se l'obiettivo è generare testo all'interno di un'immagine, anche i migliori sistemi faticano ancora a farlo correttamente ogni volta.

In definitiva, questa ricerca dimostra che la capacità di seguire istruzioni complesse è la nuova frontiera per la generazione di immagini. Il divario tra i migliori e gli altri non è una questione di stile o talento artistico, ma di coerenza logica. I due sistemi leader hanno dimostrato di poter gestire il lavoro pesante delle richieste compositive, mentre gli altri rimangono soggetti a errori fondamentali che rompono l'illusione della realtà. Man mano che questi strumenti passano da curiosità sperimentali a strumenti di produzione, la scelta di quale sistema utilizzare dipenderà fortemente dal compito specifico. Per immagini semplici e d'atmosfera, le differenze possono essere trascurabili, ma per richieste che esigono precisione, i leader offrono un livello di affidabilità che gli altri non sono ancora riusciti a eguagliare. La strada da percorrere consiste nel perfezionare questi sistemi affinché comprendano meglio le regole del conteggio, del testo e dello spazio, trasformandoli da artisti che indovinano i dettagli in strumenti che possano eseguirli con certezza.