Sintesi Tecnica: PAINTBENCH

Problematica

Sebbene gli attuali modelli multimodali dimostrino competenza nell'editing visivo aperto e soggettivo (ad esempio, "rendi il cielo più blu"), essi faticano in compiti di editing visivo precisi e a risposta singola. Gli attuali benchmark per l'editing di immagini si basano ampiamente sul giudizio umano, sulla valutazione tramite modelli linguistico-visivi (VLM) o su metriche percettive (ad esempio, SSIM, LPIPS, FID). Questi approcci sono inadatti per compiti con verità di base (ground truth) deterministiche, poiché introducono bias e non riescono a verificare l'esatta correttezza. Il documento identifica una lacuna nella valutazione della capacità dei modelli di eseguire operazioni raster esatte — come spostare una forma di 50 pixel, riempire un'area specifica con il colore (flood-fill), o rimuovere una specifica istanza — dove esiste un unico output corretto.

Metodologia

PAINTBENCH: Un Benchmark Deterministico

Gli autori introducono PAINTBENCH, un benchmark generato proceduralmente progettato per valutare 20 operazioni fondamentali di editing visivo preciso suddivise in quattro categorie:

1. Trasformazione Geometrica: Traslazione, rotazione, riflessione, scalatura, deformazione (shearing).
2. Manipolazione Strutturale: Costruzione, rimozione, copia, bordo, ritaglio.
3. Cambio di Colore: Ricolorazione, riempimento (flood fill), miscelazione (blending), gradiente, operazioni puntuali.
4. Ragionamento Simbolico: Confronto, ordinamento, pattern, conteggio, legenda.

Generazione e Design:

• Generazione Procedurale: I problemi sono generati da seed casuali con parametri configurabili (dimensioni della tela, numero di oggetti, texture dello sfondo, palette di colori). Ciò crea una suite di valutazione potenzialmente infinita e resistente alla contaminazione.
• Verità di Base Deterministica: Ogni problema consiste in un'immagine di input, un'istruzione in linguaggio naturale e un'unica immagine di risposta corretta generata da una trasformazione deterministica $A = f(I, t)$.
• Condizioni Visive: Per testare la robustezza, ogni compito è valutato sotto otto condizioni visive, variando un parametolo alla volta (ad esempio, sfondi a strisce rispetto a sfondi a tinta unita, numero di oggetti da 3 a 60, palette di colori non standard).

Protocollo di Valutazione:

• Confronto a Livello di Pixel: La valutazione evita completamente l'uso di "modelli giudici". Inveverso, confronta l'output del modello $\hat{A}$ rispetto alla verità di base $A$ e all'input $I$ a livello di pixel.
• Distanza di Colore: La correttezza per pixel è misurata tramite $\Delta E^*_{76}$ (distanza euclidea nello spazio CIE Lab*). Un pixel è considerato corretto se la distanza rientra in una tolleranza $t \in \{0, \dots, 10\}$.
• Metriche:
  • IoU@t: L'indice di Jaccard applicato alla correttezza dei pixel, che penalizza congiuntamente il fallimento dell'editing (pixel editati in modo errato) e la corruzione della regione preservata (pixel preservati in modo errato).
  • mIoU (Mean IoU): La metrica di sintesi primaria, che media l'IoU@t attraverso 11 tolleranze di colore ($t=0$ a $10$) e tutti i problemi. Questa cattura le prestazioni attraverso l'intero spettro della precisione del colore.

TINYGRAFIXBENCH

Per testare la generalizzazione oltre le forme sintetiche, gli autori introducono TINYGRAFIXBENCH, un benchmark complementare per l'editing di visualizzazione dati. Esso applica lo stesso framework procedurale e deterministico a cinque tipi di grafici (barre, dispersione, linee, heatmap, reti) con 600 problemi.

Risultati Chiave

Prestazioni Complessive

In tutti gli 11 modelli valutati (che spaziano da generatori multimodali nativi a editor di diffusione e di flow-matching), le prestazioni sono estremamente basse:

• Il modello con le migliori prestazioni (NANO-BANANA-2) raggiunge solo il 17,1% di mIoU.
• Il secondo miglior modello (GPT-IMAGE-2) ottiene il 16,3%.
• I modelli open-weight ottengono generalmente punteggi più bassi, con alcuni (ad esempio, HUNYUANIMAGE-3.0, INSTRUCTPIX2PIX) che segnano quasi lo 0% in molti compiti.

Difficoltà del Compito e Specializzazione

• Compiti più difficili: Le trasformazioni geometriche (specialmente deformazione e scalatura), i cambi di colore basati su formule (gradienti, miscelazione) e la maggior parte delle manipolazioni strutturali sono costantemente difficili per tutti i modelli.
• Compiti più facili: La rimozione e le operazioni a colore singolo (ricolorazione, flood fill) sono più trattabili ma ancora lontane dall'essere risolte (ad esempio, la Rimozione raggiunge circa il 50% per il miglior modello).
• Specializzazione del Modello: I modelli mostrano punti di forza distinti. Ad esempio, GPT-IMAGE-2 eccelle nei compiti geometrici e strutturali, mentre NANO-BANANA-2 guida nei cambi di colore e nel ragionamento simbolico. Significativamente, NANO-BANANA-2 ottiene il 47,1% nei compiti di "Legenda" rispetto al 19,4% di GPT-IMAGE-2.

Sensibilità alla Variazione della Scena

I modelli sono altamente fragili rispetto alle variazioni della scena:

• Sfondi a Strisce: Causano cali significativi di mIoU (ad esempio, -11,1% per NANO-BANANA-2).
• Elevato Numero di Oggetti: Le prestazioni degradano linearmente all'aumentare del numero di oggetti (ad esempio, un calo di -11,9% per NANO-BANANA-2 passando da 3 a 60 oggetti).
• Colori Non Standard: Sebbene i punteggi mIoU generali appaiano stabili, l'accuratezza del match dei pixel esatto ($\Delta E^*_{76} = 0$) crolla per le palette non standard, indicando che i modelli faticano a riprodurre con precisione colori specifici e non standard.
• Dimensione della Regione di Editing: I modelli sovra-editano significativamente rispetto alla regione target. Per regioni di editing piccole (< 32² pixel), i modelli cambiano da 50 a 1.400 volte più pixel del necessario, causando bruschi declini nelle prestazioni.

Generalizzazione

Esiste una forte correlazione lineare ($R^2 = 0,91, p < 0,001$) tra i punteggi di PAINTBENCH e TINYGRAFIXBENCH. Ciò suggerisce che i benchmark sintetici di PAINTBENCH catturano capacità fondamentali che si generalizzano ai compiti di editing della visualizzazione dei dati applicata.

Significato e Rivendicazioni

Il documento afferma che PAINTBENCH fornisce una base rigorosa e priva di bias per misurare i progressi nell'editing visivo preciso e multimodale. Spostando l'attenzione da un'valutazione soggettiva e aperta a una verifica deterministica a livello di pixel, il benchmark rivela che gli attuali modelli allo stato dell'arte sono fondamentalmente incapaci di eseguire operazioni raster di base con alta precisione.

Gli autori sottolineano che:

1. I modelli attuali non hanno "risolto" l'editing preciso: Anche i migliori modelli falliscono la maggior parte dei compiti, in particolare quelli che richiedono precisione geometrica o logica del colore complessa.
2. La valutazione deve essere specifica per il compito: Le classifiche aggregate nascondono significative specializzazioni e modalità di fallimento dei modelli (ad esempio, imprecisione del colore rispetto all'omissione strutturale).
3. La generazione procedurale è essenziale: I benchmark statici sono soggetti a contaminazione; la generazione dinamica permette studi di ablazione controllati delle variazioni di scena (sfondi, numero di oggetti, colori).
4. Il framework è estensibile: L'approccio utilizzato per PAINTBENCH e TINYGRAFIXBENCH può essere applicato ad altri domini con output corretti unici, come la visualizzazione scientifica, il disegno tecnico e la manipolazione di scene 3D.

Il documento conclude che, sebbene la generazione aperta sia progredita, la capacità di eseguire edit visivi esatti e deterministici rimane una sfida critica e non ancora risolta nella AI multimodale.