EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing

1. Il Problema

L'editing di immagini basato su istruzioni (instruction-based image editing) ha fatto passi da gigante, ma la sua valutazione rimane un collo di bottiglia critico, specialmente per quanto riguarda le sessioni multi-turno (dove l'utente modifica un'immagine più volte in sequenza). Le metodologie attuali presentano due limiti principali:

1. Dipendenza da immagini di riferimento: I metodi che confrontano l'output con un'immagine di riferimento "ground-truth" soffrono di una copertura limitata e ereditano i bias dei modelli generativi che hanno creato tali riferimenti. Inoltre, lo spazio delle modifiche accettabili è vasto e un singolo riferimento non lo cattura completamente.
2. Limiti dei Modelli Linguaggio-Visione (VLM) zero-shot: I metodi che si affidano esclusivamente a VLM per valutare l'aderenza all'istruzione, la coerenza dei contenuti e la qualità visiva sono spesso imprecisi. I VLM mostrano scarse capacità di ragionamento spaziale, tendono all'allucinazione di oggetti (esistiti, attributi, relazioni) e sono poco sensibili a modifiche localizzate o sottili (es. piccoli cambiamenti di attributi), fondamentali per valutare la coerenza.

2. Metodologia: EdiVal-Agent

Per superare queste sfide, gli autori introducono EdiVal-Agent, un framework di valutazione automatizzato e fine-granularità basato su una prospettiva centrata sugli oggetti (object-centric). Il sistema non valuta l'immagine come un blocco unico, ma la scompone in entità semantiche.

Il pipeline si articola in tre fasi principali:

A. Fase 1: Decomposizione (Decomposition)

Un agente basato su VLM (es. GPT-4o) analizza l'immagine di input e la scompone in oggetti semanticamente significativi, restituendo una struttura JSON dettagliata per ogni oggetto.

• Attributi catturati: Nome dell'oggetto, colore, materiale, testo visibile, conteggio e se è in primo piano.
• Validazione: Gli oggetti estratti vengono validati da un rilevatore open-vocabulary (Grounding-DINO) per ottenere bounding box e confermare la presenza fisica, filtrando così le allucinazioni del VLM.
• Output: Un "pool" di oggetti (All Objects Pool) che traccia lo stato dell'immagine.

B. Fase 2: Generazione delle Istruzioni (Instruction Generation)

Sulla base dello stato degli oggetti decomposti, l'agente genera dinamicamente istruzioni di editing multi-turno.

• Gestione dello stato: Vengono mantenuti tre pool dinamici che si aggiornano ad ogni turno:
  1. P_all: Tutti gli oggetti mai presenti.
  2. P_unch: Oggetti originali non ancora modificati.
  3. P_avail: Oggetti attualmente modificabili.
• Tipologie di istruzioni: Il sistema supporta 9 tipi di istruzioni (es. aggiunta/rimozione/sostituzione di soggetto, alterazione di colore/materiale, cambio testo, cambio posizione, cambio conteggio, cambio sfondo).
• Adattività: Se un tipo di istruzione non è fattibile (es. non ci sono oggetti da spostare), il sistema ne seleziona un altro o ricade su un'aggiunta di soggetto.

C. Fase 3: Valutazione (Evaluation)

Il sistema valuta l'output del modello di editing utilizzando tre metriche specifiche:

1. EdiVal-IF (Instruction Following): Misura se l'istruzione è stata seguita.
   • Per compiti simbolici (es. aggiungere, rimuovere, spostare, contare): Utilizza Grounding-DINO per verificare la presenza/assenza, la posizione delle bounding box e il numero di oggetti.
   • Per compiti semantici (es. cambiare colore, materiale, testo, sfondo): Utilizza un VLM (es. Qwen2-VL) applicato a ritagli specifici guidati dal rilevatore per verificare l'attributo modificato.
2. EdiVal-CC (Content Consistency): Misura quanto il contenuto non modificato è rimasto invariato.
   • Calcola la similarità semantica (usando DINOv3) tra gli oggetti invariati e lo sfondo nell'immagine originale e in quella editata, utilizzando i pool di oggetti dinamici per isolare le regioni corrette.
3. EdiVal-VQ (Visual Quality): Valuta la qualità estetica e la presenza di artefatti.
   • Utilizza HPSv3 (Human Preference Score v3), un modello di preferenza umana addestrato su generazioni recenti, poiché i VLM zero-shot sono spesso imprecisi nella valutazione della qualità visiva.

Punteggio Globale (EdiVal-O): È la media geometrica tra EdiVal-IF e EdiVal-CC, progettata per bilanciare i due aspetti e penalizzare gli squilibri.

3. Contributi Chiave

1. EdiVal-Agent: Un valutatore completamente automatizzato che combina decomposizione simbolica degli oggetti, generazione di istruzioni contestuali e un pipeline di valutazione ibrida (strumenti specialistici + ragionamento VLM).
2. EdiVal-Bench: Un nuovo benchmark multi-turno composto da 1.716 istruzioni su 572 immagini reali, coprendo 9 tipi di istruzioni e 16 modelli di editing (sia closed-source che open-source, inclusi paradigmi in-context, flow-matching e diffusion).
3. Accordo con l'Uomo: La metrica EdiVal-IF raggiunge un accordo con le valutazioni umane dell'81.3%, superando significativamente i VLM zero-shot (75.2%) e i baselines basati su CLIP (65.4%).
4. Analisi Comparativa: Valutazione dettagliata di 13 editor principali, rivelando modelli di fallimento specifici (es. bias di esposizione nei modelli open-source durante i turni multipli).

4. Risultati Principali

Lo studio ha testato modelli come Seedream 4.0, GPT-Image-1/1.5, Nano Banana, FLUX, Qwen-Image-Edit, ecc.

• Leader Assoluto: Seedream 4.0 ottiene le prestazioni migliori overall, offrendo il miglior equilibrio tra aderenza all'istruzione, coerenza dei contenuti e latenza.
• Miglioramenti Generazionali: GPT-Image-1.5 mostra un miglioramento significativo rispetto a GPT-Image-1, specialmente nella coerenza dei contenuti (EdiVal-CC) attraverso i turni. Nano Banana 2 supera la versione precedente nell'aderenza all'istruzione.
• Problemi dei Modelli Open-Source: Qwen-Image-Edit, sebbene performante al primo turno, degrada drasticamente nei turni successivi (EdiVal-O scende da 78.36 a 41.93). Questo indica un forte bias di esposizione: il modello è addestrato su immagini reali e non riesce a gestire bene l'accumulo di errori quando edita le proprie generazioni precedenti.
• Modelli Flow-Matching: FLUX.2-max è il baseline più forte in questa categoria.
• Coerenza vs. Estetica: I modelli come GPT-Image-1 tendono a "abbellire" le immagini (aumentando il punteggio estetico HPSv3) ma a scapito della coerenza dei contenuti. Al contrario, modelli come FLUX.1-Kontext-max preservano meglio l'input originale.
• Multi-turno vs. Prompt Complessi: Per i modelli privi di bias di esposizione, l'editing multi-turno (sequenziale) funziona meglio. Per modelli come Qwen-Image-Edit, comprimere le istruzioni in un singolo prompt complesso ("complex editing") può talvolta funzionare meglio perché evita l'accumulo di errori sequenziali.

5. Significato e Impatto

EdiVal-Agent rappresenta un passo avanti fondamentale verso l'automazione e l'affidabilità nella valutazione dell'editing di immagini.

• Superamento dei Limiti Attuali: Risolve il problema della valutazione soggettiva e imprecisa dei VLM introducendo un controllo simbolico basato sugli oggetti.
• Guida per lo Sviluppo Futuro: Identificando specifici fallimenti (come il bias di esposizione nei turni multipli o la scarsa coerenza spaziale), il framework fornisce indicazioni chiare per la prossima generazione di modelli di editing.
• Standardizzazione: Fornisce un benchmark rigoroso e riproducibile che permette di confrontare equamente modelli con architetture diverse (Diffusion, Flow Matching, Autoregressivi).

In sintesi, il lavoro sposta il paradigma di valutazione da una semplice similarità pixel o da giudizi linguistici generici a una valutazione strutturata, semantica e basata sulla persistenza degli oggetti, essenziale per applicazioni reali di editing iterativo.