Riepilogo Tecnico: PhysEditBench

Enunciato del Problema

I generatori di immagini generici (ad esempio, Nano-Banana, GPT-Image-2) si sono evoluti in sistemi versatili capaci di trasformazioni guidate da istruzioni e modifiche che preservano il layout. Tuttavia, rimane incerto se questi modelli pronti all'uso possano prevedere mappe fisiche dense — come profondità, normali di superficie, albedo, ruvidità e mappe metalliche — da una singola immagine RGB interna senza addestramento specifico per il compito.

Valutare questa capacità presenta sfide uniche rispetto ai benchmark standard di previsione densa. A differenza dei predictor specializzati che mappano direttamente l'RGB a una mappa target, gli editor di immagini richiedono prompt specifici, esempi o indizi derivati dall'immagine per funzionare. Inoltre, le mappe fisiche possiedono proprietà distinte: la profondità è spesso ambigua fino a una scala, le mappe delle normali dipendono da convenzioni specifiche codificate a colori, l'albedo richiede la separazione del colore intrinseco dall'illuminazione e le mappe metalliche sono campi di materiale sparsi. Le valutazioni esistenti si concentrano sul rispetto delle istruzioni o sulla qualità visiva, non riuscendo a misurare se gli editor generici possano recuperare la verità fondamentale fisica sotto protocolli controllati e specifici per il target.

Metodologia: PhysEditBench

Gli autori introducono PhysEditBench, un benchmark condizionato dal protocollo progettato per valutare e standardizzare gli editor di immagini sulla previsione di mappe fisiche dense. Il benchmark è strutturato attorno a tre componenti principali:

1. Costruzione del Dataset e Affidabilità della Fonte

Il benchmark utilizza fonti di dati dipendenti dal target per garantire l'affidabilità dell'annotazione:

• Profondità, Normali, Albedo e Ruvidità: Valutati su OpenRooms-FF e InteriorVerse.
• Metallico: Valutato su una nuova fonte compagna generata proceduralmente, PBR-Rooms.
  • Razionale: I canali di ruvidità e metallico di InteriorVerse sono stati esclusi dalla valutazione ufficiale a causa di preoccupazioni sull'affidabilità (ad esempio, intreccio con le texture RGB, riflessi speculari e artefatti di rendering). OpenRooms-FF manca di supervisione metallica, rendendo necessaria la fonte compagna.
• Campionamento: Il benchmark impiega un campionamento a livello di scena per evitare una sovrarappresentazione di viste quasi duplicate. Definisce una divisione Main-Axis (illuminazione standard) e una divisione Stress-Axis (condizioni impegnative come luce scarsa, HDR e scene ricche di riflessi) basata su statistiche fotometriche programmatiche.

2. Protocolli di Accesso Specifici per Target

Per garantire un confronto equo, PhysEditBench definisce un protocollo fisso per ogni target, specificando input consentiti, formati di output e procedure di punteggio. Fondamentalmente, nessun protocollo fornisce mappe di verità fondamentale, etichette del benchmark o evidenze multi-vista durante l'inferenza.

• Profondità: Utilizza un prompt fisso che specifica una convenzione bianco-vicino (bianco=vicino, nero=lontano).
• Normali: Utilizza tre coppie fisse di esempi RGB-normali per comunicare la convenzione di codifica, poiché le istruzioni basate solo sul prompt spesso non riescono a stabilizzare l'output.
• Albedo: Utilizza un'analisi dell'illuminazione basata solo sull'immagine di query (memorizzata nella cache dalla stessa immagine RGB) per guidare la rimozione degli effetti di illuminazione preservando la struttura.
• Ruvidità e Metallico: Utilizzano prompt controllati RGB-a-mappa senza priori ausiliari o esempi.

3. Metriche di Valutazione e Diagnostica

• Metriche Primarie: AbsRel affine-invariante (AbsRel-AI) per la profondità; Acc@22.5 per le normali; MAE per albedo e metallico; RMSE per la ruvidità.
• Diagnostica: Include il recupero dei bordi (Boundary F1), profili di errore angolare e metriche strutturali/percettive (SSIM, LPIPS).
• Diagnostica del Protocollo: Sottogruppi separati sono utilizzati per analizzare come le prestazioni cambiano con diversi indizi (ad esempio, rimuovendo gli esempi di normali, aggiungendo priori di segmentazione o variando la forza del prompt). Questi sono distinti dalle classifiche ufficiali.

Risultati Chiave

La valutazione confronta editor di immagini proprietari (GPT-Image-1.5/2.0, WAN2.7-Image, Doubao Seedream 5.0, Qwen-Image-2.0) con predictor specializzati (Depth Anything 3, Lotus, StableNormal, DNF-Intrinsic, ecc.).

• Profondità, Normali e Albedo: I predictor specializzati superano significativamente gli editor generici sulle metriche primarie.
  • Profondità: Depth Anything 3 e Lotus dominano le metriche scalari e dei bordi. Tra gli editor, WAN2.7-Image e GPT-Image-2.0 mostrano le migliori prestazioni relative ma rimangono molto indietro rispetto ai modelli specializzati.
  • Normali: I modelli specializzati (StableNormal, Lotus) raggiungono un'alta accuratezza direzionale (Acc@22.5 > 0,86), mentre gli editor faticano (Acc@22.5 < 0,21), anche con condizionamento tramite esempi.
  • Albedo: DNF-Intrinsic guida in tutte le metriche. Editor come GPT-Image-2.0 e Seedream 5.0 mostrano una distorsione scalare competitiva (MAE) ma rimangono indietro nella fedeltà strutturale.
• Ruvidità e Metallico: Il divario si riduce.
  • Ruvidità: GPT-Image-2.0 raggiunge il miglior RMSE (0,323), superando le baseline specializzate come Intrinsic Image Diffusion (0,346) sull'errore scalare, sebbene i modelli specializzati mantengano una migliore coerenza strutturale (SSIM).
  • Metallico: GPT-Image-2.0 raggiunge il miglior MAE (0,051) sulla fonte compagna, superando le baseline specializzate. Tuttavia, gli autori notano che questi punteggi misurano la fedeltà della mappa continua su regioni sparse piuttosto che il rilevamento esplicito del metallico.
• Analisi dello Stress: I divari di prestazioni persistono sotto illuminazione impegnativa (HDR, luce scarsa). Per albedo e ruvidità, le classifiche specifiche per fonte e specifiche per metrica si spostano sotto stress, evidenziando che l'errore scalare non sempre si correla con la preservazione strutturale.
• Sensibilità del Protocollo: Le varianti diagnostiche rivelano che gli indizi consentiti modificano materialmente gli output. Ad esempio, la rimozione degli esempi di normali aumenta drasticamente l'errore angolare, e l'aggiunta di priori di segmentazione migliora la struttura della ruvidità ma cambia la valutazione da un compito diretto RGB-a-mappa.

Significato e Affermazioni

Il documento afferma che PhysEditBench fornisce il primo framework standardizzato per valutare gli editor di immagini generici sulla previsione di mappe fisiche dense. I suoi contributi principali sono:

1. Valutazione Condizionata dal Protocollo: Stabilisce che la valutazione degli editor di immagini richiede impostazioni di accesso e regole di punteggio specifiche per il target, piuttosto che una singola strategia di prompting. Un punteggio riflette le prestazioni sotto un protocollo specifico, non il potenziale massimo del modello attraverso tutte le possibili interazioni.
2. Realtà Dipendente dal Target: I risultati dimostrano che la "plausibilità visiva" non garantisce l'"accuratezza fisica". Sebbene gli editor possano produrre output simili a mappe, i predictor specializzati rimangono superiori per la geometria (profondità, normali) e la decomposizione intrinseca (albedo).
3. Competitività Emergente nelle Proprietà dei Materiali: Per le mappe di ruvidità e metallico, editor di immagini più potenti possono eguagliare o superare le baseline specializzate sulle metriche scalari, suggerendo un cambiamento nelle capacità per la stima delle proprietà dei materiali, sebbene rimangano limitazioni strutturali e di robustezza.
4. Valore Diagnostico: Il benchmark evidenzia che le prestazioni dipendono fortemente dal target, dalla metrica, dal protocollo e dalla condizione dell'immagine, argomentando contro la riduzione di tutti i sistemi a una singola classifica complessiva.

Gli autori mantengono una posizione modesta, notando che il benchmark è limitato a fonti interne sintetiche e a una fonte metallica generata proceduralmente. Di conseguenza, i risultati misurano le prestazioni del benchmark controllato piuttosto che la piena generalizzazione nel mondo reale o l'utilità a valle. Il lavoro serve a identificare dove gli attuali editor di immagini stanno diventando competitivi e dove i predictor dedicati dominano ancora.