SADL: What to Ignore? A Benchmark for Subject-Aware Distractor Localization

Sintesi Tecnica: SADL – Localizzazione di Distrattori Sensibili al Soggetto

Definizione del Problema
Le fotografie contengono frequentemente distrattori visivi: oggetti che competono l'attenzione con il soggetto intenzionale e indeboliscono l'integrità compositiva. Sebbene gli strumenti di editing moderni facilitino la rimozione di oggetti, la fase critica precedente — ovvero l'identificazione di quali oggetti rimuovere — rimane un processo manuale che richiede competenza compositiva. Gli approcci esistenti, inclusi i modelli di salienza e i detector open-vocabulary, soffrono di un limite strutturale: generano una mappa dei distrattori fissa per immagine senza consapevolezza del soggetto. Di conseguenza, non possono adattarsi al mutare dell'intento dell'utente; un oggetto può essere un distrattore rispetto a un soggetto (es. una persona) ma un elemento compositivo essenziale rispetto a un altro (es. un cane). Inoltre, una rimozione priva di contesto rischia di interrompere la coerenza semantica, come rimuovere una sedia su cui il soggetto è seduto. Questo articolo formalizza il compito della Localizzazione di Distrattori Sensibili al Soggetto (SADL): dato un'immagine $I$ e una descrizione testuale di un soggetto principale $M$, il sistema deve identificare quali altri oggetti siano distrattori rispetto a $M$.

Metodologia e Framework
Il framework SADL definisce un distrattore come un oggetto che soddisfa almeno uno dei cinque fattori di inclusione (meccanismi che guidano la competizione dell'attenzione) pur non attivando nessuno dei tre regole di esclusione (vincoli contestuali che impongono la ritenzione).

• Fattori di Inclusione ($F_1$–$F_5$):
  • $F_1$ (Salienza Visiva): Alto contrasto di colore, luminanza o novità della texture.
  • $F_2$ (Prossimità Spaziale): Adiacenza al soggetto $M$.
  • $F_3$ (Incongruenza Semantica): Fuori contesto rispetto alla scena.
  • $F_4$ (Similiarità Categorica): Condivisione della stessa categoria semantica di $M$, causando ambiguità referenziale.
  • $F_5$ (Dominanza di Scala): Occupazione di un'area sproporzionatamente grande rispetto a $M$.
• Regole di Esclusione ($E_1$–$E_3$):
  • $E_1$ (Attributo di $M$): Oggetti tenuti, indossati o attaccati a $M$.
  • $E_2$ (Ambiente Neutro): Elementi di sfondo attesi, troppo piccoli o numerosi per competere individualmente.
  • $E_3$ (Dipendenza Funzionale): Oggetti la cui rimozione renderebbe logicamente incoerente l'attività del soggetto.

Costruzione del Dataset (SADL)
Gli autori introducono SADL, il primo benchmark del mondo reale per questo compito, composto da:

• Scala: 1.000 immagini ad alta risoluzione da diversi dataset pubblici (COCO, Winoground, Visual Genome, Open Images) attraverso otto categorie di scene.
• Casi: 1.800 casi sensibili al soggetto (media di 1,8 casi per immagine), dove una singola immagine genera più casi basati su diversi soggetti $M$ specificati.
• Annotazioni: 14.617 candidati annotati, inclusi 1.938 hard negatives (oggetti che sembrano essere distrattori ma devono essere mantenuti a causa delle regole di esclusione).
• Pipeline: Un processo di annotazione ibrido utilizzando il pre-labeling agentico (Qwen3-VL-32B) seguito da revisione umana e giudizio da parte di fotografi professionisti per risolvere i disaccordi. L'accordo tra annotatori (Cohen's $\kappa$) ha raggiunto 0,534 per le etichette binarie, con un accordo maggiore sui fattori geometrici/categorici rispetto a quelli percettivi.

Framework di Valutazione
Il documento impiega un protocollo di valutazione duale per isolare specifici modi di fallimento:

1. Classificazione Guidata (GC): Il modello riceve l'immagine, la descrizione del soggetto e un elenco pre-enumerato di candidati, predicendo un'etichetta a tre classi (Distrattore, Escluso, Non-distrattore) con attribuzioni di fattori/regole. Questo isola il ragionamento compositivo.
2. Rilevamento Aperto (OD): Il modello riceve solo l'immagine e la descrizione del soggetto, enumerando liberamente i candidati che vengono poi radicati tramite maschere tramite SAM 3. Questo misura le prestazioni di deployment end-to-end.

Risultati Chiave
La valutazione di sette modelli Vision-Language (VLM) e quattro baseline non-reasoning rivela una gerarchia di fallimenti sistematici:

• Sovra-attivazione dell'Esclusione: I modelli all'avanguardia (es. GPT-4.1, Gemini 3 Pro) dimostrano un'alta capacità di identificare i distrattori ma applicano sistematicamente in eccesso le regole di esclusione. Quando le regole di esclusione vengono rimosse dal prompt, il richiamo dei distrattori (D-Rec) per questi modelli aumenta significativamente (es. GPT-4.1 dal 65,1% all'88,9%), indicando che il collo di bottiglia primario è la calibrazione dell'esclusione piuttosto che il fallimento del rilevamento. I modelli tendono ad applicare l'esclusione a livello di scena piuttosto che ancorarla al soggetto specifico $M$.
• Fallimento del Rilevamento dei Fattori: I modelli open-weight più deboli (es. Pixtral-12B) falliscono anche quando le regole di esclusione vengono rimosse, suggerendo un deficit nel radicamento percettivo dei fattori di inclusione, particolarmente per l'incongruenza semantica ($F_3$).
• Contaminazione dell'Output: Alcuni modelli open-weight producono output strutturalmente incoerenti in cui i criteri di esclusione scattano senza che siano stati attivati i fattori di inclusione, sopprimendo silenziosamente i veri distrattori.
• Collo di Bottiglia del Radicamento Spaziale: Esiste un divario significativo di prestazioni tra i punteggi F1 di GC e OD ($\Delta$F1 è negativo per tutti i modelli). Questo calo è attribuito principalmente ai fallimenti di conversione da etichetta a maschera (es. descrizioni testuali verbiose o imprecise che non riescono a radicarsi tramite SAM 3) piuttosto che al modello di segmentazione stesso.

Significatività e Contributi
Il documento rivendica tre contributi primari:

1. Framework Formale: Una definizione rigorosa della localizzazione di distrattori sensibili al soggetto basata sulla teoria dell'attenzione visiva, che consente la decomposizione degli errori a livello di processo per causa radice (inclusione vs. esclusione vs. radicamento).
2. Benchmark Diagnostico: SADL fornisce una risorsa unica con hard negatives e un design a doppio protocollo che espone modalità di fallimento (specificamente la sovra-attivazione dell'esclusione) che i benchmark binari confondono o oscurano.
3. Analisi Empirica: Lo studio identifica quattro distinti modi di fallimento (sovra-attivazione dell'esclusione, contaminazione dell'output, fallimento del rilevamento dei fattori e fallimento del radicamento spaziale), offrendo firme diagnostiche specifiche e direzioni di rimedio per i sistemi multimodali.

Gli autori concludono che, sebbene i VLM possiedano forti capacità di ragionamento compositivo, il loro deployment end-to-end è attualmente ostacolato dalla mancanza di una calibrazione dell'esclusione condizionata al soggetto e di un robusto radicamento spaziale. SADL funge da strumento fondamentale per far avanzare queste specifiche capacità nella ricerca futura.