SADL: What to Ignore? A Benchmark for Subject-Aware Distractor Localization

Technische Samenvatting: SADL – Subject-Aware Distractor Localization

Probleemdefinitie
Foto's bevatten vaak visuele distractoren—objecten die de aandacht opeisen van het beoogde onderwerp en de compositorische integriteit verzwakken. Hoewel moderne bewerkingsinstrumenten objectverwijdering vergemakkelijken, blijft de cruciale voorgaande stap van het identificeren van welke objecten verwijderd moeten worden een handmatig proces dat compositorische expertise vereist. Bestaande benaderingen, inclus�ndeling saliency-modellen en open-vocabulary detectoren, lijden aan een structurele beperking: ze genereren een vaste distractor-kaart per afbeelding zonder subjectbewustzijn. Bijgevolg kunnen ze niet adapteren aan de verschuivende intentie van de gebruiker; een object kan een distractor zijn ten opzichte van één subject (bijv. een persoon), maar een essentieel compositorisch anker ten opzichte van een ander (bijv. een hond). Bovendien brengt context-agnostische verwijdering het risico met zich mee dat de semantische coherentie wordt verstoord, zoals het verwijderen van een stoel waarop een subject zit. Dit artikel formaliseert de taak van Subject-Aware Distractor Localization (SADL): gegeven een afbeelding $I$ en een tekstuele beschrijving van een hoofdonderwerp $M$, moet het systeem identificeren welke andere objecten distractoren zijn ten opzichte van $M$.

Methodologie en Framework
Het SADL-framework definieert een distractor als een object dat ten minste één van de vijf inclusief-factoren (mechanismen die aandachtscompetitie aansturen) vervult, terwijl het geen van de drie exclusie-regels (contextuele beperkingen die behoud voorschrijven) triggert.

• Inclusief-factoren ($F_1$–$F_5$):
  • $F_1$ (Visuele Saliëntie): Hoge kleurcontrasten, luminantie of textuur-nieuwheid.
  • $F_2$ (Ruimtelijke Nabijheid): Adjacentie tot het subject $M$.
  • $F_3$ (Semantische Incongruentie): Buiten de context ten opzichte van de scène.
  • $F_4$ (Categorische Gelijkenis): Het delen van dezelfde semantische categorie als $M$, wat leidt tot referentiële ambiguïteit.
  • $F_5$ (Schaaldominantie): Een onevenredig groot gebied innemen ten opzichte van $M$.
• Exclusie-regels ($E_1$–$E_3$):
  • $E_1$ (Attribuut van $M$): Objecten die worden vastgehouden, gedragen of aan $M$ bevestigd zijn.
  • $E_2$ (Neutrale Omgeving): Verwachte achtergrondelementen die te klein of te talrijk zijn om individueel te concurreren.
  • $E_3$ (Functionele Afhankelijkheid): Objecten waarvan de verwijdering de activiteit van het subject logisch incoherent zou maken.

Dataset Constructie (SADL)
De auteurs introduceren SADL, de eerste real-world benchmark voor deze taak, bestaande uit:

• Omvang: 1.000 hoog-resolutie afbeeldingen uit diverse publieke datasets (COCO, Winoground, Visual Genome, Open Images) verspreid over acht scène-categorieën.
• Casussen: 1.800 subject-bewuste casussen (gemiddeld 1,8 casussen/afbeelding), waarbij één enkele afbeelding meerdere casussen oplevert op basis van verschillende gespecificeerde subjecten $M$.
• Annotaties: 14.617 geannoteerde kandidaten, inclusief 1.938 harde negatieven (objecten die schijnbaar distractoren zijn, maar behouden moeten blijven vanwege exclusie-regels).
• Pipeline: Een hybride annotatieproces met behulp van agentic pre-labeling (Qwen3-VL-32B), gevolgd door menselijke review en bemiddeling door professionele fotografen om onenigheid op te lossen. De inter-annotator overeenstemming (Cohen's $\kappa$) bereikte 0,534 voor binaire labels, met een hogere overeenstemming op geometrische/categorische factoren dan op perceptuele factoren.

Evaluatie Framework
Het artikel hanteert een duaal protocol voor evaluatie om specifieke foutmodi te isoleren:

1. Guided Classification (GC): Het model ontvangt de afbeelding, de subjectbeschrijving en een vooraf genummerde lijst van kandidaten, waarbij een drieklassen-label wordt voorspeld (Distractor, Excluded, Non-distractor) met factor/regel attributies. Dit isoleert compositioneel redeneren.
2. Open Detection (OD): Het model ontvangt enkel de afbeelding en de subjectbeschrijving, en genereert vrijelijk kandidaten die vervolgens via SAM 3 aan maskers worden gekoppeld. Dit meet de end-to-end deployment performance.

Belangrijkste Resultaten
De evaluatie van zeven Vision-Language Models (VLMs) en vier non-reasoning baselines onthult een hiërarchie van systematische fouten:

• Exclusie Over-triggering: Frontier-modellen (bijv. GPT-4.1, Gemini 3 Pro) vertonen een hoge capaciteit in het identificeren van distractoren, maar passen exclusie-regels systematisch te strikt toe. Wanneer de exclusie-regels uit de prompt worden verwijderd, stijgt de distractor recall (D-Rec) voor deze modellen aanzienlijk (bijv. van 65,1% naar 88,9% voor GPT-4.1), wat aangeeft dat de primaire bottleneck exclusie-kalibratie is in plaats van een detectiefout. Modellen hebben de neiging om exclusie toe te passen op scène-niveau in plaats van het te verankeren aan het specifieke subject $M$.
• Factor Detectie Falen: Zwakkere open-weight modellen (bijv. Pixtral-12B) falen zelfs wanneer de exclusie-regels zijn verwijderd, wat duidt op een tekort in de perceptuele gronding van inclusief-factoren, met name voor semantische incongruentie ($F_3$).
• Output Contaminatie: Sommige open-weight modellen produceren structureel inconsistente outputs waarbij exclusie-criteria afgaan zonder dat er inclusief-factoren zijn getriggerd, waardoor ware distractoren stilzwijgend worden onderdrukt.
• Ruimtelijke Gronding Bottleneck: Er bestaat een aanzienlijk prestatie-gat tussen GC en OD F1-scores ($\Delta$F1 is negatief voor alle modellen). Deze daling wordt primair toegeschreven aan fouten bij de conversie van label-naar-masker (bijv. verbale of onnauwkeurige tekstbeschrijvingen die falen in de gronding via SAM 3) in plaats van aan het segmentatiemodel zelf.

Significantie en Bijdragen
Het artikel claimt drie primaire bijdragen:

1. Formeel Framework: Een rigoureuze definitie van subject-bewuste distractor lokalisatie, geworteld in visuele aandachtstheorie, wat procesmatige foutdecompositie mogelijk maakt op basis van de oorzaak (inclusie versus exclusie versus gronding).
2. Diagnostische Benchmark: SADL biedt een unieke bron met harde negatieven en een duaal protocol-ontwerp dat foutmodi (specifiek exclusie over-triggering) blootlegt die binaire benchmarks samenvoegen of verhullen.
3. Empirische Analyse: De studie identificeert vier onderscheidende foutmodi (exclusie over-triggering, output contaminatie, factor detectie falen en ruimtelijke gronding falen), en biedt specifieke diagnostische signaturen en remediëringsrichtingen voor multimodale systemen.

De auteurs concluderen dat hoewel VLMs over sterke compositorische redeneerkracht beschikken, hun end-to-end inzetbaarheid momenteel wordt gehinderd door een gebrek aan subject-geconditioneerde exclusie-kalibratie en robuuste ruimtelijke gronding. SADL dient als een fundamenteel instrument om deze specifieke capaciteiten in toekomstig onderzoek te bevorderen.