S3OD: Towards Generalizable Salient Object Detection with Synthetic Data

Technische Samenvatting: S3OD: Naar Generaliseerbare Salient Object Detection met Synthetische Data

Probleemstelling
Salient Object Detection (SOD) wordt fundamenteel beperkt door datascarciteit. Het creëren van diverse, representatieve datasets vereist dure, pixel-precieze handmatige annotaties die tot wel 10 uur per sample kunnen duren. Bovendien vertonen annotaties vaak inherente ambiguïteit en inconsistentie, aangezien verschillende annotatoren de saliency van een scène verschillend interpreteren. Deze schaarste dwingt de gemeenschap om aparte modellen te trainen voor gespecialiseerde subtaken zoals Dichotomous Image Segmentation (DIS) en High-Resolution SOD (HR-SOD), wat leidt tot taakspecifieke overfitting in plaats van generaliseerbare principes. Bestaande benaderingen met synthetische data lijden aan kritieke beperkingen: traditionele pseudo-labeling is begrensd door de capaciteiten van het teacher-model, directe maskerpredictie via diffusiemodellen levert vaak ruisachtige en inconsistente randen op, en masker-geconditioneerde generatie kampt met een gebrek aan diversiteit. Daarnaast dwingen de meeste huidige architecturen deterministische single-output voorspellingen af, waarbij de inherente ambiguïteit van de taak wordt genegeerd.

Methodologie
De auteurs stellen S3OD voor, een framework bestaande uit een grootschalige synthetische dataset, een iteratieve generatiepipeline en een ambiguïteitsbewuste architectuur.

1. Multi-Modale Dataset Diffusie Pipeline:
   In plaats van te vertrouwen op externe teacher-modellen of ruisachtige aandachtsextractie, maakt de pipeline gebruik van het generatieve proces zelf om supervisie te extraheren. De pipeline gebruikt een FLUX diffusion transformer om afbeeldingen te genereren en tegelijkertijd drie complementaire modaliteiten te extraheren om hoogwaardige maskers te decoderen:

   • FLUX DiT Feature Maps: Geëxtraheerd uit specifieke single-stream transformer lagen om multi-scale ruimtelijk begrip en structurele compositie te coderen.
   • Concept Attention Maps: Afgeleid van statische concept-tokens (bijv. "object" versus "achtergrond") om interpreteerbare semantische lokalisatie te bieden.
   • DINO-v3 Visual Features: Geëxtraheerd uit de gegenereerde afbeeldingen om fijnmazige object-niveau semantiek te vangen via zelfgesuperviseerd leren.
     Deze modaliteiten worden gefuseerd en gevoed aan een DPT-decoder om pixel-wijze annotaties te produceren, wat zorgt voor een sterke alignment tussen afbeelding en label.

2. Iteratief Generatieframework:
   De datageneratie is niet statisch. Een iteratieve feedbackloop past de sampling-distributie dynamisch aan op basis van de prestaties van het downstream-model. Na training op een synthetische batch wordt het model geëvalueerd op uitgesloten categorieën. Categorieën waar het model slecht presteert, krijgen in de volgende generatieronde een hogere weging, waardoor moeilijke gevallen prioriteit krijgen en de dataset continu evolueert om de zwakheden van het model aan te pakken.

3. Ambiguïteitsbewuste Architectuur (S3ODNet):
   Het model gebruikt een lichtgewicht DPT-backbone geïnitialiseerd met DINO-v3 gewichten. Om de inherente ambiguïteit van SOD aan te pakken (waarbij meerdere geldige interpretaties kunnen bestaan), gebruikt de architectuur een multi-mask decoder. In plaats van een enkele deterministische output, voorspelt het $N$ masker-kandidaten en een bijbehorend vector van geschatte IoU-scores.

   • Training: De loss-functie past een "best-match" strategie toe waarbij de primaire loss zich richt op de voorspelling met de hoogste IoU ten opzichte van de ground truth. Om te voorkomen dat ongebruikte branches degenereren, wordt een relaxte assignment loss met exponentiële decay toegepast over alle branches.
   • Inference: Het model schat de IoU-scores voor alle voorspellingen in en selecteert het masker met de hoogste score.

Belangrijkste Bijdragen

• S3OD Dataset: Een grootschalige synthetische dataset met meer dan 139.000 hoog-resolutie afbeeldingen met pixel-wijze annotaties. Dit volume overtreft de gecombineerde omvang van alle bestaande SOD-datasets. De dataset wordt gegenereerd via de multi-modale diffusiepipeline en verfijnd door een meerfasig kwaliteitsfilteringsproces (consistentiecontroles, masker kwaliteitsbeoordeling via VLM, en semantische validatie).
• Iteratieve Datasynthese: Een feedbackgestuurd framework dat moeilijke categorieën prioriteert, waardoor de synthetische datadistributie evolueert om modelzwakheden te dekken.
• Ambiguïteitsbewuste Architectuur: Een gestroomlijnde multi-mask decoder die meerdere geldige interpretaties van saliency afhandelt, waarmee verder wordt gegaan dan deterministische voorspellingen.
• Cross-Task Generalisatie: De aanpak verenigt DIS en HR-SOD, en demonstreert dat een enkel model getraind op synthetische data effectief kan generaliseren over verschillende resoluties en taakdomeinen.

Experimentele Resultaten

• Cross-Dataset Generalisatie: Modellen die alleen op de synthetische S3OD-dataset zijn getraind, bereiken een reductie in fout (MAE) van 20–50% vergeleken met modellen getraind op real-world subtask-datasets (DIS-5K of SOD benchmarks) wanneer ze worden geëvalueerd op cross-dataset benchmarks.
• State-of-the-Art Prestaties: Wanneer gefinetuned op echte data, bereikt S3ODNet nieuwe state-of-the-art resultaten op DIS-5K en diverse HR-SOD benchmarks (UHRSOD, HRSOD-TE, DUTS-TE, DUT-OMRON), waarbij het methoden zoals BiRefNet en InSPyReNet overtreft.
• Zero-Shot Transfer: Het model, getraind enkel op synthetische S3OD-data, vertoont sterke zero-shot generalisatie naar Camouflaged Object Detection (COD), waarbij het modellen getraind op echte COD-datasets overtreft. Fine-tuning op COD-data levert verder SOTA-resultaten op.
• Ablatie Studies:
  • Modaliteiten: Het combineren van alle drie de featurebronnen (DiT, Concept, DINO-v3) is essentieel; individuele modaliteiten zijn onvoldoende voor hoog-resolutie masker decoding.
  • Iteratieve Generatie: Drie ronden van iteratieve generatie verbeteren de prestaties consistent ten opzichte van single-round generatie.
  • Architectuur: De multi-mask decoder met 3 branches en DINO-v3 backbone presteert beter dan single-output varianten en Swin-gebaseerde backbones.

Betekenis en Claims
Het artikel claimt dat de fundamentele bottleneck in SOD datascarciteit is, niet modelcomplexiteit. Door generatieve modellen te gebruiken om een enorme, hoogwaardige synthetische dataset te creëren en een architectuur die rekening houdt met taak-ambiguïteit, laten de auteurs zien dat synthetische data handmatige annotaties kunnen aanvullen en zelfs kunnen overtreffen in het drijven van generalisatie. Het werk suggereert dat de "verzadigde" prestaties op kleine, specifieke academische benchmarks vaak het gevolg zijn van overfitting, en dat echte vooruitgang vereist dat er wordt geëvalueerd op cross-domein generalisatie. De voorgestelde pipeline biedt een schaalbare oplossing voor dense predictie-taken waarbij het verkrijgen van de ground truth een primaire barrière vormt.