TF-SSD: A Strong Pipeline via Synergic Mask Filter for Training-free Co-salient Object Detection

1. Problématique

La Détection d'Objets Co-Saillants (CoSOD) vise à segmenter les objets saillants qui apparaissent de manière cohérente à travers un groupe d'images liées. Bien que les méthodes basées sur l'entraînement aient réalisé des progrès notables, elles souffrent de limitations majeures :

• Généralisation limitée : Elles sont souvent entraînées sur des ensembles de données fermés (closed-set) et peinent à généraliser à de nouvelles classes ou contextes.
• Dépendance aux données annotées : La supervision nécessite des annotations coûteuses et spécifiques à la classe.
• Mésalignement fondamental : Les méthodes supervisées tendent à surajuster aux distributions de classes biaisées des jeux d'entraînement, alors que la CoSOD exige de découvrir un consensus visuel généralisable.

Récemment, les Modèles Fondationnels de Vision (VFM) comme SAM (Segment Anything Model) et DINO ont émergé. SAM excelle dans la génération de masques de segmentation, mais manque de compréhension sémantique pour identifier les relations inter-images. DINO, quant à lui, possède une forte capacité à extraire des caractéristiques sémantiques et des cartes d'attention saillantes, mais offre une localisation parfois grossière. Le défi consiste à combiner ces deux modèles pour créer une méthode sans entraînement (training-free) capable de sélectionner les masques co-saillants corrects parmi des milliers de propositions brutes.

2. Méthodologie : TF-SSD

Les auteurs proposent TF-SSD, une pipeline progressive qui exploite la synergie entre SAM et DINO sans aucun fine-tuning. Le processus se déroule en trois étapes clés :

A. Générateur de Masques de Qualité (QMG - Quality Mask Generator)

SAM génère initialement un ensemble exhaustif de propositions de masques ($M_{raw}$), incluant beaucoup de bruit (objets non pertinents, segments redondants, masques trop petits). Le QMG filtre ces masques en trois sous-étapes :

1. Filtrage initial basé sur SAM : Élimination des masques triviaux (trop petits) en calculant le ratio de surface occupée ($r_{area}$).
2. Filtrage des chevauchements : Suppression des masques qui se chevauchent excessivement avec des masques plus grands (calcul du ratio de chevauchement $\rho$).
3. Évaluation de la qualité : Combinaison du score de confiance IoU fourni par SAM et d'un score de taille ($S_{area}$) pour attribuer un score de qualité global ($S_{ba}$). Seuls les $T_r$ meilleurs masques sont conservés pour former l'ensemble raffiné ($M_{refine}$).

B. Filtre de Saillance Intrimage (ISF - Intra-image Saliency Filter)

Le QMG ne possède pas de conscience sémantique de la saillance visuelle. Pour y remédier, l'ISF utilise les cartes d'attention de DINO.

• Pour chaque image, la carte d'attention du token [CLS] de DINO est extraite.
• Un score de saillance ($s_{sal}$) est calculé pour chaque masque raffiné en mesurant l'alignement spatial entre le masque et les zones de forte réponse de la carte d'attention.
• Les masques avec les scores de saillance les plus élevés sont sélectionnés pour former l'ensemble des masques saillants ($M_{salient}$).

C. Sélecteur de Prototypes Inter-images (IPS - Inter-image Prototype Selector)

L'ISF identifie les objets saillants dans chaque image individuellement, mais ne détermine pas lesquels sont co-saillants (communs au groupe). L'IPS résout ce problème en modélisant la cohérence sémantique entre les images :

• Extraction de prototypes : Pour chaque masque candidat, un vecteur de prototype est extrait en utilisant les caractéristiques globales de DINO (token [CLS]) appliquées à la région masquée.
• Calcul de similarité : Une matrice de similarité cosinus est construite entre tous les prototypes de tous les images du groupe.
• Sélection finale : Pour chaque image, le masque dont le prototype a la plus forte similarité avec les prototypes des autres images (somme des scores de similitude maximaux) est sélectionné comme prédiction finale co-saillante.

3. Contributions Clés

1. Cadre sans entraînement (Training-Free) : Proposition de TF-SSD, une méthode qui atteint des performances de pointe (SOTA) sans nécessiter d'entraînement sur des données annotées, en exploitant uniquement les capacités de généralisation des VFMs.
2. Pipeline Synergique : Introduction d'une architecture en trois étapes (QMG, ISF, IPS) qui transforme efficacement les propositions brutes de SAM en prédictions précises grâce à la guidance sémantique de DINO.
3. Nouveaux Modules de Filtrage :
   • QMG : Pour éliminer le bruit et les redondances géométriques.
   • ISF : Pour filtrer les masques non saillants visuellement en utilisant l'attention de DINO.
   • IPS : Pour établir la cohérence sémantique inter-images et sélectionner les objets communs.
4. Performance Supérieure : Démonstration que l'approche sans entraînement peut surpasser les méthodes supervisées traditionnelles.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks standards : CoCA, CoSal2015 et CoSOD3k.

• Comparaison Quantitative : TF-SSD surpasse toutes les méthodes existantes, y compris les approches supervisées (SOTA) et non supervisées.
  • Sur le benchmark CoCA, TF-SSD dépasse la méthode sans entraînement précédente (ZS-CoSOD) de 13,7 % en termes de score F-measure ($F_{max}^\beta$).
  • Il surpasse également plusieurs méthodes supervisées récentes (comme GCoNet+ et VCP) sur des métriques clés.
• Comparaison Qualitative : Les visualisations montrent que TF-SSD produit des masques plus précis et avec des contours plus lisses, même dans des cas complexes (ex: objets fins comme des baguettes ou des objets avec des textures similaires).
• Études d'Abalation :
  • Chaque composant (QMG, ISF, IPS) apporte une amélioration significative. L'ajout de l'ISF seul provoque un saut de performance majeur, soulignant l'importance de la saillance visuelle guidée par DINO.
  • La stratégie de sélection "Maximum" dans l'IPS (choisir le score de similitude le plus élevé plutôt que la moyenne) s'avère supérieure, confirmant que les objets co-saillants partagent une corrélation sémantique forte et directe.

5. Signification et Impact

Ce travail marque un tournant dans la recherche sur la CoSOD en démontrant que les Modèles Fondationnels de Vision (VFMs) peuvent être orchestrés pour résoudre des tâches complexes de vision par ordinateur sans entraînement spécifique.

• Nouveau Paradigme : Il établit que la combinaison de la segmentation précise (SAM) et de la compréhension sémantique (DINO) peut remplacer les modèles supervisés lourds pour la détection d'objets communs.
• Robustesse : La méthode offre une généralisation exceptionnelle, capable de traiter des images de classes jamais vues durant un "entraînement" (car il n'y en a pas).
• Fondation pour l'avenir : TF-SSD sert de base solide (baseline) pour les futures recherches visant à exploiter les VFMs pour des tâches de perception visuelle avancées, réduisant ainsi la dépendance aux grandes quantités de données annotées.

En résumé, TF-SSD prouve qu'une approche "sans entraînement" bien conçue, exploitant la complémentarité des modèles fondationnels, peut rivaliser et même surpasser les méthodes d'état de l'art les plus avancées.