💻 computer science

What Pixels Are Enough? SEAMS: Sufficiency Saliency via MSE-Preservation Soft-Masks

Cet article introduit SEAMS, une méthode de saillance basée sur la suffisance qui génère des masques d'interprétabilité compacts et stables en optimisant directement les masques souples pour préserver des sorties de modèle spécifiques sans nécessiter de jeux de données auxiliaires ou de mécanismes propres à l'architecture.

Auteurs originaux : Magdalena Trędowicz, Łukasz Struski, Arkadiusz Lewicki, Karolina Pachota, Andrzej Grudzień, Mateusz Jagła, Jacek Tabor

Publié 2026-07-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Magdalena Trędowicz, Łukasz Struski, Arkadiusz Lewicki, Karolina Pachota, Andrzej Grudzień, Mateusz Jagła, Jacek Tabor

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un robot géant et de haute technologie capable de deviner ce qu'il y a dans une image. Vous lui demandez : « Est-ce un chat ? » et il répond : « Oui ! ». Mais comment le sait-il ? Regarde-t-il les moustaches ? Les oreilles ? La queue duveteuse ? Ou devine-t-il simplement à cause de la couleur de l'arrière-plan ?

Pendant longtemps, les scientifiques ont essayé de répondre à cela en demandant au robot : « Que se passe-t-il si je fais bouger ce minuscule pixel ? ». Si la réponse du robot changeait, ils marquaient ce pixel comme important. Mais les auteurs de ce papier, SEAMS, disent que c'est comme essayer de trouver le moteur d'une voiture en tapotant sur le capot pour voir s'il fait du bruit. Ce n'est pas parce qu'une pièce tremble quand on la tapote qu'elle est la seule à faire fonctionner la voiture. Peut-être que le moteur est réellement là-bas, et que le capot est juste bruyant.

La Grande Idée : Le Test du « Suffisant »
Au lieu de demander « Qu'est-ce qui rend le robot nerveux ? », SEAMS pose une question beaucoup plus simple : « Quel est le plus petit tas de pixels que nous pouvons garder pour que le robot dise toujours "Chat" ? »

Voyez cela comme un jeu de « Garder le Signal, Perdre le Bruit ». Les chercheurs prennent une image et commencent à jouer à un jeu de cache-cache numérique avec les pixels. Ils créent un « masque » spécial et invisible qui recouvre la majeure partie de l'image. Mais voici l'astuce : ils ne le recouvrent pas simplement de noir. Ils remplacent les parties cachées par un mélange étrange d'une version floue de la photo et d'une version totalement brouillée et « distrayante » de la même photo.

Ensuite, ils ajustent le masque encore et encore (environ 2 000 fois pour chaque image) pour trouver la forme parfaite. Ils veulent que le masque soit aussi petit que possible, mais il doit être assez grand pour que le robot voie toujours clairement le chat. Si le masque est trop petit, le robot est confus. S'il est trop grand, le masque ne remplit pas sa fonction de trouver le minimum nécessaire.

Le Tour de Magie des « Trois Voies »
Pour s'assurer que le robot ne triche pas en regardant des contours flous ou des motifs de couleurs bizarres, les chercheurs utilisent une recette ingénieuse en trois parties pour les parties cachées de l'image :

Le Vrai Détail : Les parties que le masque garde sont les pixels originaux et nets.
La Distraction : Les parties que le masque cache sont remplacées par une version de la photo qui a été pivotée, retournée et dont les couleurs ont été modifiées jusqu'à ressembler à un cauchemar fiévreux. Cela empêche le robot de compter sur des astuces simples.
Le Flou : Le reste est rempli par une version très floue de la photo. Cela conserve la forme générale de la pièce ou de l'arrière-plan sans donner de détails spécifiques.

En mélangeant ces trois éléments, le robot est forcé de se concentrer sur les éléments réellement importants pour faire sa prédiction.

Ce qu'ils ont trouvé (et ce qu'ils ne prétendent pas)
Le papier montre que cette méthode fonctionne très bien sur différents types de cerveaux de robots, y compris ceux appelés ViT et ConvNeXt. Lorsqu'ils l'ont testée, ils ont découvert que :

C'est super efficace : Le robot peut souvent reconnaître un objet en utilisant seulement environ 5 % à 10 % des pixels. C'est comme reconnaître un visage en utilisant seulement les yeux et le nez, en ignorant les cheveux et les oreilles.
C'est stable : Si vous relancez le jeu avec un point de départ différent, vous obtenez presque le même masque. Ce n'est pas un coup de chance.
Différents cerveaux, différentes cartes : C'est la partie la plus cool. Ils ont découvert que deux modèles de robots différents peuvent tous deux identifier correctement un « violon », mais qu'ils regardent des parties totalement différentes du violon pour le faire ! L'un peut se concentrer sur les cordes, tandis que l'autre se concentre sur le grain du bois. Le papier suggère qu'il n'existe pas une seule façon « correcte » de voir un objet ; différents modèles s'appuient sur différentes « preuves suffisantes ».

Ce qu'ils disent explicitement que ce n'est PAS
Les auteurs sont très clairs sur ce que cette méthode n'est pas.

Elle n'est pas une question de sensibilité. Ils argumentent explicitement contre l'idée que le simple fait qu'un pixel change la réponse lorsqu'on le fait bouger signifie qu'il est le plus important. Leur méthode trouve ce qui est suffisant, pas ce qui est sensible.
Ce n'est pas un outil de segmentation magique qui découpe des objets parfaits comme une paire de ciseaux. Elle trouve les pixels nécessaires pour la prédiction, qui peuvent être dispersés ou clairsemés.
Ce n'est pas un repas gratuit. Le papier admet que cette méthode est plus lente que les anciennes méthodes de « tremblement » car elle doit exécuter le jeu d'optimisation de 2 000 étapes pour chaque image. C'est coûteux en termes de calcul.

Le Test Médical
Pour voir si ce tour fonctionne dans le monde réel, ils l'ont testé sur un ensemble de données privées de photos de l'œil de bébés prématurés (une pathologie appelée rétinopathie de la prématurité). Sans changer aucune règle ni aucune mathématique, la méthode a réussi à mettre en évidence les vaisseaux sanguins spécifiques et les formes de croissance étranges que les médecins recherchent. Cela suggère que la méthode n'est pas seulement un jouet pour les images informatiques ; elle pourrait réellement aider à expliquer les décisions médicales, bien que le papier s'arrête avant de dire qu'elle est prête pour un hôpital demain.

L'Essentiel
SEAMS est comme un détective qui ne demande pas « Qu'est-ce qui te rend nerveux ? » mais plutôt « De quoi as-tu le strict minimum pour résoudre cette affaire ? ». Il élimine le superflu, l'arrière-plan et les distractions, ne laissant que les minuscules pixels essentiels qui prouvent que le robot a raison. Et ce faisant, il révèle que différents robots peuvent résoudre le même puzzle de manières totalement différentes.

Résumé Technique : SEAMS – Sufficiency Saliency via MSE-Preservation Soft-Masks

Énoncé du Problème

Les méthodes actuelles d'explication visuelle en vision par ordinateur reposent principalement sur des approches de sensibilité (ex. : attribution de gradient, Integrated Gradients, Layer-wise Relevance Propagation). Ces méthodes estiment à quel point la sortie d'un modèle est sensible à des perturbations infinitésimales de l'entrée. Cependant, les auteurs soutiennent que la sensibilité et la suffisance sont des concepts fondamentalement distincts. Un pixel peut présenter un score d'attribution élevé en raison d'une sensibilité élevée (de petits changements provoquent de grands décalages de sortie) tout en étant redondamment encodé ailleurs dans l'image. Inversement, des pixels ayant de faibles gradients peuvent être strictement nécessaires pour préserver une prédiction.

Les méthodes basées sur la perturbation existantes qui tentent d'aborder la suffisance souffrent souvent de limitations spécifiques : elles peuvent nécessiter des ensembles de données de distracteurs auxiliaires, dépendre de mécanismes d'attribution spécifiques à l'architecture, ou nécessiter des relaxations de type top- $k$ différentiables complexes et des opérateurs de tri pour sélectionner des sous-ensembles discrets de pixels. Le problème central abordé est la manière d'identifier le sous-ensemble minimal et compact de pixels d'image qui est suffisant pour préserver une sortie de modèle spécifique (telle qu'une probabilité de classe, un embedding CLS ou une représentation de jeton/token) sans ces dépendances auxiliaires.

Méthodologie : SEAMS

Les auteurs proposent SEAMS (Sufficiency Saliency via MSE-Preservation Soft-Masks), un cadre post-hoc, agnostique au modèle, qui optimise directement un masque doux pour préserver une représentation cible.

Cadre Fondamental

Étant donné un modèle de vision différentiable gelé $g$ et une image d'entrée $x$ , l'objectif est de trouver un masque doux $M \in [0, 1]^{H \times W}$ tel que la sortie du modèle calculée à partir d'un composite masqué $\tilde{x}$ reste proche de la sortie originale $y^\star = g(x)$ .

Composants Clés

Paramétrage du Masque :
Au lieu d'optimiser le masque directement, SEAMS optimise des logits non contraints $\ell$ . Ceux-ci sont transformés en un masque valide via un paramétrage de type normalisation-et-clipping :
- $u = \text{softplus}(\ell)$ assure la non-négativité.
- $\bar{u} = \alpha \frac{u}{\text{mean}(u)}$ impose un budget de parcimonie apprenable $\alpha \in (0, 1]$ .
- $M = \text{clip}(\bar{u}, 0, 1)$ contraint les valeurs à $[0, 1]$ .
  Cette approche évite la sélection explicite de sous-ensembles, le tri différentiable, l'échantillonnage de Gumbel ou les relaxations top- $k$ . L'étape de normalisation crée une compétition entre les pixels pour le budget, poussant naturellement le masque vers la parcimonie (valeurs proches de la binarité) sans mécanismes de binarisation explicites.
Composite d'Image à Trois Voies :
Pour évaluer le masque, les auteurs construisent une image composite $\tilde{x}$ utilisant trois sources générées entièrement à partir de l'image de requête $x$ :
- Original ( $x$ ) : Régions préservées où $M \approx 1$ .
- Distracteur Auto-Augmenté ( $x_{dist}$ ) : Généré via heavyAug (transformations géométriques/photométriques fortes, swirl, décalages de couleur, cutout). Les régions où $M \approx 0$ sont remplacées par celui-ci pour perturber les corrélations de texture faibles.
- Contexte Flou ( $x_{blur}$ ) : Une version fortement floutée de $x$ . Les régions avec des valeurs de masque intermédiaires ou où le budget est dépassé sont remplies avec celui-ci pour préserver la structure globale de la scène et réduire les artefacts d'optimisation.
  Le composite est défini par $\tilde{x} = M \odot x + M'' \odot x_{dist} + N \odot x_{blur}$ , où les coefficients somment à 1.
Objectif d'Optimisation :
Le masque et le budget sont optimisés pour minimiser une perte de préservation :
$\mathcal{L}(\ell, \alpha) = \mathbb{E}_{\mathcal{A}} \left[ \| g(\mathcal{A}(\tilde{x})) - y^\star \|_2^2 \right] + \lambda_\alpha \alpha$
- Terme de Préservation : Minimise l'erreur quadratique moyenne (MSE) entre la représentation cible de l'image augmentée composite et la référence fixe $y^\star$ . Des augmentations $\mathcal{A}$ (recadrages modérés, retournements, jitter) sont appliquées au composite pour assurer la robustesse, tandis que $y^\star$ reste fixe.
- Terme de Parcimonie : Pénalise le budget $\alpha$ pour encourager des masques compacts.
Cibles Modulaires :
Le cadre est agnostique quant à la cible $g(x)$ . En changeant uniquement la sortie préservée, le même pipeline génère :
- Explications conditionnées par la classe : Préservation d'une probabilité de classe spécifique.
- Masques de représentation globale : Préservation de l'embedding CLS.
- Explications au niveau du jeton (token) : Préservation de représentations denses de patch-tokens.

Contributions Clés

Formulation Basée sur la Suffisance : Le papier introduit une formulation de saillance qui optimise directement la fidélité de préservation (suffisance) plutôt que la sensibilité locale.
Cadre d'Optimisation Simplifié : SEAMS ne nécessite ni ensembles de données de distracteurs externes, ni règles d'attribution spécifiques à l'architecture, ni opérateurs de sélection de sous-ensemble différentiables (comme les relaxations top- $k$ ). Il repose uniquement sur une optimisation de masque doux avec un budget apprenable et des distracteurs auto-générés.
Pipeline Multi-Cible Unifié : Une procédure d'optimisation unique génère divers types d'explications (niveau objet, spécifique à la classe, niveau de jeton) simplement en modifiant la représentation cible préservée.
Aperçus Dépendants de l'Architecture : La méthode révèle que différentes architectures (ex. : ViT vs. ConvNeXt) reposent souvent sur des ensembles distincts de pixels suffisants pour atteindre une fidélité de préservation similaire, une nuance difficile à capturer avec les méthodes basées sur la sensibilité.

Résultats Expérimentaux

Les auteurs ont évalué SEAMS sur ImageNet-1k (ViT-S/16, ConvNeXt-Tiny, ViT-B/16, DeiT-III-B/16) et un ensemble de données médicales privé (Rétinopathie de la Prématurité).

Fidélité (Insertion/Suppression) : SEAMS obtient des scores AUC d'Insertion et de Suppression compétitifs et souvent supérieurs aux méthodes basées sur le gradient (IxG, SmoothGrad, Integrated Gradients) et aux autres méthodes basées sur la perturbation (DAVE). Notamment, SEAMS démontre une haute fidélité de suppression de pixels : la probabilité de la classe cible reste stable jusqu'à ce qu'une grande fraction de pixels (jusqu'à 70-80 %) soit supprimée, chutant brusquement seulement lorsque la région suffisante compacte est obstruée. Cela indique que la méthode isole avec succès un sous-ensemble suffisant minimal.
Généralisation Inter-Architecture : Appliqué à différents backbones (ViT vs. ConvNeXt) avec des hyperparamètres identiques, SEAMS produit des masques sémantiquement significatifs. Cependant, l'analyse quantitative (IoU, similitude cosinus) montre que les pixels spécifiques sélectionnés diffèrent considérablement entre les architectures, confirmant que la suffisance visuelle est dépendante de l'architecture.
Flexibilité Multi-Cible : Les expériences démontrent que changer la cible de la probabilité de classe vers l'embedding CLS ou les patch tokens produit des masques distincts et interprétables, mettant en évidence différents aspects sémantiques de l'image.
Transfert en Imagerie Médicale : Sans modifier les hyperparamètres ou le pipeline d'optimisation, SEAMS a identifié avec succès des structures rétiniennes cliniquement pertinentes (trajectoire vasculaire, lignes de démarcation) dans des images de fond d'œil de la Rétinopathie de la Prématurité (ROP), démontrant sa transférabilité au-delà des images naturelles.
Qualité Qualitative : Les comparaisons visuelles montrent que SEAMS produit des explications plus nettes, mieux alignées sur les objets et spatialement cohérentes, avec moins d'artefacts de grille de patch que les techniques précédentes. Les masques sont notablement plus parsemés et plus binaires que ceux des méthodes concurrentes.

Signification et Revendications

Le papier affirme que SEAMS fournit un cadre général et agnostique au modèle pour l'explication visuelle orientée vers la représentation. Sa principale importance réside dans le passage du paradigme « qu'est-ce qui change la sortie ? » (sensibilité) à « qu'est-ce qui est suffisant pour maintenir la sortie ? » (suffisance).

Les auteurs soulignent que SEAMS :

Ne nécessite aucune donnée externe ou modification architecturale complexe.
Génère des masques compacts, interprétables et stables.
Révèle que différentes architectures neuronales peuvent s'appuyer sur des preuves visuelles différentes pour parvenir à la même conclusion, une découverte rendue visible grâce à l'analyse de la suffisance.
Est applicable à diverses échelles (de 224px à 518px) et domaines (images naturelles aux imageries médicales).

Le papier reconnaît modestement des limitations, notant que SEAMS est plus coûteux en termes de calcul que les méthodes basées sur le gradient en raison de l'optimisation itérative et que l'évaluation actuelle se concentre exclusivement sur les encodeurs d'images. Des travaux futurs sont suggérés pour la vidéo, le multimodal et les architectures génératives.