💻 computer science

Seeing Through the Tool: A Controlled Benchmark for Occlusion Robustness in Foundation Segmentation Models

Ce papier présente OccSAM-Bench, un nouveau benchmark contrôlé révélant que la robustesse à l'occlusion des modèles de segmentation fondationnels varie selon l'architecture, distinguant ainsi les modèles « conscients de l'occluseur » qui se limitent aux tissus visibles des modèles « agnostiques » qui infèrent l'anatomie cachée, afin de guider le choix du modèle selon l'intention clinique.

Auteurs originaux : Nhan Ho, Luu Le, Thanh-Huy Nguyen, Thien Nguyen, Xiaofeng Liu, Ulas Bagci

Publié 2026-04-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nhan Ho, Luu Le, Thanh-Huy Nguyen, Thien Nguyen, Xiaofeng Liu, Ulas Bagci

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏥 Le Problème : Le Chirurgien qui cache la cible

Imaginez que vous essayez de dessiner le contour d'une pomme sur une table. C'est facile. Mais maintenant, imaginez qu'un grand couteau de chef se pose directement sur la pomme, cachant une partie de celle-ci.

En chirurgie (comme lors d'une opération de l'intestin), c'est exactement ce qui arrive. Les chirurgiens utilisent des instruments qui passent souvent devant les tissus malades (les "polypes"). Pour une intelligence artificielle (IA) chargée de repérer ces tissus, c'est un cauchemar : l'IA voit-elle seulement ce qui est visible, ou essaie-t-elle de deviner ce qui est caché ?

Jusqu'à présent, on testait ces IA sur des images "propres", sans instruments. C'est comme apprendre à conduire sur un circuit vide, puis s'attendre à ce que le conducteur gère parfaitement la circulation dense. Résultat : beaucoup d'IA échouent ou font des erreurs dangereuses quand un instrument cache la zone.

🔍 La Solution : Le "Simulateur de Cacherie" (OccSAM-Bench)

Les auteurs de ce papier ont créé un nouveau banc d'essai, qu'ils appellent OccSAM-Bench.

Imaginez que vous prenez des photos de polypes et que vous y collez artificiellement des images d'instruments chirurgicaux (comme des pinces ou des ciseaux) pour simuler l'occlusion. Ils le font de manière très contrôlée :

Niveau Faible : L'instrument touche juste le bord.
Niveau Moyen : Il cache un tiers de la cible.
Niveau Élevé : Il cache presque tout.

C'est comme un simulateur de vol pour les IA, mais au lieu de simuler la pluie ou le brouillard, on simule des outils chirurgicaux qui cachent la vue.

🧐 La Nouvelle Règle du Jeu : Le Test des Trois Zones

Le plus important de ce papier, c'est qu'ils ont changé la façon de noter les IA. Avant, on regardait si l'IA avait dessiné le contour complet de la pomme (même la partie cachée). C'était trompeur !

Ils ont inventé un système de notation en trois zones :

La partie visible : Ce que l'IA voit vraiment.
La partie invisible : Ce qui est caché par l'outil.
L'ensemble : La pomme entière.

L'analogie du détective :

Si l'IA dit : "Je vois la partie visible, je ne touche pas l'outil", c'est un détective prudent.
Si l'IA dit : "Je vois la partie visible, et je devine que la pomme continue sous l'outil", c'est un détective devin.

Le problème ? Si le "détective devin" se trompe et dessine la pomme à l'intérieur de l'outil, c'est une erreur dangereuse en chirurgie (on pourrait couper l'outil au lieu du tissu !).

🤖 Les Résultats : Deux Types d'IA

En testant 7 IA différentes (des versions de "Segment Anything Model" ou SAM), ils ont découvert deux familles distinctes :

1. Les "Prudents" (Occluder-Aware)

Qui : SAM, SAM 2, SAM 3, MedSAM3.
Comportement : Comme un chirurgien très prudent. Si un outil cache la zone, ils disent : "Je ne peux pas voir, donc je ne dessine que ce qui est visible." Ils refusent de deviner.
Avantage : Très sûrs. Ils ne font pas d'erreur en dessinant sur l'outil.
Inconvénient : Ils ne vous disent pas ce qui se passe sous l'outil.

2. Les "Devineurs" (Occluder-Agnostic)

Qui : MedSAM, MedSAM2.
Comportement : Comme un magicien. Même si l'outil cache la pomme, ils essaient de dessiner la forme complète de la pomme sous l'outil.
Avantage : Parfois, c'est utile pour comprendre l'anatomie cachée.
Danger : Souvent, ils se trompent et dessinent la pomme sur l'outil, ce qui est une erreur fatale en chirurgie.
Le Cas Spécial MedSAM2 : C'est le seul qui arrive à être un bon "devineur" sans trop se tromper. Il est comme un magicien qui a aussi un bon sens de la réalité.

3. Le Perdu : SAM-Med2D

Il ne sait ni être prudent ni bien deviner. Il fait des erreurs partout.

💡 La Conclusion : Tout dépend de l'objectif

Le message principal est simple : Il n'y a pas de "meilleure" IA universelle.

Si vous voulez sécurité absolue pour guider un robot chirurgical (ne jamais couper l'outil), choisissez les Prudents (SAM 3, MedSAM3).
Si vous voulez comprendre l'anatomie cachée pour un diagnostic, et que vous acceptez un peu de risque, les Devineurs (MedSAM2) peuvent être utiles.

En résumé : Ce papier nous dit que l'IA médicale ne doit pas seulement être "intelligente" sur des images propres. Elle doit savoir comment réagir quand on lui cache la vue. Et selon ce qu'on lui demande (être prudent ou deviner), on doit choisir un outil différent, tout comme on choisirait un marteau pour un clou et un tournevis pour une vis.

1. Problématique

Les modèles de fondation pour la segmentation d'images, tels que la famille SAM (Segment Anything Model) et leurs adaptations médicales (MedSAM, MedSAM2, etc.), ont démontré des capacités remarquables de généralisation "zero-shot". Cependant, leur évaluation se fait presque exclusivement sur des images médicales propres et soigneusement curatées.

Dans le contexte réel de l'endoscopie clinique, les structures cibles (comme les polypes) sont souvent partiellement occluses par des instruments chirurgicaux ou des tissus superposés.

Le défi : Les benchmarks actuels utilisent des métriques de masques complets (amodales). Cela est fondamentalement trompeur en chirurgie : un modèle qui "hallucine" un tissu sur un instrument (en comblant l'occlusion) peut obtenir un score élevé s'il coïncide avec la vérité terrain cachée, tandis qu'un modèle qui rejette correctement l'instrument est pénalisé.
Le risque : Une mauvaise interprétation des occlusions peut entraîner des erreurs de navigation ou de diagnostic critiques. Il manque un cadre systématique pour évaluer la robustesse de ces modèles face aux occlusions chirurgicales.

2. Méthodologie : OccSAM-Bench

Les auteurs introduisent OccSAM-Bench, un benchmark conçu pour évaluer systématiquement les modèles de la famille SAM sous des occlusions chirurgicales contrôlées.

A. Génération d'occlusions contrôlées

Le framework simule deux types d'occlusions sur trois jeux de données publics de polypes (CVC-300, CVC-ColonDB, ETIS-LaribPolypDB) à trois niveaux de sévérité calibrés (Faible, Moyen, Élevé, définis par le ratio de surface occluse) :

Superposition d'outils chirurgicaux (Tool Paste) : Des masques binaires d'instruments réels (issus de Kvasir-Instrument) sont superposés aux images. Cela introduit une confusion visuelle (bords d'instruments).
Découpage (Cutout) : Une partie de l'image est supprimée (masque rectangulaire). Cela isole l'effet de la perte d'information sans confusion visuelle.

B. Protocole d'évaluation à trois régions

Pour pallier les défauts des métriques standard, les auteurs proposent de décomposer la performance en trois cibles distinctes pour chaque échantillon occlus :

Masque Visible ( $M_{vis}$ ) : La partie du polype réellement visible. Une prédiction s'étendant sur l'instrument est pénalisée (faux positif). C'est la métrique principale de robustesse.
Masque Invisible ( $M_{inv}$ ) : La partie du polype cachée derrière l'instrument. Un score élevé indique une prédiction dans la zone occluse (complétion amodale), mais doit être interprété avec prudence (risque de sur-segmentation).
Masque Complet ( $M_{full}$ ) : La vérité terrain totale (visible + invisible). Les auteurs montrent que cette métrique est souvent trompeuse car elle peut récompenser des prédictions cliniquement dangereuses.

3. Contributions Clés

Cadre d'occlusion contrôlée : Un pipeline de génération synthétique permettant d'isoler les effets de la confusion visuelle de ceux de la perte de données, avec des bornes mathématiques vérifiables.
Protocole d'évaluation à trois régions : Une nouvelle métrique qui pénalise sévèrement la sur-segmentation clinique (hallucination de tissu sur un instrument) tout en évaluant la capacité de complétion amodale.
Benchmark complet Zero-Shot : Évaluation de 7 modèles de pointe (SAM, SAM 2, SAM 3, MedSAM, SAM-Med2D, MedSAM2, MedSAM3) sur trois jeux de données, sans aucun ajustement (fine-tuning) spécifique aux données cibles.

4. Résultats Expérimentaux

L'analyse révèle deux archétypes comportementaux distincts et des résultats surprenants :

A. Les deux archétypes comportementaux

Modèles "Conscients de l'occlusion" (Occluder-Aware) :
- Modèles : SAM, SAM 2, SAM 3, MedSAM3.
- Comportement : Ils rejettent l'instrument comme arrière-plan et priorisent la délimitation précise du tissu visible. Ils obtiennent les meilleurs scores sur le masque visible ( $M_{vis}$ ).
- Performance : SAM 3 se distingue comme le modèle le plus robuste globalement, avec une dégradation minimale sous forte occlusion.
Modèles "Ignorants de l'occlusion" (Occluder-Agnostic) :
- Modèles : MedSAM, MedSAM2.
- Comportement : Ils tentent de prédire à travers l'occlusion (complétion amodale). Ils obtiennent des scores élevés sur le masque invisible ( $M_{inv}$ ).
- Nuance : MedSAM2 est un cas unique : il combine une bonne précision sur le tissu visible avec une capacité de prédiction dans les zones occluses, probablement grâce à son entraînement sur des séquences vidéo.
- Attention : MedSAM montre une forte tendance à "halluciner" du tissu sur les instruments, ce qui influe artificiellement ses scores complets mais est cliniquement dangereux.

B. Échec des modèles adaptés au domaine

Les modèles adaptés spécifiquement au domaine médical (MedSAM, SAM-Med2D) basés sur les premières versions de SAM subissent une dégradation catastrophique (chute de 40-60% du DSC visible) sous forte occlusion. Cela suggère un surapprentissage aux tissus non obstrués des jeux de données d'entraînement, rendant ces modèles vulnérables aux bords des instruments (perturbations hors distribution).

C. Sensibilité aux prompts

Les prompts de boîte englobante (Box) sont nettement supérieurs aux prompts de point unique.
MedSAM s'effondre complètement avec un seul point (DSC ~0.02) car son protocole d'entraînement n'a utilisé que des boîtes, rendant les points hors distribution.

5. Signification et Conclusion

L'article démontre que la robustesse à l'occlusion n'est pas uniforme et dépend de l'architecture et de la stratégie d'entraînement.

Choix clinique : La sélection du modèle doit être guidée par l'intention clinique :
- Pour la navigation robotique sûre et la délimitation précise des tissus visibles, les modèles "Occluder-Aware" (SAM 3, MedSAM3) sont préférables car ils évitent les hallucinations sur les instruments.
- Pour l'estimation anatomique de structures cachées, les modèles "Occluder-Agnostic" (MedSAM2) peuvent être utiles, à condition de valider leur précision sur les zones visibles.
Avertissement : L'utilisation exclusive de métriques de masques complets (DSC amodal) dans l'évaluation médicale est dangereuse car elle peut masquer des échecs critiques de segmentation. OccSAM-Bench propose une nouvelle norme pour évaluer la sécurité et la fiabilité des modèles de fondation en chirurgie.