Résumé technique : DeCoDrift – Stabilisation du couplage du décodeur dans la segmentation de fondation en boucle fermée

Énoncé du problème

Les modèles de segmentation de fondation, tels que le Segment Anything Model (SAM), sont de plus en plus déployés dans des pipelines itératifs où les masques prédits d'une itération servent d'indices pour l'itération suivante. Cela crée un système dynamique en boucle fermée. Alors que les recherches antérieures se sont concentrées sur la robustesse côté entrée (par exemple, sensibilité aux indices, robustesse aux corruptions), le comportement interne du décodeur durant ces boucles de rétroaction itératives reste inexploré.

L'article identifie un mode de défaillance précédemment négligé, nommé dérive du couplage du décodeur. Dans ce phénomène, l'attention croisée du décodeur de masques perd progressivement son alignement avec l'objet cible au fil des itérations. Ce désalignement provoque l'accumulation d'erreurs : de petites imprécisions dans un masque prédit ($M_t$) génèrent des indices décalés ($p_{t+1}$), qui modifient l'attention croisée du décodeur, entraînant une dégradation supplémentaire du masque suivant. La question centrale abordée est la suivante : Que se passe-t-il à l'intérieur du décodeur de SAM durant cette dérive itérative, et pouvons-nous intervenir au moment de l'inférence sans réentraînement ?

Méthodologie

1. Instrumentation et métriques

Les auteurs ont instrumenté le décodeur de masques à deux couches de SAM à quatre sites d'attention spécifiques : l'attention finale auto-attention, l'attention croisée token-vers-image, l'attention croisée image-vers-token, et l'attention finale token-vers-image. Sur la base de ces signaux internes, ils ont dérivé dix métriques pour quantifier le couplage entre l'attention du décodeur et la cible, sans recourir à une vérité terrain pour la surveillance :

• Signaux sans vérité terrain : Dérive de l'ancre d'attention (AAD), Stabilité temporelle du couplage (TCS), Énergie de dérive des indices (PDE), Entropie de l'attention (AE), et Corrélation auto-croisée (SCA).
• Dépendants de la vérité terrain (pour l'analyse) : Alignement du masque d'attention croisée (CAMA), Ratio de fuite de distractibilité (DLR), Chute de couplage causal (CCD), et un Score de couplage indice-image composite (PICS).

2. Analyse des systèmes dynamiques

Le processus d'indexation itérative est formalisé comme un système dynamique à temps discret : $p_{t+1} = \Phi_\theta(I_t, p_t)$.

• Analyse de stabilité : Les auteurs prouvent que la boucle de rétroaction est asymptotiquement stable uniquement si le rayon spectral du Jacobien, $\rho(J_t)$, est inférieur à 1. Lorsque $\rho(J_t) \geq 1$, les erreurs croissent géométriquement, se manifestant par la dérive observée.
• Stabilisation proximale : Pour contrer cela, ils proposent de remplacer la mise à jour standard par une mise à jour régularisée dérivée d'opérateurs proximaux. Cette mise à jour mélange la prédiction actuelle avec une ancre initiale ($p_0$) et l'indice précédent ($p_{t-1}$), réduisant efficacement le rayon spectral du système et limitant l'amplification des erreurs.

3. Cadre DeCoDrift

S'appuyant sur l'analyse, les auteurs introduisent DeCoDrift, un cadre de stabilisation sans réentraînement, au moment de l'inférence, comprenant quatre composants :

1. Extraction d'indices guidée par l'attention : Au lieu d'utiliser les moments bruts du masque, les indices (centroïdes/boîtes englobantes) sont extraits en utilisant la carte d'attention propre du décodeur comme prior spatial pour biaiser l'extraction vers les régions attendues.
2. Régularisation d'ancre proximale : L'indice extrait est régularisé en utilisant la solution sous forme fermée dérivée, mélangeant le nouvel indice avec une ancre fixe et l'indice précédent pour empêcher une dérive et une oscillation non bornées.
3. Sélection de candidats consciente du décodeur : Lorsque plusieurs masques candidats sont générés, les critères de sélection sont modifiés pour arbitrer entre la confiance, la continuité, l'incertitude, la divergence et la fuite, plutôt que de simplement maximiser l'IoU.
4. Persistance douce de l'objet : Un mécanisme pour conserver les objets temporairement occlus ou instables, utilisant des seuils AAD/TCS et une récupération basée sur l'ancre, remplaçant le filtrage strict.

Contributions clés

1. Cadre de couplage du décodeur : La première instrumentation systématique du décodeur d'un modèle de fondation pour définir des métriques quantifiant le couplage attention-cible sans vérité terrain.
2. Caractérisation empirique : Démonstration sur des données de microscopie électronique volumétrique (MitoEM) que l'indexation itérative standard souffre d'une dérive d'attention systématique, d'une énergie d'indice élevée et d'une stabilité temporelle dégradée par rapport à une borne supérieure ancrée par oracle.
3. Analyse dynamique : Formalisation de la boucle de rétroaction d'indices comme un système dynamique, prouvant que la régularisation d'ancre proximale borne le Jacobien effectif et stabilise le système.
4. Stabilisation sans réentraînement : L'introduction de DeCoDrift, qui améliore la qualité et la stabilité de la segmentation sans réentraînement, modification des poids ou données supplémentaires.

Résultats expérimentaux

Les expériences ont été menées sur le jeu de données MitoEM (mitochondries de cortex de rat) en utilisant 10 tranches volumétriques et 133 452 appels de décodeur appariés.

• Métriques de couplage : L'indexation itérative standard (Méthode A) a présenté une Dérive de l'ancre d'attention (AAD) significativement plus élevée et une Stabilité temporelle du couplage (TCS) plus faible que l'oracle (Méthode B). Plus précisément, la TCS est passée de 0,995 (oracle) à 0,847 (itératif), indiquant un décalage de 15 % de l'attention par étape.
• Performance de stabilisation : DeCoDrift (A-Stab) a comblé 76,4 % de l'écart de TCS et 27,9 % de l'écart d'AAD par rapport à l'oracle.
• Qualité de segmentation : DeCoDrift a amélioré l'Intersection sur Union (IoU) de bout en bout de 37,7 % (relative) par rapport à la base itérative standard à courte distance (≤10 tranches).
• Ablation : Le composant de régularisation proximale a été identifié comme le contributeur dominant à la stabilité, réduisant l'AAD de 18 % et augmentant la TCS de 12,2 points de pourcentage à lui seul.
• Temps d'exécution : Le cadre ajoute environ 4,1 ms (4,9 %) de surcharge par objet par itération sur un GPU A5000.

Importance et affirmations

L'article affirme que les dynamiques internes du décodeur ne sont pas uniquement diagnostiques mais fournissent des signaux exploitables pour stabiliser les modèles de fondation dans une utilisation en boucle fermée. Les résultats clés sont :

• Le découplage est systématique : L'indexation itérative induit un mode de défaillance systématique où l'attention dérive de la cible, invisible depuis le masque de sortie seul jusqu'à ce que les erreurs s'accumulent.
• Les signaux internes prédisent la qualité : Des métriques comme l'AAD et la TCS sont fortement prédictives de la qualité de la segmentation (corrélations de Pearson/Spearman $|r| > 0,95$) lorsque le couplage est contrôlé.
• Stabilité vs Adaptabilité : DeCoDrift atteint un « point idéal » en bornant la dérive par régularisation proximale tout en préservant suffisamment de flexibilité pour l'adaptation de tranche à tranche, sans nécessiter d'ancres de vérité terrain durant l'inférence.
• Généralisabilité : Les auteurs suggèrent que tout système interrogeant itérativement un modèle de fondation (par exemple, indexation de type chaîne de pensée, diffusion itérative) peut présenter une dérive analogue, et que leur cadre est agnostique à l'architecture.

Les auteurs restent modestes concernant les limites, notant que l'évaluation est actuellement restreinte à un seul jeu de données principal (MitoEM) et que la méthode ancrée par oracle ne sert que de borne supérieure. Ils reconnaissent que, bien que DeCoDrift stabilise la partie dynamique de la boucle, le couplage statique (dépendance causale) est plus difficile à modifier sans modification des poids.