Technische Samenvatting: DeCoDrift: Stabilisatie van Decoderkoppeling in Gesloten-Lus Foundation Segmentatie

Probleemstelling

Foundation-segmentatiemodellen, zoals het Segment Anything Model (SAM), worden steeds vaker ingezet in iteratieve pijplijnen waarbij voorspelde maskers uit één iteratie dienen als prompts voor de volgende. Dit creëert een dynamisch systeem in gesloten lus. Waar eerdere research zich richtte op robuustheid aan de invoerkant (bijvoorbeeld promptgevoeligheid, robuustheid tegen corruptie), blijft het interne gedrag van de decoder tijdens deze iteratieve feedbacklus ononderzocht.

Het paper identificeert een eerder over het hoofd geziene faalmodus, genaamd decoderkoppelingsdrift. In dit fenomeen verliest de cross-attention van de maskerdecoder progressief de uitlijning met het doelobject over de iteraties heen. Deze misuitlijning zorgt ervoor dat fouten zich versterken: kleine onnauwkeurigheden in een voorspeld masker ($M_t$) genereren verschoven prompts ($p_{t+1}$), wat de cross-attention van de decoder verandert, wat leidt tot verdere degradatie in het daaropvolgende masker. De centrale vraag die wordt behandeld is: Wat gebeurt er binnenin de decoder van SAM tijdens deze iteratieve drift, en kunnen we ingrijpen tijdens de inferentie zonder opnieuw te trainen?

Methodologie

1. Instrumentatie en Metrieken

De auteurs instrumenteerden de twee-laagse maskerdecoder van SAM op vier specifieke aandachtspunten: finale zelf-attention, token-naar-afbeelding cross-attention, afbeelding-naar-token cross-attention, en finale token-naar-afbeelding attention. Gebaseerd op deze interne signalen deriveerden ze tien metrieken om de koppeling tussen decoder-attention en het doel te kwantificeren zonder gebruik te maken van ground truth voor monitoring:

• Ground-Truth-Vrije Signalen: Attention Anchor Drift (AAD), Temporal Coupling Stability (TCS), Prompt Drift Energy (PDE), Attention Entropy (AE), en Self-Cross Correlation (SCA).
• Ground-Truth-Afhankelijk (voor analyse): Cross-Attention Mask Alignment (CAMA), Distractibility Leakage Ratio (DLR), Causal Coupling Drop (CCD), en een samengestelde Prompt-Image Coupling Score (PICS).

2. Analyse van Dynamische Systemen

Het iteratieve prompting-proces wordt geformaliseerd als een discreet-tijds dynamisch systeem: $p_{t+1} = \Phi_\theta(I_t, p_t)$.

• Stabiliteitsanalyse: De auteurs bewijzen dat de feedbacklus asymptotisch stabiel is alleen als de spectrale straal van de Jacobiaan, $\rho(J_t)$, kleiner is dan 1. Wanneer $\rho(J_t) \geq 1$, groeien fouten geometrisch, wat zich manifesteert als de waargenomen drift.
• Proximale Stabilisatie: Om dit tegen te gaan, stellen ze voor de standaardupdate te vervangen door een geregulariseerde update afgeleid van proximale operatoren. Deze update mengt de huidige voorspelling met een initiële anker ($p_0$) en de vorige prompt ($p_{t-1}$), wat effectief de spectrale straal van het systeem verkleint en foutversterking begrenst.

3. DeCoDrift Framework

Op basis van de analyse introduceren de auteurs DeCoDrift, een trainingsvrij stabilisatiekader voor de inferentietijd dat bestaat uit vier componenten:

1. Attention-Gedreven Promptextractie: In plaats van ruwe maskermomenten te gebruiken, worden prompts (centroïden/bboxes) geëxtraheerd met behulp van de eigen attention-map van de decoder als ruimtelijke prior om extractie te beïnvloeden naar geattentioneerde gebieden.
2. Proximale Ankerregularisatie: De geëxtraheerde prompt wordt geregulariseerd met behulp van de afgeleide gesloten-formule-oplossing, waarbij de nieuwe prompt wordt gemengd met een vast anker en de vorige prompt om onbegrensde drift en oscillatie te voorkomen.
3. Decoder-bewuste Kandidaatselectie: Wanneer meerdere kandidaatmaskers worden gegenereerd, worden de selectiecriteria aangepast om af te wegen tussen vertrouwen, continuïteit, onzekerheid, divergentie en lekkage, in plaats van simpelweg de IoU te maximaliseren.
4. Zachte Objectpersistentie: Een mechanisme om objecten die tijdelijk verduisterd of onstabiel zijn, te behouden, met gebruik van AAD/TCS-drempels en ankergebaseerd herstel, ter vervanging van harde filtering.

Belangrijkste Bijdragen

1. Decoderkoppelingskader: De eerste systematische instrumentatie van de decoder van een foundation-model om metrieken te definiëren die attention-doelkoppeling kwantificeren zonder ground truth.
2. Empirische Karakterisering: Demonstratie op volumetrische elektronenmicroscopie-gegevens (MitoEM) dat standaard iteratief prompting lijdt aan systematische attention-drift, verhoogde prompt-energie en verslechterde temporele stabiliteit in vergelijking met een oracle-geankerde bovengrens.
3. Dynamische Analyse: Formalisering van de prompt-feedbacklus als een dynamisch systeem, waarbij wordt bewezen dat proximale ankerregularisatie de effectieve Jacobiaan begrenst en het systeem stabiliseert.
4. Trainingsvrije Stabilisatie: De introductie van DeCoDrift, wat de segmentatiekwaliteit en stabiliteit verbetert zonder opnieuw te trainen, gewichten te wijzigen of extra gegevens.

Experimentele Resultaten

Experimenten werden uitgevoerd op het MitoEM-dataset (ratencortex mitochondriën) met gebruik van 10 volumetrische slices en 133.452 gekoppelde decoderoproepen.

• Koppelingsmetrieken: Standaard iteratief prompting (Methode A) vertoonde significant hogere Attention Anchor Drift (AAD) en lagere Temporal Coupling Stability (TCS) in vergelijking met de oracle (Methode B). Specifiek daalde TCS van 0,995 (oracle) naar 0,847 (iteratief), wat een verschuiving van 15% in attention per stap aangeeft.
• Stabilisatieprestaties: DeCoDrift (A-Stab) dichte 76,4% van de TCS-kloof en 27,9% van de AAD-kloof dicht ten opzichte van de oracle.
• Segmentatiekwaliteit: DeCoDrift verbeterde de end-to-end Intersection over Union (IoU) met 37,7% (relatief) in vergelijking met de standaard iteratieve baseline op korte afstanden (≤10 slices).
• Ablatie: De proximale regularisatiecomponent werd geïdentificeerd als de dominante bijdrage aan stabiliteit, wat AAD met 18% verlaagde en TCS met 12,2 procentpunten verhoogde op zichzelf.
• Uitvoeringstijd: Het kader voegt ongeveer 4,1 ms (4,9%) overhead toe per object per iteratie op een A5000 GPU.

Betekenis en Claims

Het paper claimt dat decoder-interne dynamiek niet louter diagnostisch zijn maar handelbare signalen bieden voor het stabiliseren van foundation-modellen in gebruik met gesloten lussen. De belangrijkste bevindingen zijn:

• Decoupling is Systematisch: Iteratief prompting induceert een systematische faalmodus waarbij attention wegdrijft van het doel, onzichtbaar vanuit het outputmasker alleen totdat fouten zich ophopen.
• Interne Signalen Voorspellen Kwaliteit: Metrieken zoals AAD en TCS zijn sterk voorspellend voor segmentatiekwaliteit (Pearson/Spearman correlaties $|r| > 0,95$) wanneer koppeling wordt gecontroleerd.
• Stabiliteit versus Aanpasbaarheid: DeCoDrift bereikt een "sweet spot" door drift te begrenzen via proximale regularisatie terwijl voldoende flexibiliteit wordt behouden voor slice-tot-slice aanpassing, zonder ground truth-ankers tijdens de inferentie.
• Generaliseerbaarheid: De auteurs suggereren dat elk systeem dat iteratief een foundation-model raadpleegt (bijvoorbeeld chain-of-thought prompting, iteratieve diffusie) vergelijkbare drift kan vertonen, en dat hun kader architectuur-agnostisch is.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat evaluatie momenteel beperkt is tot één primair dataset (MitoEM) en dat de oracle-geankerde methode slechts dient als een bovengrens. Ze erkennen dat hoewel DeCoDrift het dynamische deel van de lus stabiliseert, statische koppeling (causale afhankelijkheid) moeilijker te veranderen is zonder gewichtsmodificatie.