Technische Samenvatting: Retrieval-Augmented Visual Prompting (RAVP)

Probleemstelling

Twee-foton calcium imaging (2PCI) vormt een aanzienlijke uitdaging voor foundation models vanwege de substantiële variabiliteit in beeldverschijning over verschillende opnames, experimentele condities en proefdieren heen. De belangrijkste moeilijkheden zijn het brede bereik van neuronale fluorescentie (waarbij actieve neuronen verschijnen als heldere vlekken en stille neuronen bijna niet te onderscheiden zijn van de achtergrond), domeinverschuivingen veroorzaakt door verschillende microscoopopstellingen en corticale dieptes, en de schaarste aan expert-annotaties die nodig zijn voor training. Hoewel grootschalige vision foundation models zoals de Segment Anything Model (SAM) familie algemene segmentatiecapaciteiten bieden, vertalen hun few-shot prompting-mechanismen zich niet betrouwbaar naar 2PCI. Specifiek vereist het definiëren van concepten via bounding boxes binnen de doelafbeelding gespecialiseerde handmatige annotatie en faalt het in het vastleggen van de volledige variabiliteit in verschijning van het doeldomein. Bovelijk is het onduidelijk welke specifieke voorbeelden het meest informatief zijn voor een gegeven doelafbeelding.

Methodologie

Het artikel stelt Retrieval-Augmented Visual Prompting (RAVP) voor, een framework dat is ontworpen om SAM 3 tijdens de inferentie te sturen door externe visuele geheugen direct in de input van het model te injecteren, zonder de modelgewichten of architectuur te wijzigen.

Kernmechanisme

RAVP maakt gebruik van een retrieval-augmented image composition strategie:

1. Library Constructie: Een externe geannoteerde bibliotheek $L$ wordt opgebouwd uit een held-out split van data, bestaande uit beeldcrops gecentreerd op geannoteerde neuronen, hun ground-truth maskers en gemiddelde fluorescentiewaarden.
2. Image Composition: Voor elke doel-tile $T_p$ uit een 2PCI max projectie wordt een samengestelde afbeelding $\tilde{I}_p$ geconstrueerd. De doel-tile wordt in het midden van een canvas geplaatst, en een rand wordt getegeld met exemplar crops die zijn opgehaald uit $L$.
3. Visual Prompting: De bounding boxes van de geannoteerde neuronen in de randregio (de opgehaalde exemplars) dienen als concept prompts voor de Promptable Concept Segmentation (PCS) head van SAM 3. Het model krijgt de taak om alle instanties te detecteren en te segmenteren die overeenkomen met het concept gedefinieerd door het exemplar over het gehele canvas.
4. Output Beperking: Voorspellingen worden beperkt tot de oorspronkelijke doelregio via een inverse coördinatenkaart.

Exemplar Selectiestrategieën

In het besef dat niet alle exemplars even informatief zijn vanwege fluorescentievariabiliteit, bestuderen de auteurs verschillende selectiestrategieën:

• Random: Het uniform samplen van exemplars uit de bibliotheek.
• Fixed Fluorescence: Het selecteren van exemplars op basis van een vaste doel-fluorescentiewaarde (empirisch ingesteld op lage waarden om bias naar alleen hoog-signaal structuren te voorkomen).
• Image-Adaptive: Het selecteren van exemplars wiens gemiddelde fluorescentie overeenkomt met de gemiddelde intensiteit van de huidige doel-tile.
• Recall Predictor ($\pi_\theta$): Een lichtgewicht voorspeller die offline is getraind om te schatten hoeveel recall SAM 3 zou behalen voor een gegeven doel-exemplar paar. De voorspeller gebruikt visuele kenmerken geëxtraheerd door een bevroren ResNet-18 backbone en wordt gesuperviseerd door werkelijke SAM 3 inferentie-uitkomsten op de trainingssplit. Tijdens de inferentie selecteert het de exemplar die de voorspelde recall maximaliseert.

Implementatiedetails

• Sliding Window: Vanwege de beperkte voorspellende capaciteit van SAM 3 worden afbeeldingen verwerkt met een sliding window benadering met 50% overlap, gevolgd door Non-Maximum Suppression (NMS).
• Configuratie: Experimenten maken gebruik van een enkele exemplar crop per tile, willekeurig geplaatst op de bovenste of linker rand, waarbij de rest van de rand wordt opgevuld met zwarte padding.

Belangrijkste Bijdragen

1. RAVP Framework: Een retrieval-augmented image composition strategie die een externe exemplar bibliotheek transformeert in visueel geheugen voor SAM 3, wat adaptatie tijdens de inferentie mogelijk maakt zonder gewicht-updates.
2. Systematische Selectie Analyse: Een vergelijkende studie van exemplar selectiestrategieën, die aantoont dat het matchen van exemplars aan het fluorescentieregime van het doel de prestaties verbetert.
3. Lichtgewicht Recall Predictor: De introductie van $\pi_\theta$, een model dat getraind is om informatieve exemplars te selecteren tijdens de inferentie zonder dat daarvoor ground-truth annotaties voor het doel nodig zijn, gebruikmakend van SAM 3's eigen inferentie-uitkomsten als supervisiesignaal.
4. Uitgebreide Evaluatie: Uitgebreide experimenten op de Allen Brain Observatory (ABO) dataset tonen aan dat de injectie van visueel geheugen de zero-shot prestaties consistent versterkt, wat een competitief alternatief biedt voor parameter adaptatie.

Experimentele Resultaten

Experimenten werden uitgevoerd op de Allen Brain Observatory dataset, gesplitst in in-domain, out-of-domain (OOD) en STNeuroNet subsets.

• Zero-Shot vs. Adaptatie: Zero-shot SAM 3 behaalde een bescheiden precisie (AP50 ≈ 0.28) maar een hoge recall. Volledige fine-tuning, encoder-only fine-tuning en LoRA verbeterden de prestaties aanzienlijk (AP50 ≈ 0.68–0.69).
• RAVP Prestaties: In het zero-shot regime presteerde RAVP significant beter dan de baseline.
  • Zelfs random selectie verbeterde de AP50 van 0.28 naar 0.45.
  • De Recall Predictor behaalde de beste resultaten onder de zero-shot methoden, met een AP50 = 0.53 en een harmonisch gemiddelde (H) van 0.62 op de in-domain testset.
  • Op de OOD split verbeterde RAVP het harmonisch gemiddelde van 0.20 (zero-shot) naar ongeveer 0.58–0.60, wat robuustheid tegen domeinverschuiving demonstreert.
• Vergelijking met Fine-Tuning: Hoewel RAVP de kloof met gefinetuned modellen niet volledig heeft gedicht, herstelde het een groot deel van de prestatiewinst tegen een aanzienlijk lagere adaptatiekosten (geschat op 42% van volledige fine-tuning en 55% van LoRA adaptatie).
• Ablatie Studies:
  • Exemplar Count: Een enkele zorgvuldig geselecteerde exemplar ($k=1$) bleek effectiever dan meerdere exemplars ($k > 1$), wat leidde tot prestatieverslechtering.
  • Library Size: Het vergroten van de bibliotheekgrootte van 1 naar 50 kandidaten leverde de meeste winst op, met afnemende meeropbrengsten boven de 50.
  • Selectie Strategie: Onder sterke domeinverschuiving (OOD) deed het specifieke selectiebeleid er minder toe dan de aanwezigheid van het retrieval mechanisme zelf, hoewel de Recall Predictor over het algemeen het beste presteerde in-domain.

Betekenis en Claims

Het artikel positioneert inferentie-tijd visuele geheugeninjectie als een eenvoudig en effectief alternatief voor parameter adaptatie voor foundation models in gespecialiseerde biomedische beeldvorming. De auteurs beweren dat RAVP adaptatie mogelijk maakt door enkel via inputontwerp, waarbij gebruik wordt gemaakt van de natuurlijke Promptable Concept Segmentation interface van SAM 3.

Het werk suggereert dat in domeinen waar geannoteerde corpora zeldzaam zijn en de verschijningsvariabiliteit hoog is, het direct injecteren van opgehaalde exemplars in het beeldvlak de zero-shot detectie en instantie-segmentatie aanzienlijk kan verbeteren. De auteurs merken op dat hoewel de Recall Predictor een offline trainingsfase vereist met behulp van SAM 3 inferentie-uitkomsten, eenvoudigere selectors (zoals image-adaptive of fixed fluorescence) deze kosten vermijden terwijl ze toch competitief blijven. De aanpak wordt gepresenteerd als een flexibel alternatief voor gewichtsgebaseerde adaptatie, met potentiele toepasbaarheid buiten 2PCI naar andere biomedische domeinen waar foundation models moeite hebben met generalisatie.