Technische Samenvatting: SegFS – Real-time Open-Vocabulary Video Instance Segmentation met Dual-Path Verwerking

1. Probleemstelling

Open-Vocabulary Video Instance Segmentation (OV-VIS) beoogt objectinstanties over videoframes te identificeren, te volgen en te segmenteren op basis van willekeurige tekstuele prompts. Hoewel recente object-gecentreerde modellen (bijv. GLEE, MOBIUS) een hoge nauwkeurigheid hebben bereikt, lijden ze aan een zware computationele overhead, met name in de feature enhancer en de object decoder componenten. Deze componenten domineren de inferentiekosten, waardoor real-time implementatie op mobiele apparaten (bijv. smartphones) onhaalbaar is. Bestaande pogingen om deze modellen te optimaliseren voor mobiele apparaten slagen er nog steeds niet in om hoge framerates (bijv. 30 FPS) te halen zonder significante nauwkeurigheidsvermindering. De kernuitdaging is het ontkoppelen van de computationeel dure multimodale semantische begripsvorming van de dichte, frame-voor-frame maskervoorspelling die vereist is voor temporele propagatie.

2. Methodologie: Het SegFS-framework

De auteurs stellen SegFS voor, een duaal "Fast and Slow" framework dat is ontworpen om computationele kosten te spreiden door de verwerking te scheiden in twee afzonderlijke paden die op verschillende temporele frequenties opereren.

De Dual-Path Architectuur

• Het Slow Path (Keyframes): Werkt alleen op dun gezaaide keyframes (bijv. elke $T$ frames). Het maakt gebruik van een standaard, zwaar object-gecentreerd OV-VIS model (zoals MOBIUS, GLEE of TROY-VIS) om volledige multimodale fusie en objectdecodering uit te voeren. Dit pad extraheert hoogwaardige, tekst-gealigneerde object embeddings (instantie-representaties).
• Het Fast Path (Inter-frames): Werkt op elk tussenliggend frame tussen de keyframes. Het omzeilt de dure feature enhancer en object decoder volledig. In plaats daarvan vertrouwt het op een lichtgewicht Fast Feature Aggregator die de feature maps van de visuele backbone conditioneert met behulp van de object embeddings die vanuit het slow path worden gepropageerd.

Kernmechanismen

1. Projectie naar de Fast Feature Space: Object embeddings die door het slow path zijn gedecodeerd, worden geprojecteerd in de feature space van de backbone. Een feed-forward netwerk (FFN) selecteert de top-$K$ embeddings op basis van tekstgelijkenis en voegt een leerbaar achtergrondtoken toe.
2. Object Guidance Module: Op de laagste resolutie backbone feature map ($P_5$) worden de geselecteerde object embeddings ruimtelijk geïnjecteerd. Dit wordt bereikt via:
   • Object Injection: Het berekenen van de cosinusgelijkenis tussen de ruimtelijke cellen van $P_5$ en de object tokens om een object-bewuste feature map te creëren.
   • Gated Fusion: Een gating-mechanisme mengt de geïnjecteerde object-semantiek met de originele backbone features, waarbij precieze visuele aanwijzingen behouden blijven terwijl instantie-semantiek wordt geïntegreerd.
3. Progressieve Upsampling: De verrijkte $P_5$ map wordt progressief geupsampled en gefuseerd met hogere-resolutie backbone features ($P_4, P_3, P_2$) met behulp van lichtgewicht Depthwise Separable Convolution blokken (DSConvGN).
4. Mask Voorspelling: De uiteindelijke hoog-resolutie feature map wordt geconvolveerd met de object embeddings (die als kernels fungeren) om mask-logits te genereren.
5. Temporele Associatie: Het framework gebruikt het standaard "tracking-by-matching" paradigma (MinVIS), waarbij object queries over frames worden geassocieerd via de cosinusgelijkenis van hun embeddings, waardoor expliciete optical flow schatting wordt vermeden.

Trainingsstrategie

SegFS wordt getraind op beeldgebaseerde instantie-segmentatiedatasets (COCO, LVIS, RefCOCO, etc.) en wordt behandeld als videodatasets door de temporele continuïteit tijdens de training te negeren.

• Hybrid Matching: Tijdens de training verwerkt het slow netwerk de afbeelding om nauwkeurige categorie-logits en bounding boxes te genereren. Deze worden gebruikt om de optimale bipartite matching (Hungariaans algoritme) met de grondwaarheid (ground truth) vast te stellen.
• Supervisie: Het fast netwerk wordt gesuperviseerd met de mask-voorspellingen die voortkomen uit deze matching, waarbij gebruik wordt gemaakt van Mask en DICE losses. Hierdoor kan het fast netwerk leren om de segmentatiekwaliteit van het slow netwerk te reproduceren zonder de zware componenten van het slow netwerk uit te voeren.

3. Belangrijkste Bijdragen

• Extensie van het Dual-Path Paradigma: De auteurs breiden de keyframe-gebaseerde aanpak uit naar OV-VIS, waarbij zij aantonen dat backbone features inherent voldoende ruimtelijke details bevatten voor lokalisatie. Bijgevolg kan de zware feature enhancer worden beperkt tot ijle keyframes zonder significante nauwkeurigheidsverlies.
• Nieuwe Fast Feature Aggregator: Een lichtgewicht module die instantie embeddings injecteert in de feature pyramid van de backbone, wat nauwkeurige mask-generatie mogelijk maakt met minimale latentie.
• Efficiëntie-Nauwkeurigheid Afweging: Het framework slaagt erin de semantische begripvorming te ontkoppelen van de dichte predictie, waardoor real-time snelheden worden bereikt terwijl competitieve segmentatieprestaties behouden blijven.

4. Experimentele Resultaten

De auteurs hebben SegFS geëvalueerd op standaard OV-VIS benchmarks: YouTubeVIS19, OVIS, BURST, en LV-VIS.

• Prestaties vs. Baselines:
  • SegFS behaalt prestaties die vergelijkbaar zijn met de "Reuse Objects" baseline (die het volledige slow netwerk draait maar de decoder overslaat) en presteert aanzienlijk beter dan optical flow-gebaseerde propagatiemethoden (RAFT, LiteFlowNet2) en de dual-network concurrent MPVSS.
  • Op de MOBIUS-Mini-M backbone behaalt SegFS een AP van 41.6 op YouTubeVIS19, vergeleken met 42.1 voor het volledige slow netwerk, terwijl de latentie drastisch wordt verminderd.
• Efficiëntie en Latentie:
  • Versnelling: SegFS bereikt een tot wel 14× reductie in latentie vergeleken met het mobiel-georiënteerde MOBIUS model.
  • Real-Time Vermogen: Op een Samsung Galaxy S25 Ultra overschrijdt SegFS de 30 FPS drempel (bereikt ~38 FPS geamortiseerde FPS over een 6-frame span), terwijl baseline modellen moeite hebben om de 10–16 FPS te overschrijden.
  • Hardware: De methode is getest op diverse mobiele chips (Snapdragon 8 Elite, Gen 5, X2, XR2) en GPU's (A100, T4), en vertoont consistent superieure edge-latentie.
• Ablatie-studies:
  • Propagatie-interval ($T$): SegFS behoudt een robuuste prestatie naarmate het interval tussen keyframes toeneemt (tot $T=10$), en presteert beter dan mask-warping methoden die snel degraderen.
  • Impact van Componenten: De "Object Injection" en "Attention-based Refinement" modules werden geïdentificeerd als de meest kritieke componenten voor het overbruggen van de prestatiekloof tussen het fast path en het volledige slow netwerk.

5. Betekenis en Claims

Het artikel claimt dat SegFS een nieuwe standaard zet voor real-time, on-device OV-VIS. Door de computationele last van instantie-propagatie te verschuiven van objectdecodering naar feature-space conditioning, omzeilt het framework effectief de meest dure componenten van huidige state-of-the-art modellen.

De auteurs benadrukken dat hun aanpak:

1. Zero-Shot Capaciteiten Behoudt: Het behoudt de open-vocabulary aard van de onderliggende slow modellen.
2. Mobiele Implementatie Mogelijk Maakt: Het is de eerste aanpak die consequent >30 FPS op moderne mobiele hardware haalt voor deze taak zonder de mask-kwaliteit op te offeren.
3. Semantiek Ontkoppelt van Geometrie: Het bewijst dat hoogwaardig semantisch begrip niet voor elk frame opnieuw berekend hoeft te worden, zolang de instantie embeddings correct geprojecteerd worden in de feature space van de visuele backbone.

Het werk concludeert dat voor OV-VIS de zware feature enhancer redundant is voor tussenliggende frames, en dat een lichtgewicht fusie van backbone features met geprojecteerde embeddings voldoende is voor hoogwaardige, real-time segmentatie.