Video Patch Pruning: Efficient Video Instance Segmentation via Early Token Reduction

Probleemstelling

Video Instance Segmentation (VIS) is een complexe taak die gelijktijdige detectie, segmentatie en tracking van objecten in videosequenties vereist. Hoewel Vision Transformers (ViTs) state-of-the-art prestaties leveren, zijn ze computatie-intensief vanwege de kwadratische schaalbaarheid van het zelf-attentie-mechanisme ten opzichte van het aantal patches. Dit maakt hun inzet op randapparatuur (edge devices) met beperkte middelen moeilijk.

Bestaande oplossingen voor Patch Pruning (het verwijderen van minder informatieve patches) hebben een fundamenteel nadeel:

1. Late Stages: Ze beperken patch-reductie meestal tot de diepere lagen van het netwerk. De vroege lagen blijven volledig dicht (dense), wat de totale efficiëntie beperkt.
2. Gebrek aan Foreground Selectivity: De auteurs tonen aan dat vroege ViT-lagen (lagen 0-3) geen goede "foreground selectivity" hebben; ze kunnen objecten niet betrouwbaar van de achtergrond onderscheiden. Als je hier toch pruneert op basis van huidige frame-informatie, worden willekeurige patches verwijderd, wat leidt tot verlies van cruciale objectinformatie.
3. Beperkingen bij Dichte Predicties: Veel bestaande methoden vertrouwen op een classificatie-token om pruning te sturen, wat niet ideaal is voor dichte predictietaken zoals segmentatie.

Methodologie: Video Patch Pruning (VPP)

De auteurs introduceren VPP, een nieuw framework dat patch-pruning mogelijk maakt in de vroege lagen van het netwerk door gebruik te maken van temporale kennis uit voorgaande frames.

Kerncomponenten:

1. Mapping-Selective Module (Map-SM):

   • Dit is een volledig differentieerbare module die direct na de eerste ViT-laag wordt toegepast.
   • In plaats van te vertrouwen op de huidige laag (die nog geen goede objectinformatie heeft), projecteert Map-SM hoog-niveau features (vanaf laag 6) uit het vorige frame ($t-1$) naar het huidige frame ($t$).
   • Associatiematrix: Er wordt een associatiematrix $A$ berekend op basis van de gelijkenis tussen de huidige patches en de reeds gesorteerde patches uit het vorige frame.
   • Gumbel-Softmax: Om het proces differentieerbaar te maken en exploratie te stimuleren, wordt Gumbel-noise gebruikt. Dit zorgt ervoor dat achtergrondpatches niet volledig worden verwijderd, maar sparsely geactiveerd blijven. Dit is cruciaal om nieuwe objecten te detecteren die niet in het vorige frame aanwezig waren.
   • Resultaat: De module genereert een binaire maskering die achtergrondpatches in de vroege lagen verwijdert, terwijl hoogwaardige foreground-patches behouden blijven.

2. Dynamische Masker-Schaalbaarheid:

   • VPP past de grootte van het pruning-masker dynamisch aan. Voor grote objecten wordt een groter masker gebruikt, terwijl voor kleine objecten een dichter masker wordt behouden. Dit optimaliseert de resource-allokatie.

3. Sparsificatieverlies (Sparsification Loss):

   • Er wordt een extra loss-functie toegevoegd om de gemiddelde dichtheid van de patches te reguleren, zodat het netwerk leert om een specifiek percentage patches te behouden zonder de prestaties te verliezen.

Belangrijkste Bijdragen

• Vroege Pruning: VPP is de eerste methode die effectief patch-pruning toepast in de vroege lagen van een ViT voor VIS, wat leidt tot een totale patch-reductie van tot wel 60%.
• Temporele Context: Door gebruik te maken van features uit het vorige frame, overbrugt VPP het gebrek aan "foreground selectivity" in de vroege lagen van het huidige frame.
• Onafhankelijkheid van Classificatie-Token: De methode werkt direct op spatiale features en is dus geschikt voor dichte predictietaken (segmentatie), in tegenstelling tot methoden die afhankelijk zijn van een [CLS]-token.
• Analyse van Foreground Selectivity: Het paper levert een gedetailleerde analyse die aantoont dat vroege lagen zonder temporale hulp onvoldoende zijn voor betrouwbare pruning.

Resultaten

De methode is geëvalueerd op de Youtube-VIS 2019 en 2021 datasets met ViT-Adapter als backbone.

• Prestaties bij Hoge Sparsiteit:
  • Bij een Patch Keep Ratio (PKR) van 55% (dus 45% verwijderd): VPP behoudt een gemiddelde precisie (AP) van 49.8% (voor het 'small' model), wat slechts 0.6% lager is dan het dichte baseline-model. Dit is een aanzienlijke verbetering ten opzichte van bestaande methoden zoals SViT en DynamicViT, die bij deze sparsiteit veel grotere prestatieverliezen lijden.
  • Bij een PKR van 40%: VPP behoudt nog steeds 48.5% AP (een verlies van slechts 1.9%), terwijl concurrenten vaak instorten.
• Segmentatiekwaliteit: VPP presteert superieur op instance-wise metrics (mAP bbox en segm), met name bij kleine objecten. Het behoudt bijvoorbeeld 87.3% van de patches voor kleine objecten (<10% van het beeld), terwijl SViT hier veel minder goed in is.
• Efficiëntie:
  • FLOPS: Reductie van 88.0 G naar 59.9 G.
  • Snelheid (FPS): De doorvoer van het volledige model stijgt van 6.58 FPS (dense) naar 8.13 FPS (VPP).
• Robuustheid: VPP kan zich binnen één tijdstap aanpassen aan plotselinge scène-wisselingen (scene switches), waarbij het de foreground binnen één frame opnieuw correct identificeert.

Betekenis en Conclusie

Dit werk markeert een doorbraak in de efficiëntie van Vision Transformers voor videotaak. Door de beperking van "late-stage only" pruning te doorbreken, toont VPP aan dat het mogelijk is om tot 60% van de computationele last te verminderen zonder significante kwaliteitsverlies in complexe taken zoals video-segmentatie.

De kerninzicht is dat temporale coherentie essentieel is om vroege lagen van een netwerk te laten "weten" wat belangrijk is, zelfs voordat het netwerk diep genoeg is om dit zelf te leren. Dit maakt VPP een ideale kandidaat voor real-time applicaties op randapparatuur, zoals autonoom rijden en medische beeldanalyse, waar lage latentie en hoge nauwkeurigheid cruciaal zijn.