PicoSAM3: Real-Time In-Sensor Region-of-Interest Segmentation

Probleemstelling

De opkomst van grote foundation-modellen voor visuele segmentatie, zoals Meta's Segment Anything Model (SAM) en zijn opvolgers (SAM2, SAM3), heeft de prestaties aanzienlijk verbeterd. Echter, deze modellen zijn gebaseerd op zware transformer-architecturen met een hoge rekenkracht en een groot geheugengebruik. Dit maakt ze ongeschikt voor extreme edge-scenario's, zoals batterijgestuurde smart glasses of IoT-apparaten.

Specifiek voor in-sensor computing (verwerking direct op de sensor, zoals de Sony IMX500) zijn de beperkingen extreem streng:

• Beperkt geheugen: De IMX500 heeft minder dan 8 MB on-chip SRAM.
• Beperkte operator-ondersteuning: De hardware ondersteunt geen complexe niet-lineaire activeringen of de willekeurige geheugentoegang die inherent is aan self-attention mechanismen.
• Latenheid: Cloud-offloading is onacceptabel voor privacygevoelige en latency-critische toepassingen.

Bestaande verkleinde versies van SAM (zoals TinySAM, EdgeSAM) kunnen niet worden gedeployed op deze sensoren omdat ze nog steeds te groot zijn of operators gebruiken die niet worden ondersteund.

Methodologie: PicoSAM3

PicoSAM3 is een ultralicht, promptbaar segmentatiemodel dat specifiek is ontworpen voor uitvoering direct op de sensor. De kern van de methode bestaat uit drie pijlers:

1. Hardware-bewuste Architectuur (Dense CNN):

   • In plaats van zware transformer-blokken, gebruikt PicoSAM3 een dichte CNN-architectuur (geïnspireerd op een U-Net) met dieptewijs scheidbare convoluties.
   • De architectuur bevat een dilated bottleneck (om het receptieve veld te vergroten zonder extra downsampling) en Efficient Channel Attention (ECA) blokken voor adaptieve feature-calibratie.
   • Dit zorgt voor volledige compatibiliteit met de beperkte operator-set en het geheugenbudget van de IMX500.

2. Impliciete Prompt-encoding via ROI-Cropping:

   • Omdat de sensor alleen RGB-gegevens kan verwerken, kunnen expliciete prompt-kanalen (zoals coördinaten of maskers) niet als input worden gebruikt.
   • PicoSAM3 lost dit op door Region-of-Interest (ROI) cropping tijdens het trainen. Het model krijgt alleen een gecentreerd, vierkant crop van de afbeelding rondom het object van belang (met 10% padding).
   • Hierdoor leert het netwerk impliciet dat het doelobject zich in het midden bevindt. Dit elimineert de noodzaak voor extra prompt-kanalen tijdens inferentie en maakt naadloze integratie met de hardware-ROI-functionaliteit van de sensor mogelijk.

3. Kennisdistillatie van SAM3:

   • Het model wordt getraind via een twee-staps distillatieproces van de grote leraar-modellen SAM2 en SAM3.
   • De student (PicoSAM3) leert van de "zachte" voorspellingen (soft masks) van de leraar, die zijn gegenereerd op basis van dezelfde bounding box prompts.
   • De trainingsloss combineert Mean Squared Error (MSE), Dice-loss, en een area-preservation term om te voorkomen dat het model triviale kleine maskers voorspelt.

4. Quantization (INT8):

   • Na training wordt het model gequantized naar INT8 precisie met behulp van Sony's Model Compression Toolkit.
   • Dit reduceert het modelgrootte met een factor 4 (van ~5.26 MB naar 1.31 MB) met verwaarloosbaar verlies aan nauwkeurigheid, wat essentieel is voor de 8 MB limiet van de sensor.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Een volledig convolutioneel, hardware-geoptimaliseerd model van slechts 1.37 miljoen parameters dat volledig compatibel is met de IMX500.
• ROI-gebaseerde Prompting: Een innovatieve aanpak die de beperkingen van de sensor omzeilt door prompts impliciet te coderen via spatial cropping, in plaats van expliciete coördinaten.
• Distillatie van SAM3: Het eerste werk dat effectief kennis distilleert van de nieuwste SAM3-modellen naar een ultralichte in-sensor student, wat resulteert in aanzienlijke prestatieverbeteringen.
• Echte In-Sensor Implementatie: Het is het eerste model dat promptable segmentatie in real-time uitvoert op de Sony IMX500 zonder cloud-afhankelijkheid.

Resultaten

De prestaties zijn getest op de COCO en LVIS datasets en op de Sony IMX500 hardware:

• Nauwkeurigheid:
  • PicoSAM3 bereikt 65.45% mIoU op COCO en 64.01% mIoU op LVIS.
  • Dit is een verbetering van +11.85 mIoU ten opzichte van de grote SAM-H (635M parameters) en +13.85% ten opzichte van FastSAM, ondanks dat PicoSAM3 460 keer kleiner is.
  • Het overtreft bestaande edge-baselines (zoals TinySAM en EdgeSAM) met meer dan 14 mIoU punten.
• Efficiëntie en Latentie:
  • Het gequantizeerde model (Q-PicoSAM3) heeft een grootte van slechts 1.31 MB.
  • Op de Sony IMX500 wordt een end-to-end inferentie-latentie van 11.82 ms bereikt (ongeveer 84 FPS).
  • De INT8-quantization leidt tot een verwaarloosbaar nauwkeurigheidsverlies van slechts 0.11% op COCO.
• Ablatie Studies:
  • Distillatie van SAM3 leverde tot +14.5% mIoU verbetering op ten opzichte van supervisie-only training.
  • De overstap van punt-prompting naar ROI-cropping was cruciaal voor de prestaties op lage resolutie.

Significantie

PicoSAM3 bewijst dat hoogwaardige, promptbare visuele segmentatie mogelijk is direct op de sensor, zonder afhankelijkheid van de cloud of zware edge-servers. Dit opent de deur voor nieuwe toepassingen in:

• Privacy-bewuste systemen: Gegevens hoeven de sensor niet te verlaten.
• Real-time AR/VR: Smart glasses met lage latency.
• IoT en Robotica: Batterijgestuurde apparaten met geavanceerde visuele intelligentie.

Het werk markeert een verschuiving van "cloud-first" AI naar "sensor-first" AI, waarbij hardware-beperkingen worden gebruikt als een ontwerpprincipe in plaats van een obstakel.