EdgeCrafter: Compact ViTs for Edge Dense Prediction via Task-Specialized Distillation

Probleemstelling

Het implementeren van hoogpresterende modellen voor "dense prediction" taken (zoals objectdetectie, instantiesegmentatie en menselijke pose-schatting) op randapparaten (edge devices) blijft een grote uitdaging vanwege strikte beperkingen op rekenkracht en geheugen.

• Huidige staat: In de praktijk worden deze taken op edge-apparaten nog steeds gedomineerd door CNN-architecturen (zoals de YOLO-familie), omdat deze een goede balans bieden tussen nauwkeurigheid en efficiëntie.
• Het ViT-probleem: Compacte Vision Transformers (ViTs) presteren vaak minder goed dan CNN's in deze context, zelfs met grote-scale pre-training. De auteurs stellen dat dit niet ligt aan een inherente incompatibiliteit tussen ViTs en edge-dense prediction, maar aan onvoldoende taakspecifieke representatieleren in kleine ViT-modellen.
• Aangetoonde beperking: Experimenten tonen aan dat het simpelweg verkleinen van een ViT of het gebruik van generieke supervised pre-training (bijv. op ImageNet-21K) leidt tot een drastische daling in prestaties voor dense prediction-taken, soms zelfs slechter dan training vanaf nul.

Methodologie: EdgeCrafter

EdgeCrafter is een unificerend framework voor compacte ViTs, gecentreerd rondom ECDet (een detectiemodel). De aanpak bestaat uit drie hoofdstappen:

1. Taakspecialiseerde Kennisdistillatie (Task-Specialized Distillation):

   • In plaats van een generieke ViT te gebruiken, wordt een groot, vooraf getraind DINOv3-model (een foundation model) eerst aangepast aan objectdetectie.
   • Dit aangepaste model fungeert als een docent (teacher) die rijke, taakspecifieke representaties leert.
   • Deze kennis wordt gedistilleerd naar compacte student-backbones (ECViT) via feature-alignment. De student probeert de representaties van de docent te matchen, specifiek gericht op de detectietaken.

2. Edge-vriendelijke Architectuur:

   • Convolutional Stem: De standaard grote-stap patch-embedding van ViTs wordt vervangen door een lichtgewicht convolutionele "stem" (een stapel van vier 3x3 convoluties met stride 2). Dit behoudt lokale ruimtelijke details die cruciaal zijn voor nauwkeurige lokalisatie, in plaats van deze in één stap te aggregeren.
   • Eenvoudige Multi-Scale Features: In plaats van zware Feature Pyramid Networks (FPN), worden multi-scale features (strides 8, 16, 32) gegenereerd door de laatste transformer-blokken te interpoleren en te projecteren via eenvoudige lineaire lagen. Dit minimaliseert het aantal parameters en FLOPs.

3. Unificatie voor Diverse Taken:

   • Het gedistilleerde backbone en de encoder worden hergebruikt voor instantiesegmentatie (ECInsSeg) en menselijke pose-schatting (ECPose).
   • Voor deze taken worden alleen de "heads" (de voorspellende modules) vervangen door lichtgewicht, taakspecifieke decoders, terwijl de zware representatielering (backbone) gedeeld blijft.

Kernbijdragen

• Identificatie van de Bottleneck: De auteurs identificeren dat generieke supervised pre-training ontoereikend is voor compacte ViTs in edge-scenario's en dat taakspecialiseerde distillatie essentieel is.
• Edge-geoptimaliseerd ViT-ontwerp: Een nieuwe architectuur die een convolutionele stem en eenvoudige feature-fusie combineert met distillatie, waardoor ViTs concurrerend worden binnen strikte parameter- en FLOP-budgetten.
• Unified Framework: EdgeCrafter bewijst dat één gedistilleerde representatie effectief kan worden overgedragen naar drie verschillende dense prediction-taken (detectie, segmentatie, pose) zonder dat er aparte backbones nodig zijn.

Resultaten

De modellen zijn geëvalueerd op het COCO-dataset. De resultaten tonen aan dat EdgeCrafter concurrerend is met, en in sommige gevallen beter presteert dan, state-of-the-art modellen (zoals YOLO26 en RF-DETR), zelfs zonder gebruik te maken van extra grote datasets zoals Objects365 voor pre-training.

• Objectdetectie (ECDet):
  • ECDet-S bereikt 51.7 AP met minder dan 10M parameters (gebruikmakend van alleen COCO-annotaties). Dit is beter dan RT-DETRv4-S en DEIMv2-S in dezelfde grootteklasse.
  • Grotere varianten (M, L, X) behalen respectievelijk 54.3, 57.0 en 57.9 AP, en presteren vaak beter dan modellen die wel Objects365 pre-training hebben gebruikt.
• Menselijke Pose-schatting (ECPose):
  • ECPose-X bereikt 74.8 AP, wat significant beter is dan YOLO26Pose-X (71.6 AP), hoewel YOLO26Pose-X wel gebruikmaakt van uitgebreide Objects365 pre-training.
• Instantiesegmentatie (ECInsSeg):
  • ECInsSeg-S bereikt 43.0 AP met slechts 10.3M parameters, wat vergelijkbaar is met RF-DETR-Seg-S (dat 33.7M parameters heeft en extra pre-training gebruikt).

Efficiëntie: Hoewel ViT-modellen soms iets hogere latentie hebben dan geoptimaliseerde CNN's op specifieke hardware, biedt EdgeCrafter een superieure nauwkeurigheids-efficiëntie afweging. De modellen zijn compact genoeg voor geheugenbeperkte edge-apparaten (zoals Rockchip RK3568).

Betekenis en Impact

Dit paper is significant omdat het de perceptie verandert dat Vision Transformers ongeschikt zijn voor compacte edge-toepassingen. Het toont aan dat:

1. De sleutel tot succes niet alleen in het verkleinen van het model ligt, maar in hoe het model leert (taakspecialiseerde distillatie).
2. Een enkele, goed ontworpen ViT-architectuur kan dienen als een universele ruggengraat voor meerdere complexe visuele taken op randapparaten.
3. Het is mogelijk om state-of-the-art prestaties te behalen zonder afhankelijk te zijn van enorme, externe pre-training datasets (zoals Objects365), wat de toepasbaarheid in privacygevoelige of datalimiet-scenario's vergroot.

Kortom, EdgeCrafter biedt een praktische en concurrerende oplossing voor het deployen van geavanceerde visuele AI-modellen op resource-beperkte hardware.