EdgeDAM: Real-time Object Tracking for Mobile Devices

EdgeDAM is een lichtgewicht, real-time objecttracking-framework voor mobiele apparaten dat nauwkeurige en robuuste prestaties onder moeilijke omstandigheden bereikt door een innovatieve dubbel-bufferdistractor-bewust geheugenmechanisme en een op vertrouwen gebaseerde schakelstrategie te combineren.

De kern

EdgeDAM: De Slimme Camera die Niet Vergeet (Zelfs op je Telefoon)

Stel je voor dat je een vriendje in een drukke menigte probeert te volgen. Je kijkt naar hem, maar dan loopt hij achter een paal, of er staat iemand met een identiek jasje voor hem. Een gewone camera (of een simpele tracker) raakt dan vaak de draad kwijt: "Waar is hij nu? Is dat nog mijn vriendje?"

Dit is precies het probleem dat de onderzoekers van EdgeDAM wilden oplossen. Ze hebben een nieuwe manier bedacht om objecten (zoals mensen, auto's of dieren) te volgen op mobiele telefoons, zelfs als het heel druk is of als het object even verdwijnt.

Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Probleem: Te Sluip of Te Traag

Vroeger waren er twee soorten "volgers":

• De Super-Slimme Volger: Deze kon alles onthouden en zag zelfs als je vriendje zijn jas uitdeed. Maar hij was zo zwaar en traag dat hij je telefoon laatst liet bevriezen. Alsof je een gigantische vrachtwagen probeert te besturen in een smalle straat.
• De Snelle Volger: Deze was supersnel en werkte prima op je telefoon, maar hij was dom. Zodra er iemand met een vergelijkbaar jasje voorbij kwam, verwarden ze het en volgden ze de verkeerde persoon.

De onderzoekers wilden een snelle volger die ook slim is, zonder dat je telefoon het opgeeft.

2. De Oplossing: EdgeDAM (De Twee-Buffer Systeem)

EdgeDAM werkt als een slimme assistent met twee speciale notitieboekjes (buffers) in zijn hoofd. In plaats van te proberen elke pixel van een foto te onthouden (wat te veel ruimte kost), kijkt hij alleen naar de omtrek (het vakje) rondom het object.

• Boekje 1: Het "Kortetermijngeheugen" (Recent-Aware Memory)
  Dit boekje onthoudt alleen waar je vriendje nu was. Het is heel streng: als het vakje niet past bij de vorige positie (bijvoorbeeld als het plotseling te groot wordt of ergens anders staat), wordt het niet opgeschreven. Dit voorkomt dat de tracker verward raakt door nep-candidaten.
• Boekje 2: Het "Lange Termijn Geheugen" (Distractor-Resolving Memory)
  Dit is het echte geheim. Als je vriendje even verdwijnt achter een muur, onthoudt dit boekje hoe hij eruitzag toen hij nog zichtbaar was. Als hij weer tevoorschijn komt, vergelijkt EdgeDAM: "Zie ik iemand die op mijn vriendje lijkt?"
  • De Slimme Twist: Als er iemand met een identiek jasje (een 'distractor') voorbij komt, onthoudt EdgeDAM die persoon als een "valstrik". De volgende keer dat die persoon verschijnt, zegt het systeem: "Nee, dat is niet mijn vriendje, dat is de valstrik!" en negeert hem.

3. De "Houd-Vast" Strategie (Held-Box Stabilization)

Stel je voor dat je vriendje achter een bus verdwijnt. Wat doet EdgeDAM?
Hij raakt niet in paniek. Hij zegt: "Oké, ik zie hem niet meer, maar ik weet ongeveer waar hij zou moeten zijn."
In plaats van te proberen een nieuw vakje te tekenen (wat fout kan gaan), houdt hij het oude vakje vast en maakt het zelfs een beetje groter. Hij "bevriest" de situatie even. Zodra er een nieuw signaal komt dat echt lijkt op je vriendje (en niet op de valstrik), springt hij weer in actie. Dit voorkomt dat de tracker wild om zich heen kijkt en de verkeerde persoon pakt.

4. Waarom is dit speciaal?

• Het werkt op je telefoon: De meeste slimme systemen zijn te zwaar voor een iPhone. EdgeDAM is zo lichtgewicht dat hij 25 beelden per seconde haalt op een iPhone 15. Dat is net zo snel als een normaal filmpje kijken.
• Het is onafhankelijk: Het maakt niet uit of je een hond, een auto of een mens volgt. Het systeem is getraind om "iets" te volgen, zonder dat het eerst moet weten wat voor soort dier het is.
• Resultaat: Op tests met heel veel verwarrende situaties (waar andere systemen faalden) scoorde EdgeDAM 88,2%. Dat is een enorme verbetering ten opzichte van de huidige beste systemen.

Samenvatting in één zin

EdgeDAM is als een slimme, snelle bodyguard die je telefoon niet laat bevriezen, die weet wie je vriendje is, die valstrikken herkent, en die geduldig wacht tot je vriendje weer uit de schaduw komt, zonder dat hij de verkeerde persoon gaat volgen.

Het is een grote stap voorwaarts om slimme camera-apps te maken die echt werken in de echte, chaotische wereld.

Technische samenvatting

Probleemstelling

Single-object tracking (SOT) op randapparaten (edge devices) zoals smartphones is een kritieke taak die nauwkeurige en continue lokalisatie van een doelwit vereist, zelfs onder moeilijke omstandigheden zoals occlusie (verduistering), interferentie van afleidende objecten (distractors) en snelle beweging.

Bestaande oplossingen kampen met een fundamenteel compromis tussen robuustheid en efficiëntie:

1. State-of-the-art (SOTA) trackers: Methoden gebaseerd op segmentatie en geheugen (zoals SAM2.1++ en SAMURAI) zijn zeer robuust tegen occlusie en distractors, maar vereisen zware berekeningen (dichte cross-attention, mask-propagatie). Dit leidt tot een hoge rekenlast en geheugengebruik, waardoor ze niet in real-time kunnen draaien op mobiele hardware (vaak < 8 FPS).
2. Lichtgewicht trackers: Efficiënte trackers (zoals EdgeTAM of OSTrack) halen hoge frames per seconde (FPS), maar zijn kwetsbaar voor "drift" (het doelwit kwijtraken) wanneer visueel vergelijkbare afleidende objecten verschijnen.

Er is een duidelijke behoefte aan een tracker die zowel robuustheid als real-time prestaties op mobiele apparaten combineert, zonder afhankelijk te zijn van zware segmentatiemaskers of grote vooraf getrainde encoders.

Methodologie: EdgeDAM

EdgeDAM is een lichtgewicht, detectie-gestuurd trackingframework dat specifiek is ontworpen voor mobiele en edge-apparaten. Het combineert een flexibele YOLO-detectiebackbone met een klassieke CSRT-tracker en introduceert een nieuw Distractor-Aware Memory (DAM)-module die werkt op het niveau van bounding boxes in plaats van pixel-masks.

De kernarchitectuur bestaat uit drie componenten:

1. Detectie-Backbone:

   • Gebruikt een YOLOv11s-model dat is getraind als een single-class detector (alle objectcategorieën worden gemap naar één doelwit-index).
   • Detecties worden alleen uitgevoerd met een bepaalde stride (bijv. elke 3e frame) om rekenkracht te besparen. Tussen deze detecties wordt de CSRT-tracker gebruikt om het doelwit te volgen.
   • Bij stabiele tracking wordt de detectie beperkt tot een Region of Interest (ROI) rondom het huidige schatting, wat de rekentijd verder verlaagt.

2. Dual-Buffer Distractor-Aware Memory (DAM):
   In plaats van zware attention-mechanismen, gebruikt EdgeDAM twee buffers die werken met geometrische en kleur-gebaseerde beschrijvers (geen diepe features):

   • Recent-Aware Memory (RAM): Bewaart een korte geschiedenis van verifieerde doelwit-frames. Toegang wordt gereguleerd door een "geometrische poort" (IoU en oppervlakte-consistentie) om te voorkomen dat distractors het recente model vervuilen tijdens korte occlusies.
   • Distractor-Resolving Memory (DRM): Bewaart stabiele "anchors" (herkenningspunten) van het doelwit die dienen als referentie voor heridentificatie na langdurige occlusie. Items worden alleen naar DRM gepromoveerd als ze consistent zijn in uiterlijk over meerdere frames.
   • Recovery: Bij verlies van het doelwit wordt de DRM gebruikt om het doelwit opnieuw te vinden via een scoringsfunctie die rekening houdt met IoU, uiterlijk (HSV-kleurhistogram + grijswaarden), beweging en tijd.

3. Vertrouwensgestuurde Schakeling en Held-Box Stabilisatie:

   • Het systeem schakelt dynamisch tussen CSRT-tracking en detector-gestuurde heridentificatie op basis van een betrouwbaarheidsscore (Peak-to-Sidelobe Ratio).
   • Held-Box Mechanisme: Bij occlusie (waarbij meerdere detecties overlappen) "bevriest" het systeem de positie van het doelwit en breidt de bounding box tijdelijk uit. Dit voorkomt dat het systeem een distractor kiest terwijl het doelwit nog niet zichtbaar is. Tegelijkertijd worden de overlappende detecties opgeslagen als "negatieve voorbeelden" (distractors) om hun herselectie in de toekomst te straffen.

Belangrijkste Bijdragen

• Bounding-Box DAM: Een nieuwe geheugenarchitectuur die werkt op bounding boxes in plaats van segmentatiemaskers. Dit elimineert de noodzaak voor zware attention-layers en mask-supervisie, wat de rekenlast drastisch verlaagt.
• Dual-Buffer Strategie: Een unieke scheiding tussen RAM (voor recente consistentie) en DRM (voor herstel na occlusie), gemanaged via geometrische poorten en cosine-similariteit in plaats van complexe neurale netwerken.
• Robuuste Recovery: Een combinatie van een held-box mechanisme en een negatieve distractor-bank die de tracker in staat stelt zich te herstellen van zware occlusie zonder drift.
• Edge-Deployable: Een framework dat volledig detector-agnostisch is (werkt met elke YOLO-variant) en real-time prestaties haalt op mobiele hardware zonder GPU.

Resultaten

EdgeDAM is uitgebreid getest op vijf benchmarks, waaronder de distractor-georiënteerde DiDi-dataset, VOT2020/2022, LaSOT, LaSOText en GOT-10k.

• Prestaties op DiDi: EdgeDAM behaalde een 88.2% IoU en 97.3% Robuustheid, wat een aanzienlijke verbetering is ten opzichte van SOTA-methoden zoals SAM2.1++ (72.7% IoU) en SAMURAI.
• VOT Benchmarks: Op VOT2020 behaalde het een EAO (Expected Average Overlap) van 0.849 (vs. 0.729 voor SAM2.1++). Op VOT2022 behaalde het 0.790 EAO, verslaand de winnaar van de challenge (MSAOT).
• Generalisatie: Op LaSOT en GOT-10k (die category-agnostic generalisatie testen) overtrof EdgeDAM alle vergelijkbare methoden, met name dankzij de single-class training en geheugengestuurde heridentificatie.
• Efficiëntie:
  • Snelheid: Bereikt 25 FPS op een iPhone 15 Pro Max.
  • Modelgrootte: Met slechts 9.4 miljoen parameters is het aanzienlijk lichter dan concurrenten (bijv. SAM 2.1++ heeft 224M parameters).
  • Vergelijking: Het combineert de nauwkeurigheid van zware memory-based trackers met de snelheid van lightweight trackers.

Betekenis en Conclusie

EdgeDAM sluit de kloof tussen robuustheid en efficiëntie in visuele objecttracking. Het bewijst dat het niet noodzakelijk is om zware segmentatiemaskers of transformer-based attention-mechanismen te gebruiken om robuust te zijn tegen occlusie en distractors. Door slimme geometrische poorten en een dual-buffer geheugenstrategie te combineren met een lichtgewicht detector, maakt EdgeDAM real-time, robuuste tracking mogelijk op resource-beperkte mobiele apparaten. Dit opent de deur voor geavanceerde tracking-toepassingen in augmented reality, robotica en mobiele bewakingssystemen die eerder beperkt waren door hardware-beperkingen.