An Angular-Temporal Interaction Network for Light Field Object Tracking in Low-Light Scenes

Technische Samenvatting: Een Angular-Temporeel Interactienetwerk voor Light Field Object Tracking in Situaties met Weinig Licht

Probleemstelling
Bestaande objecttrackingmodellen vertrouwen primair op RGB-camera technieken, die 2D-intensiteitsinformatie vastleggen. In complexe situaties met weinig licht is de intensiteitsinformatie sterk gedempt, wat leidt tot een gedegradeerde trackingprestatie door een gebrek aan discriminerende visuele kenmerken. Hoewel light field-camera's gestructureerde 4D-data vastleggen (ruimtelijke en angulaire informatie) die het uiterlijk van objecten en geometrische structurele beschrijvingen versterken, zelfs bij weinig licht, worstelen huidige methoden met het effectief benutten van deze data. Specifiek bevatnen hoogdimensionale light fields redundante uiterlijke kenmerken die nauw gekoppeld zijn aan schaarse geometrische structurele kenmerken. Bestaande representaties, zoals standaard Epipolar Plane Images (EPI's), behouden nog steeds deze redundantie, wat het vermogen van het model om geometrische structurele kenmerken in het angulaire domein te verkennen, beperkt. Bovendien is het modelleren van temporele kenmerken voor light field-tracking uitdagend; standaard spatio-temporele methoden aggregeren vaak informatie van niet-geometrische structuren, waardoor het onderscheid tussen doelwit en achtergrond wordt verzwakt. Daarnaast is de schaarste aan light field-datasets onvoldoende voor puur gesuperviseerd leren voor effectieve temporele feature-modellering.

Methodologie
Het artikel stelt een framework voor dat gecentreerd is rond een nieuwe representatie en een gespecialiseerde netwerkarchitectuur:

1. Light Field Epipolar-Plane Structure Image (ESI):
   De auteurs introduceren de ESI-representatie om de geometrische structuur binnen het light field expliciet te definiëren. Door gebruik te maken van de abrupte veranderingen in lichtstraalhoeken binnen het epipolaire vlak (specifiek bij objectgrenzen), identificeert de methode "geometrische structurele punten". Dit wordt bereikt door de eerste-orde afgeleiden (gradiënten) van horizontale en verticale EPI's te berekenen en de maximale gradiëntamplitudes op een 2D-vlak te projecteren. Dit proces verwijdert hoogdimensionale redundante uiterlijke informatie, waardoor een representatie overblijft die doelwitcontouren duidelijk aftekent, met name in situaties met weinig licht.

2. Angular-Temporal Interaction Network (ATINet):
   ATINet is een hybride architectuur die is ontworpen om angulaire-bewuste representaties te leren van de ESI. Het maakt gebruik van een dual-stream feature extractieproces:

   • Appearance Stream: Voert de ESI in een CNN-backbone.
   • Angular-Temporal Stream: Voert de ESI in een Transformer-gebaseerd framework dat wordt versterkt door een Geometry Adaptive Selection (GAS) module.
     De baseline Transformer gebruikt multi-head self-attention om intra-frame en inter-frame correlaties te modelleren. De GAS-module fungeert als een plug-and-play component die ESI-embeddings adaptief partitioneert in geometrische structurele punten (cruciaal voor bewegingsperceptie) en niet-geometrische punten. Het construeert een relatiematrix om informatie selectief te aggregeren, waardoor het netwerk zich kan concentreren op schaarse geometrische kenmerken in plaats van redundante uiterlijke data.

3. Self-Supervised Learning (SSL):
   Om de beperkte beschikbaarheid van light field-datasets aan te pakken, introduceren de auteurs een zelf-gesuperviseerde verliesfunctie. Deze verliesfunctie maakt gebruik van een masking-strategie (geïnspireerd door DropMAE) waarbij een decoder gemaskeerde embedding-features reconstrueert. Cruciaal is dat de decoder adaptieve spatiale-attention dropout gebruikt om intra-frame interacties te beperken terwijl inter-frame interacties worden aangemoedigd. Dit dwingt het netwerk om prioriteit te geven aan temporele bewegingskenmerken en effectieve representaties voor temporele matching te leren zonder dat er uitgebreide gelabelde data nodig is.

4. Dataset Constructie (R8LUT):
   De auteurs hebben de R8LUT dataset geconstrueerd, een grootschalige light field-dataset voor object tracking. Met behulp van een Raytrix R8-camera hebben zij 26 light field videosequenties opgenomen in omgevingen met weinig licht, bevattende diverse objecten (bijv. vissen, speelgoedauto's, industriële moeren). De dataset bevat 173 sequenties voor Single Object Tracking (SOT) en 26 sequenties voor Multiple Object Tracking (MOT), allen geannoteerd met bounding boxes en ESI-representaties.

Belangrijkste Bijdragen

• Nieuwe Representatie: De voorstel van de Light Field ESI, die geometrische structurele punten expliciet aftekent door gebruik te maken van abrupte veranderingen in lichtstralen, wat effectief de redundantie vermindert en de visuele expressie in situaties met weinig licht verbetert.
• ATINet Architectuur: De ontwikkeling van een Angular-Temporal Interaction Network dat een Geometry Adaptive Selection (GAS) module integreert om discriminerende kenmerken te leren van geometrische structurele en angulaire-temporele kenmerken.
• Self-Supervised Optimalisatie: De introductie van een zelf-gesuperviseerde verliesfunctie om angulaire-bewuste representaties te optimaliseren, wat effectieve feature-lering in het temporele domein faciliteert, ondanks de schaarste aan data.
• Benchmark Dataset: De creatie van de R8LUT dataset, die de eerste grootschalige bron biedt voor light field SOT en MOT taken in situaties met weinig licht.
• Extensie naar MOT: De extensie van de voorgestelde methode naar Multiple Object Tracking (AMTrack) door GAS te integreren in een re-identificatie framework.

Resultaten
Uitgebreide experimenten zijn uitgevoerd op de R8LUT dataset:

• Single Object Tracking (SOT): ATINet bereikte state-of-the-art prestaties en presteerde beter dan 24 bestaande methoden (inclusief hybride en pure Transformer trackers) op het gebied van Success, Precision en Normalized Precision metrieken. Visuele vergelijkingen toonden een superieur vermogen om deformerende en gelijkaardige objecten te tracken in situaties met weinig licht vergeleken met RGB-gebaseerde trackers.
• Multiple Object Tracking (MOT): De uitgebreide AMTrack-methode behaalde de hoogste MOTA (87.5) en IDF1 (85.4) scores onder de vergeleken state-of-the-art methoden, wat een effectief langetermijn-trajectbehoud en een laag aantal miss-detecties aantoont.
• Ablatie Studies: Resultaten bevestigden dat de combinatie van ESI, GAS en SSL optimale prestaties oplevert. Specifiek werd aangetoond dat de ESI-representatie superieur is aan alternatieve gradiënt-aggregaties (gemiddelde, som, max), en dat de GAS-module essentieel bleek voor het modelleren van zowel intra-frame als inter-frame correlaties.

Betekenis
Het artikel claimt dat de primaire betekenis ligt in het adresseren van de specifieke uitdagingen van light field object tracking in situaties met weinig licht, een scenario waarin traditionele RGB-methoden falen. Door geometrische structurele kenmerken te ontkoppelen van redundante uiterlijke informatie en deze te modelleren via een angular-temporeel interactienetwerk, maakt de voorgestelde methode robuustere doelwit-discriminatie mogelijk. De introductie van de R8LUT dataset vult een kritiek gat in de beschikbare middelen voor dit domein. De auteurs stellen dat hun aanpak de effectiviteit van hoogwaardige light field angular-temporele modellering valideert, waarbij state-of-the-art resultaten worden behaald op zowel SOT als MOT benchmarks, terwijl de computationele efficiëntie behouden blijft door het lichtgewicht ontwerp van de GAS en SSL modules.