An Angular-Temporal Interaction Network for Light Field Object Tracking in Low-Light Scenes

Résumé Technique : Un réseau d'interaction angulaire-temporelle pour le suivi d'objets en champ lumineux dans des scènes à faible luminosité

Énoncé du Problème
Les modèles de suivi d'objets existants reposent principalement sur des techniques de caméras RGB, qui capturent des informations d'intensité en 2D. Dans les scènes complexes à faible luminosité, l'information d'intensité est fortement atténuée, ce qui entraîne une dégradation des performances de suivi en raison d'un manque d'indices visuels discriminants. Bien que les caméras à champ lumineux capturent des données 4D structurées (informations spatiales et angulaires) qui améliorent l'apparence de l'objet et les descriptions structurelles géométriques même en basse lumière, les méthodes actuelles peinent à exploiter efficacement ces données. Plus précisément, les champs lumineux de haute dimension contiennent des indices d'apparence redondants qui sont étroitement couplés à des indices structurels géométriques épars. Les représentations existantes, telles que les images de plans épipolaires (EPI) standards, conservent encore cette redondance, limitant la capacité du modèle à explorer les indices structurels géométriques dans le domaine angulaire. De plus, la modélisation des indices temporels pour le suivi de champ lumineux est difficile ; les méthodes spatio-temporelles standards agrègent souvent des informations provenant de structures non géométriques, affaiblissant la distinction entre la cible et l'arrière-plan. Par ailleurs, la rareté des jeux de données de champ lumineux rend l'apprentissage purement supervisé insuffisant pour une modélisation efficace des caractéristiques temporelles.

Méthodologie
Le papier propose un cadre centré sur une nouvelle représentation et une architecture de réseau spécialisée :

1. Image de Structure de Plan Épipolaire de Champ Lumineux (ESI) :
   Les auteurs introduisent la représentation ESI pour définir explicitement la structure géométrique au sein du champ lumineux. En capitalisant sur les changements brusques des angles de rayons lumineux dans le plan épipolaire (spécifiquement aux limites des objets), la méthode identifie des « points de structure géométrique ». Ceci est réalisé en calculant les dérivées du premier ordre (gradients) des EPI horizontaux et verticaux et en projetant les amplitudes de gradient maximales sur un plan 2D. Ce processus élimine l'information d'apparence redondante de haute dimension, laissant une représentation qui délimite clairement les contours de la cible, particulièrement dans des conditions de faible luminosité.

2. Réseau d'Interaction Angulaire-Temporelle (ATINet) :
   ATINet est une architecture hybride conçue pour apprendre des représentations sensibles à l'angle à partir de l'ESI. Elle emploie un processus d'extraction de caractéristiques à double flux :

• Flux d'Apparence : Injecte l'ESI dans un squelette (backbone) CNN.
• Flux Angulaire-Temporel : Injecte l'ESI dans un cadre basé sur les Transformers, amélioré par un module de Sélection Adaptative de la Géométrie (GAS).
  Le Transformer de base utilise l'auto-attention multi-têtes pour modéliser les corrélations intra-trame et inter-trame. Le module GAS agit comme un composant « plug-and-play » qui partitionne de manière adaptative les plongements (embeddings) de l'ESI en points de structure géométrique (cruciaux pour la perception du mouvement) et en points non géométriques. Il construit une matrice de relation pour agréger sélectivement l'information, garantissant que le réseau se concentre sur les indices géométriques épars plutôt que sur les données d'apparence redondantes.

3. Apprentissage Auto-Supervisé (SSL) :
   Pour répondre à la disponibilité limitée des jeux de données de champ lumineux, les auteurs introduisent une fonction de perte auto-supervisée. Cette perte utilise une stratégie de masquage (inspirée de DropMAE) où un décodeur reconstruit les caractéristiques d'encodage masquées. Crucialement, le décodeur utilise un dropout d'attention spatiale adaptatif pour contraindre les interactions intra-trame tout en encourageant les interactions inter-trame. Cela force le réseau à prioriser les indices de mouvement temporel et à apprendre des représentations efficaces pour l'appariement temporel sans nécessiter de données étiquetées étendues.

4. Construction de Jeu de Données (R8LUT) :
   Les auteurs ont construit le jeu de données R8LUT, un jeu de données de champ lumineux à grande échelle pour le suivi d'objets. En utilisant une caméra Raytrix R8, ils ont enregistré 26 séquences vidéo de champ lumineux dans des environnements à faible luminosité contenant divers objets (ex: poissons, voitures jouets, écrous industriels). Le jeu de données comprend 173 séquences pour le suivi d'objet unique (SOT) et 26 séquences pour le suivi multi-objets (MOT), toutes annotées avec des boîtes englobantes et des représentations ESI.

Contributions Clés

• Nouvelle Représentation : La proposition de l'ESI de champ lumineux, qui délimite explicitement les points de structure géométrique en exploitant les changements brusques des rayons lumineux, augmentant efficacement l'expression visuelle dans les scènes à faible luminosité en réduisant la redondance.
• Architecture ATINet : Le développement d'un réseau d'interaction angulaire-temporelle qui intègre un module de Sélection Adaptative de la Géométrie (GAS) pour apprendre des caractéristiques discriminantes à partir des indices structurels géométriques et angulaires-temporels.
• Optimisation Auto-Supervisée : L'introduction d'une perte auto-supervisée pour optimiser les représentations sensibles à l'angle, facilitant l'apprentissage efficace des caractéristiques dans le domaine temporel malgré la rareté des données.
• Jeu de Données de Référence : La création du jeu de données R8LUT, fournissant la première ressource à grande échelle pour les tâches de SOT et MOT de champ lumineux dans des scénarios de faible luminosité.
• Extension au MOT : L'extension de la méthode proposée au suivi multi-objets (AMTrack) en intégrant le GAS dans un cadre de ré-identification.

Résultats
Des expériences approfondies ont été menées sur le jeu de données R8LUT :

• Suivi d'Objet Unique (SOT) : ATinet a atteint des performances de pointe, surpassant 24 méthodes existantes (incluant des trackers hybrides et purement basés sur les Transformers) en termes de Succès, de Précision et de Précision Normalisée. Les comparaisons visuelles ont démontré une capacité supérieure à suivre des objets déformables et similaires dans des conditions de faible luminosité par rapport aux trackers basés sur le RGB.
• Suivi Multi-Objets (MOT) : La méthode étendue AMTrack a atteint les scores MOTA (87.5) et IDF1 (85.4) les plus élevés parmi les méthodes de pointe comparées, démontrant une maintenance efficace de la trajectoire à long terme et un faible taux de non-détection.
• Études d'Ablation : Les résultats ont confirmé que la combinaison de l'ESI, du GAS et du SSL produit des performances optimales. Plus précisément, la représentation ESI s'est révélée supérieure aux autres agrégations de gradient (moyenne, somme, max), et le module GAS s'est avéré essentiel pour modéliser les corrélations intra-trame et inter-trame.

Signification
Le papier affirme que sa principale signification réside dans le fait de répondre aux défis spécifiques du suivi d'objets en champ lumineux dans des environnements à faible luminosité, un scénario où les méthodes RGB traditionnelles échouent. En découplant les indices structurels géométriques des informations d'apparence redondantes et en les modélisant via un réseau d'interaction angulaire-temporelle, la méthode proposée permet une discrimination de cible plus robuste. L'introduction du jeu de données R8LUT comble une lacune critique dans les ressources disponibles pour ce domaine. Les auteurs affirment que leur approche valide l'efficacité de la modélisation angulaire-temporelle de haute qualité du champ lumineux, atteignant des résultats de pointe sur les benchmarks SOT et MOT tout en maintenant l'efficacité computationnelle grâce à la conception légère des modules GAS et SSL.