Multiple Object Detection and Tracking in Panoramic Videos for Cycling Safety Analysis

Cette recherche propose un cadre innovant en trois étapes pour améliorer la détection et le suivi d'objets dans les vidéos panoramiques afin d'analyser la sécurité cycliste, en surmontant les distorsions et les problèmes de continuité des bords pour atteindre une précision accrue dans des scénarios réels comme la détection des dépassements.

L'essentiel

🚴‍♂️ Le Problème : Le Cycliste "Aveugle" et la Caméra "Déformante"

Imaginez que vous êtes cycliste dans Londres. Vous êtes entouré de voitures, de bus et de piétons. Le danger vient souvent de ce que vous ne voyez pas : une voiture qui arrive par derrière, ou un bus qui passe trop près sur le côté.

Les chercheurs ont eu une idée brillante : attacher une caméra 360° sur le casque du cycliste. C'est comme si le cycliste avait des yeux magiques qui voient tout autour de lui en même temps, sans avoir à tourner la tête.

Mais il y a un gros souci technique :
Une caméra 360° prend une photo du monde entier et l'aplatit sur un rectangle (comme une carte du monde). C'est ce qu'on appelle une "projection équidistante".

• L'analogie : Imaginez que vous essayez de coller une peau d'orange sur une table pour qu'elle soit parfaitement plate. Les bords vont se déchirer, le centre va s'étirer, et les objets au bord de l'image vont ressembler à des allumettes géantes ou à des bonbons écrasés.
• Le résultat : Les ordinateurs (les "cerveaux" qui analysent la vidéo) sont formés pour voir des images normales. Quand ils voient cette image déformée, ils sont perdus. Ils ne reconnaissent pas les voitures, ils confondent les piétons, et ils perdent le fil quand un objet passe d'un bord de l'image à l'autre (comme un camion qui sort par la droite et réapparaît par la gauche).

🛠️ La Solution : La Méthode en Trois Étapes

L'équipe de l'University College London (UCL) a créé une recette en trois étapes pour réparer ce problème et rendre la caméra 360° utile pour la sécurité.

1. Découper le gâteau (La Détection)

Au lieu de regarder l'image déformée en entier, le système la découpe en 4 morceaux (comme des parts de gâteau).

• L'analogie : Imaginez que vous avez une carte du monde déformée. Au lieu de chercher un avion dessus, vous découpez la carte en 4 carrés, vous les redressez pour qu'ils soient bien plats, et vous cherchez l'avion sur chaque carré séparément.
• L'astuce : Comme les morceaux se chevauchent un peu, si une voiture est à la frontière entre deux morceaux, le système la voit deux fois. Il faut donc un "chef d'orchestre" (un algorithme) qui dit : "Attends, c'est la même voiture !", et qui colle les deux morceaux ensemble pour former un seul rectangle propre autour de la voiture.

2. Garder le fil (Le Suivi)

Une fois qu'on a repéré les objets, il faut les suivre dans le temps. C'est là que ça coince souvent : si une voiture sort de l'image à droite et réapparaît à gauche, l'ordinateur pense souvent que c'est une nouvelle voiture.

• L'analogie : C'est comme jouer à cache-cache dans un couloir circulaire. Si vous sortez par la porte de droite et rentrez par la porte de gauche, un observateur distrait pourrait penser que vous avez disparu et qu'un jumeau est arrivé.
• La solution : Les chercheurs ont appris à l'ordinateur deux choses :
  1. La continuité : "Si une voiture sort à droite, elle va probablement réapparaître à gauche. Ne panique pas, c'est toujours elle."
  2. La catégorie : "Une voiture ne peut pas se transformer en vélo d'un coup." Si l'ordinateur voit un objet qui ressemble à un vélo, il ne va pas l'associer à une piste de voiture. Cela évite les confusions.

3. Détecter le dépassement (L'Application)

Une fois que l'ordinateur suit tout le monde, il peut détecter les situations dangereuses, comme un dépassement trop près.

• Le test : Ils ont pris des vidéos de vrais cyclistes à Londres. Le système a réussi à dire : "Attention ! Cette voiture a dépassé le cycliste en passant à moins de X mètres."
• Le score : Le système a été très performant (environ 82% de réussite), ce qui est excellent pour une technologie aussi complexe.

🏆 Pourquoi c'est important ?

Aujourd'hui, pour savoir où sont les dangers, on attend les rapports d'accidents. Mais les accidents sont rares et les données sont floues.

• L'avantage : Avec cette méthode, on peut analyser des milliers de kilomètres de trajets quotidiens pour trouver les "presque-accidents" (quand une voiture passe très près mais ne touche personne).
• Le futur : Imaginez un jour un système qui, en temps réel, vous avertit sur votre montre connectée : "Attention, une voiture arrive derrière vous trop vite, décalez-vous !".

En résumé

Cette recherche, c'est comme donner des lunettes de super-héros aux ordinateurs pour qu'ils puissent comprendre les vidéos 360° déformées. En découpant l'image, en recollant les morceaux intelligemment et en apprenant à l'ordinateur à ne pas perdre les objets quand ils font le tour du monde, ils ont créé un outil puissant pour rendre le vélo plus sûr en ville.

C'est une victoire pour la sécurité routière, car cela permet de voir l'invisible et de protéger les cyclistes là où les caméras classiques ne peuvent pas les atteindre. 🚲✨

Résumé technique

1. Problématique

Les cyclistes font face à un risque disproportionné d'accidents, mais l'analyse des facteurs de risque à des échelles spatiales et temporelles fines est entravée par la rareté des données de crashes traditionnels. Les études naturalistes utilisant des vidéos offrent une alternative, mais l'utilisation de vidéos panoramiques (360°) pour l'analyse de sécurité cycliste se heurte à plusieurs défis techniques majeurs lorsque l'on applique des modèles de vision par ordinateur (Computer Vision) standards :

• Distorsions géométriques : La projection équidistante (equirectangular) utilisée pour les images 360° déforme sévèrement les objets, en particulier ceux situés près des bords ou de l'horizon.
• Continuité des bords : Les objets traversant les bords gauche/droite de l'image (continuité sphérique) sont souvent coupés ou mal interprétés par les modèles standards.
• Taille des objets : Les objets lointains apparaissent très petits, tandis que les objets proches sont déformés, rendant la détection difficile.
• Manque de données : Il existe peu de jeux de données annotés spécifiquement pour la détection d'objets sur des vidéos panoramiques.

L'objectif de cette recherche est de développer un cadre de travail capable de détecter et de suivre plusieurs objets (véhicules, piétons, etc.) dans des vidéos panoramiques pour analyser les comportements à risque, tels que le dépassement de cyclistes par des véhicules motorisés.

2. Méthodologie

L'auteur propose un cadre de travail en trois étapes pour adapter les modèles de vision par ordinateur pré-entraînés aux vidéos panoramiques :

Étape 1 : Amélioration de la détection d'objets

Pour pallier les distorsions de la projection équidistante, la méthode consiste à :

1. Projection et découpage : Transformer l'image panoramique 360° en quatre sous-images de projection perspective (chacune avec un champ de vision de 120° et un chevauchement de 30° entre elles). Cela réduit les distorsions pour les modèles de détection.
2. Détection : Appliquer un modèle de détection pré-entraîné (YOLO12n, entraîné sur COCO) sur chaque sous-image.
3. Reprojection : Projeter les boîtes englobantes (bounding boxes) détectées dans les sous-images de retour sur l'image panoramique originale.
4. Fusion : Fusionner les boîtes englobantes des objets longs qui ont été coupés par les limites des sous-images, en utilisant une moyenne pondérée par la surface pour calculer le score de confiance.

Étape 2 : Amélioration du suivi multi-objets (MOT)

Le suivi repose sur l'algorithme StrongSORT, modifié pour gérer les spécificités des vidéos panoramiques :

• Support de la continuité des bords : Pour éviter que les objets traversant les bords de l'image (ex: passant de la vue arrière à la vue latérale) ne soient perdus ou que leur ID ne change, la méthode duplique virtuellement les détections aux bords de l'image pour calculer les distances (IOU et Mahalanobis) sur trois images virtuelles (l'originale et deux extensions).
• Intégration de l'information de catégorie : Contrairement à StrongSORT standard qui ignore la catégorie lors de l'appariement, ce modèle filtre les associations incorrectes en pénalisant fortement les appariements entre catégories non adjacentes (ex: une voiture ne doit pas être associée à un piéton), tout en permettant une certaine flexibilité pour les catégories adjacentes (ex: voiture/camion).

Étape 3 : Détection automatique des dépassements

Une application finale utilise les résultats du suivi pour détecter les manœuvres de dépassement :

• Elle classe les véhicules en « avant » ou « arrière » en fonction de leur mouvement relatif par rapport au cycliste sur plusieurs frames.
• Un dépassement est confirmé lorsqu'un véhicule (défini comme allant vers l'avant) traverse entièrement une ligne de longitude spécifique (ex: -90° ou 90°) dans l'image panoramique, indiquant qu'il a dépassé le cycliste.

3. Contributions Clés

• Cadre de projection adaptatif : Une méthode efficace pour projeter des images 360° en sous-images perspectives, permettant d'utiliser des modèles pré-entraînés sans réentraînement massif, tout en gérant les distorsions.
• Gestion de la continuité des bords : Une approche innovante pour le suivi (MOT) qui traite les objets traversant les limites de l'image sans violer les règles d'annotation standard (MOT16), réduisant ainsi les changements d'ID (ID switches).
• Filtrage par catégorie : L'introduction de contraintes de catégorie dans le processus d'appariement de StrongSORT pour réduire les fausses associations.
• Validation sur un cas réel : Application et validation du système sur des données réelles de cyclistes à Londres, démontrant son utilité pour la sécurité routière.

4. Résultats Expérimentaux

Les expériences ont été menées sur un jeu de données annoté de vidéos panoramiques enregistrées à Londres (conditions variées : jour, nuit, pluie, éblouissement).

• Détection d'objets : La méthode proposée améliore la précision moyenne (mAP) par rapport aux modèles originaux appliqués directement sur les images 360°, en particulier pour les petits et moyens objets. La fusion des boîtes englobantes permet de récupérer la performance sur les objets de taille moyenne.
• Suivi Multi-Objets (MOT) :
  • L'introduction du support de la continuité des bords et de l'information de catégorie réduit les fausses positives de 33,5 % (de 818 à 544).
  • Le nombre de changements d'ID (ID switches) diminue de 10,9 % (de 101 à 90).
  • Le score IDF1 (mesure de la qualité du suivi) atteint 50,0 %, comparable aux modèles de suivi standards sur des vidéos conventionnelles.
• Détection de dépassement :
  • Le système atteint un F-score de 0,82 (Précision : 83,3 %, Rappel : 80,0 %).
  • Les erreurs principales proviennent de la vérification des épaules par le cycliste (faux positifs) et de la difficulté à détecter les voitures noires de nuit ou les bus (faux négatifs).

5. Signification et Implications

Cette recherche démontre la faisabilité d'utiliser des vidéos 360° pour l'analyse automatisée de la sécurité cycliste à grande échelle.

• Analyse des risques : Elle permet de générer des données sur les « quasi-accidents » (near-misses) à partir de vidéos routières courantes, offrant une granularité spatiale et temporelle impossible à obtenir avec les rapports de police.
• Politiques publiques : Les résultats peuvent informer les décideurs sur les contextes à haut risque (ex: dépassements de nuit, interactions avec les bus) et évaluer l'efficacité des infrastructures (largeur des voies, séparateurs).
• Applications temps réel : Le cadre léger proposé ouvre la voie à des systèmes d'alerte en temps réel pour les cyclistes (avertissements de dépassement imminent) et à une surveillance automatisée du respect des distances de dépassement minimales.

En conclusion, cette étude comble un vide technologique majeur en adaptant la vision par ordinateur aux spécificités des caméras 360°, transformant des données vidéo brutes en indicateurs quantifiables pour améliorer la sécurité des cyclistes.