Evaluating Synthetic Data for Baggage Trolley Detection in Airport Logistics

Cet article présente une pipeline de génération de données synthétiques basée sur un jumeau numérique de l'aéroport d'Alger pour entraîner un détecteur de chariots à bagages, démontrant que l'entraînement mixte avec ces données et seulement 40 % d'annotations réelles permet d'atteindre des performances équivalentes à l'utilisation de l'ensemble des données réelles tout en réduisant l'effort d'annotation de 25 à 35 %.

L'essentiel

🛒 Le Problème : La "Guerre des Chariots" à l'Aéroport

Imaginez l'aéroport d'Alger. C'est un endroit où il y a du monde, du bruit et beaucoup de chariots à bagages. Ces chariots sont vitaux : si les voyageurs n'en trouvent pas, c'est le chaos. Mais pour l'aéroport, c'est un cauchemar logistique : où sont-ils ? Combien en reste-t-il ?

Pour les compter automatiquement, on pourrait installer des caméras intelligentes. Mais il y a deux gros problèmes :

1. La Sécurité et la Vie Privée : On ne peut pas filmer tout le monde et tout stocker facilement à cause des lois strictes.
2. La Complexité : Les chariots s'empilent, se chevauchent, forment des "chapelets" (des chaînes de 10 chariots accrochés les uns aux autres). Pour un ordinateur, c'est comme essayer de compter des grains de sable collés ensemble sous une pluie battante. Les bases de données publiques actuelles sont trop petites et mal faites pour ça.

🤖 La Solution : Construire un "Jeu Vidéo" Réaliste

Au lieu de filmer des milliers d'heures de vidéos réelles (ce qui est long, cher et risqué), les chercheurs ont eu une idée géniale : créer un jumeau numérique.

Imaginez qu'ils aient construit un parc d'attractions virtuel ultra-réaliste (avec le logiciel NVIDIA Omniverse) qui copie exactement l'aéroport d'Alger.

• Ils ont modélisé les murs, les sols, la lumière.
• Ils ont créé des versions 3D des chariots réels (certains gris, d'autres avec des bordures rouges).
• Ils ont programmé des "acteurs virtuels" pour pousser les chariots, les empiler en chaînes complexes, et même simuler des foules.

C'est comme si on entraînait un chien de police dans un simulateur de vol avant de le mettre dans un vrai avion. Le simulateur permet de créer des situations extrêmes (des chariots coincés dans des coins impossibles) sans risque pour personne.

🎓 L'Entraînement : Trois Manières d'Apprendre

Les chercheurs ont voulu savoir : "Peut-on apprendre à l'ordinateur avec ce jeu vidéo pour qu'il soit bon dans la vraie vie ?"

Ils ont testé trois méthodes d'apprentissage, comme trois façons d'apprendre à conduire :

1. L'Élève "Tout Virtuel" (Synthetic Only) : On apprend uniquement dans le jeu vidéo.
   • Résultat : Catastrophe. L'élève conduit bien sur la route virtuelle, mais dès qu'il voit une vraie voiture avec de la vraie poussière, il panique. Le jeu vidéo est trop parfait, pas assez "sale" que la réalité.
2. L'Élève "Tout Réel" (Real Only) : On apprend uniquement avec de vraies vidéos (mais il y en a très peu).
   • Résultat : C'est le meilleur, mais c'est lent et cher. Il faut beaucoup de temps pour apprendre avec peu de données.
3. L'Élève "Hybride" (Mixed Training) : C'est la méthode gagnante ! On commence par apprendre les règles de la route dans le jeu vidéo (pour comprendre la géométrie des chariots), puis on finit l'apprentissage avec un peu de vraie route.
   • Résultat : Magique ! En utilisant seulement 40 % des vraies vidéos (au lieu de 100 %), l'élève hybride est aussi bon, voire meilleur, que celui qui a tout appris sur la vraie route.

💡 L'Analogie du "Squelette" et de la "Peau"

Pourquoi ça marche si bien ?

• Le monde virtuel apprend à l'ordinateur le squelette : comment un chariot est fait, comment ils s'empilent, comment les roues tournent. C'est la structure.
• La réalité apporte la peau : la vraie lumière, les reflets sur le métal, la poussière, les ombres.

En mélangeant les deux, l'ordinateur comprend la structure des chariots (grâce au virtuel) et apprend à reconnaître leur apparence réelle (grâce aux vraies vidéos). Résultat : il ne se trompe plus quand les chariots sont empilés les uns sur les autres.

🏆 Le Résultat Final : Gagner du Temps et de l'Argent

Grâce à cette méthode, l'aéroport peut :

• Réduire de 25 à 35 % le temps et l'argent dépensés pour annoter (décrire) les vidéos réelles.
• Avoir un système qui compte les chariots avec une précision de 94 %.
• Détecter les chariots même quand ils sont cachés ou empilés, ce que les anciennes méthodes ne faisaient pas.

En Résumé

C'est comme si on voulait apprendre à quelqu'un à reconnaître des chats. Au lieu de lui montrer 10 000 photos de vrais chats (ce qui prendrait des années), on lui montre d'abord un dessin animé très détaillé de chats dans toutes les positions possibles, puis on lui montre quelques photos réelles pour corriger les détails. L'élève apprendra beaucoup plus vite et sera tout aussi expert !

Cette étude prouve que pour les endroits sécurisés comme les aéroports, le virtuel n'est pas une fuite de la réalité, mais un accélérateur pour la comprendre.

Résumé technique

1. Problématique

La gestion efficace des chariots à bagages est cruciale pour la fluidité et la sécurité des aéroports modernes. Cependant, l'automatisation de leur détection et suivi par vision par ordinateur se heurte à deux obstacles majeurs :

• Contraintes de données réelles : Les réglementations strictes en matière de sécurité et de vie privée limitent la collecte et l'annotation de grandes quantités de vidéos réelles dans les terminaux aéroportuaires.
• Limites des jeux de données existants : Les jeux de données publics disponibles sont trop petits, manquent de diversité et utilisent des boîtes englobantes alignées sur les axes (AABB). Ces boîtes sont inadaptées aux configurations complexes des aéroports où les chariots sont souvent empilés, enchaînés ou orientés diagonalement, entraînant un chevauchement excessif et une difficulté pour les modèles à distinguer les unités individuelles.

2. Méthodologie

L'approche proposée repose sur une stratégie hybride combinant des données réelles curatées et un générateur de données synthétiques de haute fidélité.

• Jeu de Données Hybride :
  • Données Réelles : Un ensemble de 1 504 images provenant de vidéos publiques et de collectes sur site (anonymisées) à l'aéroport d'Alger, annotées avec des boîtes englobantes orientées (OBB) pour gérer les angles et les empilements.
  • Jumeau Numérique (Digital Twin) : Utilisation de NVIDIA Omniverse pour créer une réplique virtuelle de l'aéroport d'Alger. Ce pipeline génère 817 images synthétiques avec des variations de luminosité, d'encombrement (chaînes de 12 à 18 chariots) et de poses de caméra, toutes annotées automatiquement en OBB.
• Architecture de Détection :
  • Utilisation de YOLO-OBB (YOLO avec détection de boîtes orientées), capable de prédire un angle de rotation ($\theta$) en plus des coordonnées de la boîte, essentiel pour séparer les chariots imbriqués.
• Stratégies d'Entraînement Évaluées :
  L'étude compare cinq protocoles pour évaluer l'apport des données synthétiques :
  1. Réel uniquement (Baseline) : Entraînement sur 100 % des données réelles.
  2. Synthétique uniquement : Entraînement uniquement sur le Jumeau Numérique (évaluation du transfert Zero-Shot).
  3. Linear Probing (Sondage linéaire) : Pré-entraînement sur le synthétique, puis gel du backbone (extracteur de caractéristiques) et ajustement uniquement de la tête de prédiction sur de faibles sous-ensembles réels.
  4. Full Fine-Tuning (Affinage complet) : Pré-entraînement synthétique, puis désactivation du gel pour ajuster l'ensemble du réseau sur les données réelles.
  5. Mixed Training (Entraînement mixte) : Entraînement simultané à partir de zéro en combinant l'ensemble synthétique et des sous-ensembles croissants de données réelles (de 5 % à 50 %).

3. Contributions Clés

• Création d'un Dataset Aéroportuaire Curaté : Introduction d'un jeu de données réel annoté en OBB, spécifiquement conçu pour les conditions difficiles (occlusions, chaînes de chariots).
• Pipeline de Jumeau Numérique Haute Fidélité : Développement d'un environnement synthétique réaliste basé sur l'aéroport d'Alger, capable de générer des scénarios rares et complexes difficiles à capturer dans la réalité.
• Analyse Systématique de l'Efficacité des Données : Évaluation rigoureuse de la manière dont les données synthétiques peuvent réduire la dépendance aux annotations manuelles réelles, en comparant des stratégies de transfert d'apprentissage avancées.
• Benchmark Public : Mise à disposition des jeux de données, du code et des modèles pour la communauté de recherche.

4. Résultats

Les expériences menées sur un jeu de test réel (200 images) montrent des résultats significatifs :

• Performance Globale : L'entraînement mixte (Mixed Training) avec seulement 40 % des annotations réelles atteint ou dépasse la performance de la baseline entraînée sur 100 % des données réelles.
  • mAP@50 : 0,94 (contre 0,942 pour la baseline 100 %).
  • mAP@50-95 : 0,77 (contre 0,801 pour la baseline 100 %).
• Efficacité des Données : La stratégie mixte permet de réduire l'effort d'annotation réelle de 25 % à 35 % tout en maintenant des performances opérationnelles élevées (Précision et Rappel).
• Comparaison des Stratégies :
  • Le Linear Probing (backbone gelé) est insuffisant, indiquant que les caractéristiques synthétiques ne se transfèrent pas directement sans adaptation.
  • Le Full Fine-Tuning est performant avec beaucoup de données réelles, mais le Mixed Training est supérieur dans les régimes à faible quantité de données (5-30 %), agissant comme un régularisateur puissant.
• Stabilité : Les expériences multi-graines confirment une forte reproductibilité avec un écart-type inférieur à 0,01 sur le mAP@50.
• Qualité : L'ajout de données synthétiques améliore particulièrement la détection des chariots profondément imbriqués et réduit les faux négatifs dans les scènes encombrées.

5. Signification et Impact

Cette étude démontre que l'utilisation d'un Jumeau Numérique couplé à des données synthétiques est une solution viable pour surmonter les barrières légales et logistiques de la collecte de données dans les environnements sensibles comme les aéroports.

• Réduction des Coûts : La méthode permet de déployer des systèmes de vision par ordinateur robustes avec une fraction des données réelles annotées, réduisant considérablement les coûts de développement.
• Adaptabilité : Elle prouve que les données synthétiques peuvent servir de « squelette structurel » pour apprendre la géométrie complexe des objets, tandis que les données réelles fournissent le « mapping de texture » nécessaire pour la généralisation.
• Perspectives Futures : L'approche ouvre la voie à l'application de techniques d'adaptation de domaine non supervisée (UDA) pour éliminer totalement le besoin d'annotations réelles, et à l'extension de ce système à d'autres actifs aéroportuaires (fauteuils roulants, robots de nettoyage).

En résumé, ce travail fournit une méthodologie semi-automatisée et évolutive pour la détection d'actifs visuels, offrant une voie pratique vers des systèmes de surveillance aéroportuaire automatisés, précis et respectueux de la vie privée.