💻 computer science

Contrastive-SDXL: Annotation-Preserving Night-Time Augmentation for Pedestrian Detection

Ce papier présente Contrastive-SDXL, un cadre d'augmentation jour-nuit exploitant SDXL-Turbo et LoRA avec des pertes contrastives sémantiques pour générer des images nocturnes réalistes préservant les annotations, qui améliorent significativement les performances de détection de piétons par rapport à un entraînement exclusivement diurne.

Auteurs originaux : Franky George, Muhammad Khalid, Adil Khan

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Franky George, Muhammad Khalid, Adil Khan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Apprendre aux voitures à voir dans le noir

Imaginez que vous enseigniez à un robot à se déplacer dans une ville animée. Vous disposez de milliers de photos de la ville en journée, sous un soleil éclatant, et vous avez dessiné des cadres autour de chaque personne pour montrer au robot qui elles sont. Le robot apprend parfaitement.

Mais ensuite, vous emmenez le robot dehors la nuit. Soudain, le robot se perd. Les réverbères, les ombres et l'obscurité ne ressemblent en rien aux photos ensoleillées qu'il a étudiées. Il pourrait manquer une personne complètement ou penser qu'une ombre est une personne.

La solution évidente est de prendre des milliers de photos la nuit et de redessiner des cadres autour des personnes. Mais cela coûte cher, prend du temps et est difficile à réaliser partout.

La Solution Proposée : Un « Traducteur Magique »

Les auteurs de ce papier ont créé un outil appelé Contrastive-SDXL. Imaginez-le comme un traducteur magique de photos.

Au lieu de prendre de nouvelles photos la nuit, cet outil prend vos photos existantes de journée ensoleillée et les transforme instantanément en photos de nuit réalistes. La meilleure partie ? Il conserve les « cadres » (les annotations) exactement là où ils étaient. Si une personne était au milieu de la route le jour, elle est toujours au milieu de la route la nuit. Cela permet au robot d'apprendre à partir des photos de nuit sans que personne ait à dessiner manuellement de nouveaux cadres.

Le Défi : Ne Pas Perdre les Personnes !

Voici la partie délicate. Si vous utilisez simplement un filtre « mode nuit » standard ou une IA basique, cela pourrait bien transformer le ciel en noir et la rue en sombre, mais cela pourrait accidentellement effacer les personnes, les étirer en formes étranges ou les déplacer sur le trottoir. Si l'IA déplace la personne, le « cadre » que vous aviez dessiné plus tôt est maintenant faux, et le robot apprend la mauvaise leçon.

Le papier soutient que pour des tâches critiques pour la sécurité (comme éviter les piétons), la traduction doit être parfaite. La personne doit rester exactement là où elle est, ressemblant à une personne, simplement dans le noir.

Comment Ils Ont Résolu le Problème : Le « Rédacteur Strict » et l'« Œil Intelligent »

Pour s'assurer que le traducteur magique ne gâche pas les personnes, les auteurs ont ajouté deux « gardes de sécurité » spéciaux à leur système :

L'« Œil Intelligent » (DINOv2) :
Imaginez que vous avez un traducteur qui parle une autre langue. Si vous lui demandez de traduire une histoire, il pourrait changer l'intrigue. Pour l'empêcher de faire cela, vous engagez un « Œil Intelligent » (une IA pré-entraînée appelée DINOv2) qui ne sait pas traduire, mais qui sait à quoi ressemblent les objets.
Le système compare chaque fragment de la nouvelle photo de nuit avec l'ancienne photo de jour. L'« Œil Intelligent » dit : « Attendez, ce fragment sur la photo de jour était une jambe de personne. Sur la photo de nuit, ce fragment est toujours une jambe de personne. Bien. » Si la jambe s'est transformée en arbre, le système le rejette. Cela garantit que le sens de l'image reste le même, même si l'éclairage change.
Le « Rédacteur Strict » (Perte de cohérence des objets) :
C'est comme un patron qui ne se soucie que d'une seule chose : Les personnes sont-elles toujours là ?
Le système utilise un détecteur de piétons spécialisé (un robot entraîné à trouver des personnes) pour examiner la nouvelle photo de nuit. Si le détecteur ne trouve pas la personne sur la nouvelle photo, le système sait qu'il a échoué. Il force le traducteur à réessayer jusqu'à ce que la personne soit clairement visible et au bon endroit.

Le Résultat : Un Terrain d'Entraînement Parfait

Les auteurs ont testé leur outil et constaté :

Cela semble réel : Les fausses photos de nuit sont presque indiscernables des vraies photos de nuit (mesuré par un score appelé FID, où ils ont obtenu un score très bas et excellent de 22,5).
Cela fonctionne mieux que les autres : Ils ont comparé leur outil à d'autres traducteurs IA populaires. Les autres rendaient soit les images trop sombres, soit perdaient les personnes, soit créaient des artefacts étranges. Leur outil a gardé les personnes en sécurité et claires.
Cela entraîne de meilleurs robots : Lorsqu'ils ont utilisé ces fausses photos de nuit pour entraîner un détecteur de piétons, le robot est devenu beaucoup plus performant pour repérer les personnes dans le noir. En fait, un robot entraîné sur leurs fausses photos de nuit a performé presque aussi bien qu'un robot entraîné sur des milliers de vraies photos de nuit.

La Conclusion

Ce papier présente un moyen de transformer des photos de journée ensoleillée en photos de nuit réalistes sans perdre les personnes qui s'y trouvent. En utilisant un « Œil Intelligent » pour vérifier les détails et un « Rédacteur Strict » pour s'assurer que les personnes ne sont pas effacées, ils ont créé un terrain d'entraînement sûr et de haute qualité pour les voitures autonomes. Cela signifie que nous pouvons apprendre aux voitures à voir dans le noir beaucoup plus vite et à moindre coût qu'avant, sans avoir besoin de collecter des millions de vidéos de conduite nocturne dangereuses.

Énoncé du problème

La détection de piétons la nuit constitue un défi critique pour les véhicules autonomes et les systèmes avancés d'aide à la conduite (ADAS). Bien que les détecteurs fonctionnent bien dans des conditions diurnes, leur fiabilité se dégrade considérablement dans les environnements à faible luminosité en raison d'une visibilité réduite, d'éblouissements, de bruit et de fortes différences d'éclairage. La collecte et l'annotation de grands ensembles de données nocturnes sont coûteuses et difficiles à mettre à l'échelle.

L'augmentation par transfert de domaine offre une alternative en traduisant des images diurnes étiquetées en images de style nocturne, permettant ainsi la réutilisation des annotations originales. Cependant, les méthodes existantes de traduction d'image par image basées sur la diffusion privilégient souvent le réalisme perceptuel par rapport à la préservation de détails spécifiques au niveau des objets. Dans des tâches critiques pour la sécurité comme la détection de piétons, si une traduction déforme, supprime ou décale un piéton, les annotations de boîtes englobantes héritées deviennent peu fiables, risquant potentiellement d'entraîner le détecteur en aval à apprendre des indices incorrects. Il existe un vide dans l'utilisation de modèles de diffusion latente (LDM) pour l'augmentation, garantissant explicitement la préservation des piétons petits, occlus et encombrés, requis pour un entraînement valide de la détection.

Méthodologie : Contrastive-SDXL

Les auteurs proposent Contrastive-SDXL, un cadre d'augmentation du jour à la nuit construit sur SDXL-Turbo et affiné à l'aide de Low-Rank Adaptation (LoRA). Le cadre est conçu pour traduire les images diurnes en images nocturnes réalistes tout en préservant strictement la structure sémantique et l'intégrité des piétons.

La méthode est guidée par quatre objectifs complémentaires et un pipeline de curation de données en deux étapes :

Backbone du générateur et adaptation efficace :
- Le cadre utilise SDXL-Turbo, un modèle de diffusion latente préentraîné en une seule étape, comme backbone du générateur.
- Pour adapter le modèle au domaine nocturne sans réentraînement complet, LoRA est appliqué aux couches d'attention croisée de l'UNet, aux MLP des transformateurs, aux couches de convolution et aux couches de l'encodeur/décodeur VAE.
- Les connexions de saut encodeur-décodeur sont conservées pour préserver la structure spatiale fine.
Supervision contrastive sémantique par patch (guidée par DINOv2) :
- Contrairement aux méthodes de traduction non appariées précédentes (par exemple PSCUT) qui reposent sur les caractéristiques de l'encodeur du générateur (qui peuvent être instables dans les modèles de diffusion en raison du bruit stochastique), Contrastive-SDXL utilise un encodeur DINOv2 préentraîné et figé.
- Cet encodeur externe extrait des caractéristiques sémantiques multi-niveaux à la fois des images sources (jour) et traduites (nuit).
- Deux pertes sont calculées sur ces caractéristiques :
  - Perte de cohérence des relations sémantiques (SRC) : Préserve les relations sémantiques relatives entre les patches de l'image source et leurs homologues dans l'image traduite en utilisant la divergence de Jensen-Shannon.
  - Perte contrastive à négatifs difficiles (hDCE) : Rapproche les patches source et traduits correspondants tout en éloignant les patches non correspondants mais sémantiquement similaires pour imposer la distinctivité.
Perte de cohérence des objets guidée par le détecteur :
- Pour garantir explicitement que les piétons restent détectables, un détecteur YOLO11 préentraîné (affiné sur EuroCity Persons) est utilisé comme superviseur fixe.
- Le générateur minimise une perte de détection ( $L_{det}$ ) calculée sur l'image traduite par rapport aux annotations originales de boîtes englobantes diurnes. Cela pénalise les traductions où les piétons sont déformés, effacés ou désalignés, garantissant que les annotations originales restent valides.
Alignement adversarial et régularisation d'identité :
- Une perte adversariale ( $L_{adv}$ ) avec un discriminateur augmenté par des caractéristiques CLIP assure que les images générées s'alignent sur la distribution statistique des scènes nocturnes réelles.
- Une perte d'identité ( $L_{idt}$ ) encourage le modèle à apporter des modifications minimales aux images qui sont déjà dans le domaine cible.
Pipeline de curation de données en deux étapes :
- Pour garantir la fiabilité des données synthétiques, un processus de filtrage est appliqué avant l'entraînement des détecteurs :
  - Étape 1 (Fidélité) : Filtre les traductions où la similarité des caractéristiques DINOv2 entre la source et la cible tombe en dessous d'un seuil (0,95), garantissant la fidélité sémantique.
  - Étape 2 (Préservation des piétons) : Utilise un classificateur binaire basé sur YOLOv8 pour vérifier que les patches de piétons découpés dans l'image traduite (aux emplacements des annotations originales) sont toujours classés comme des piétons. Les images échouant à ce contrôle sont rejetées.

Contributions clés

Investigation des LDM : L'étude évalue les modèles de diffusion latente préentraînés en tant qu'outils d'augmentation par transfert de domaine pour la détection de piétons nocturnes critique pour la sécurité.
Cadre Contrastive-SDXL : Propose un nouveau cadre de traduction du jour à la nuit utilisant SDXL-Turbo et LoRA, guidé par un apprentissage contrastif sémantique par patch basé sur DINOv2 plutôt que par les caractéristiques du générateur.
Perte de cohérence des objets : Introduit une perte guidée par le détecteur pour imposer explicitement la préservation des piétons, garantissant la validité des annotations pendant la traduction.
Validation empirique : Démontre que l'augmentation par diffusion pilotée par la cohérence peut soutenir efficacement la détection critique pour la sécurité, atteignant des performances comparables à un entraînement sur de vraies données nocturnes.

Résultats expérimentaux

La méthode a été évaluée à l'aide de l'ensemble de données EuroCity Persons (ECP) et testée sur deux détecteurs en aval : Pedestron et YOLO26.

Qualité d'image : Contrastive-SDXL a atteint une distance Fréchet Inception (FID) de 22,57 et une distance de Wasserstein (WD) de 11,27 par rapport aux vraies images nocturnes ECP. Cela surpasse nettement les baselines comme InstructPix2Pix (FID 64,11) et CycleGAN-Turbo (FID 38,36). Les visualisations UMAP ont confirmé que les images synthétiques se regroupaient plus près des données nocturnes réelles que les autres méthodes.
Performance de détection :
- Les détecteurs entraînés avec des images synthétiques Contrastive-SDXL (sans aucune donnée nocturne réelle) ont réalisé une réduction de 6 à 7 % du taux de non-détection par rapport à une baseline diurne uniquement.
- Plus précisément, pour le détecteur Pedestron, le taux de non-détection « All » sur l'ensemble de validation nocturne est passé de 20,0 % (baseline diurne) à 16,0 % en utilisant uniquement des données synthétiques.
- Lorsqu'elles sont mélangées avec seulement 20 % de données nocturnes réelles, Contrastive-SDXL a atteint un taux de non-détection de 14,0 %, égalant la performance d'un modèle entraîné sur 100 % de données nocturnes réelles.
- Des améliorations similaires ont été observées avec le détecteur YOLO26, démontrant une généralisation à travers les architectures.
Généralisation : La méthode a montré sa capacité à se généraliser à des scènes urbaines hors distribution (ensemble de données TJU-DHD), préservant la structure des piétons dans des environnements inconnus.

Signification et affirmations

Le papier affirme que Contrastive-SDXL démontre que l'augmentation par diffusion pilotée par la cohérence est une stratégie viable et efficace pour la détection de piétons nocturnes critique pour la sécurité. Les auteurs soulignent que pour la perception critique pour la sécurité, le réalisme visuel seul est insuffisant ; la préservation des sémantiques au niveau des objets et la validité des annotations sont primordiales.

Les résultats suggèrent que :

Les LDM préentraînés peuvent servir d'outils d'augmentation puissants s'ils sont guidés par des contraintes de cohérence explicites (pertes contrastives sémantiques et au niveau des objets).
Les données synthétiques générées par ce cadre peuvent réduire considérablement l'écart de domaine entre le jour et la nuit, s'approchant des performances des modèles entraînés sur de vraies données nocturnes avec une injection minimale de données réelles.
Le cadre proposé n'est pas lié à une architecture de détecteur spécifique, car des bénéfices ont été observés à la fois sur Pedestron et YOLO.

Les auteurs concluent que, bien que la méthode soit prometteuse, les travaux futurs devraient explorer son application à d'autres tâches de transport (par exemple, la reconnaissance de panneaux de signalisation) et examiner comment l'architecture du détecteur et les stratégies d'affinage affectent la performance d'adaptation.