🤖 AI

Real-Time Semantic Segmentation with Optimized RetinaNet Architectures for Embedded Automotive Systems

Cet article présente Opt-RetinaSeg, une architecture de segmentation sémantique optimisée dérivée de RetinaNet qui emploie un backbone léger, un FPN rationalisé et un pipeline d'optimisation à trois étapes pour atteindre des performances en temps réel et de haute précision sur des plateformes automobiles embarquées aux ressources limitées.

Auteurs originaux : Sai Sidharth D

Publié 2026-07-28

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Sai Sidharth D

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une voiture capable de voir le monde non pas comme un flou de formes, mais comme une carte détaillée où chaque pixel sait ce qu'il est : un piéton, une ligne de voie, un panneau stop ou une parcelle de ciel. C'est le rêve de la « segmentation sémantique », ce superpouvoir qui permet aux voitures autonomes de prendre des décisions vitales en une fraction de seconde. Mais voici le hic : les cerveaux derrière cette vision sont généralement des ordinateurs massifs et gourmands qui nécessitent de grosses prises électriques et des pièces fraîches et spacieuses pour fonctionner. Les vraies voitures, en revanche, sont remplies de petits ordinateurs aux ressources énergétiques limitées qui ne peuvent pas supporter un tel travail de force. La grande question dans ce recoin de la science est la suivante : comment réduire ces cerveaux géants et intelligents pour qu'ils rentrent dans le tableau de bord d'une voiture sans qu'ils oublient comment voir ? Ce document s'attaque précisément à ce casse-tête, en explorant comment prendre un système visuel puissant, en lui retirant son surplus de graisse et en le faisant fonctionner à la vitesse de l'éclair sur les puces minuscules présentes dans les véhicules modernes.

Les auteurs de ce document, dirigés par Sai Sidharth D, ont décidé d'essayer une astuce ingénieuse. Ils ont pris un design de vision par ordinateur célèbre appelé RetinaNet — conçu à l'origine pour repérer des objets comme un faucon repérant une souris — et l'ont réimaginé pour peindre une image complète de la route plutôt que de simplement les encadrer. Ils appellent leur nouvelle création Opt-RetinaSeg. Considérez RetinaNet comme une équipe de tournage de haut niveau. Elle est excellente pour trouver des choses, mais elle est lourde et lente. L'équipe s'est demandé : « Et si nous gardions les meilleurs instincts de l'équipe, mais que nous remplacions leur équipement lourd par un sac à dos léger et agile ? »

Pour ce faire, ils n'ont pas seulement réduit la taille de l'équipe de tournage ; ils ont reconstruit toute l'opération. D'abord, ils ont remplacé le « backbone » standard et robuste (la partie du réseau qui fait le gros du travail de vision) par un extracteur de caractéristiques hybride léger. Imaginez une équipe de construction qui utilise un petit drone efficace pour scanner les parties faciles et ouvertes d'un bâtiment, mais qui passe à une équipe humaine forte et expérimentée uniquement lorsqu'elle doit inspecter les coins complexes et délicats. Cette approche hybride réduit le poids du système d'environ 73 % tout en gardant ses yeux aiguisés.

Ensuite, ils ont réorganisé la communication de l'équipe. Le design original possédait un « Feature Pyramid Network » (FPN) qui était comme un manager transmettant des notes de haut en bas d'une tour très haute et redondante. Les auteurs ont réalisé que les étages supérieurs de cette tour étaient principalement vides et gaspillaient de l'énergie. Ils ont découpé les niveaux supérieurs inutiles et rationalisé les notes, permettant à l'équipe de communiquer plus rapidement et avec moins de confusion. Ils ont également ajusté la « fonction de perte » (loss function) — l'enseignant qui évalue le travail de l'élève. Dans les scènes routières, il y a des millions de pixels pour la « route » et le « ciel », mais très peu pour un « piéton » ou un « panneau de signalisation ». Le vieil enseignant se serait ennuyé à noter les pixels faciles de la « route » et aurait ignoré les plus rares et importants. Le nouvel enseignant utilise une stratégie de « focal loss » spéciale, qui agit comme un entraîneur strict qui ne crie que sur les élèves qui sont en difficulté avec les sujets difficiles (les objets rares), garantissant que la voiture ne manque pas un minuscule cycliste simplement parce qu'il y a trop de routes vides à regarder.

Mais la magie ne s'est pas arrêtée au design. L'équipe a appliqué un « pipeline de compression » en trois étapes pour presser le modèle encore plus petit, comme on prépare une valise pour un voyage.

Élagage (Pruning) : Ils ont coupé 40 % des « canaux » (les voies internes) qui ne faisaient pas grand-chose, comme on retire des voies inutilisées d'une autoroute.
Quantification (Quantization) : Ils ont remplacé les mathématiques par des décimales lourdes et précises (floating-point) par des nombres entiers simples et rapides (INT8), ce qui revient à passer d'un flux vidéo haute définition à un flux standard-définition net et efficace qui se charge instantanément.
Distillation de connaissances (Knowledge Distillation) : C'est la partie la plus ludique. Ils ont fait en sorte qu'un réseau « enseignant » géant et super intelligent (un modèle massif ResNet-101) enseigne au petit modèle « élève » compressé. L'élève a appris à imiter l'intuition de l'enseignant, récupérant ainsi la précision qu'il aurait pu perdre lors de l'élagage et du pressage.

Les résultats ? Lorsqu'ils ont testé ce nouveau système sur des données de conduite réelles (provenant des jeux de données Cityscapes et BDD100K) et l'ont fait tourner sur du matériel automobile réel (un NVIDIA Jetson Xavier NX et une puce Qualcomm QCS610), les chiffres étaient impressionnants. Le modèle a atteint une précision de 73,9 % dans la compréhension de la scène (mesurée en mIoU) tout en tournant à 70,4 images par seconde (FPS). Pour donner une perspective, la version lourde originale ne gérait qu'environ 9,4 FPS. C'est une accélération de 7,4x ! La taille du modèle a également été réduite de 4 fois, ce qui le rend assez minuscule pour l'ordinateur d'une voiture sans perdre beaucoup de précision (moins de 3 % de baisse par rapport à la base lourde).

Le document suggère que cette approche prouve que les architectures dérivées de RetinaNet, lorsqu'elles sont systématiquement optimisées, sont des candidats viables pour la conduite en temps réel. Ils ont montré qu'il n'est pas nécessaire d'inventer un tout nouveau type de cerveau à partir de zéro ; parfois, il suffit de prendre un cerveau déjà éprouvé, de lui donner une coupe de cheveux, de lui apprendre l'efficacité et de le laisser tourner sur le matériel déjà présent dans nos voitures. Les auteurs notent que bien que le modèle soit rapide et précis, les travaux futurs pourraient consister à le rendre encore plus conscient de certaines puces automobiles spécifiques ou à l'aider à se souvenir de la dernière image pour réduire le scintillement de la vidéo. Pour l'instant, cependant, ils ont montré qu'un système de vision léger et optimisé peut voir la route clairement, assez vite pour nous protéger, et assez petit pour tenir dans la boîte à gants.

Résumé technique : Segmentation sémantique en temps réel utilisant des architectures RetinaNet optimisées pour les systèmes automobiles embarqués

Problématique

Les systèmes d'aide à la conduite avancés (ADAS) et les véhicules autonomes nécessitent une compréhension de scène dense et en temps réel pour prendre des décisions sûres et à faible latence. La segmentation sémantique, qui attribue une étiquette de classe à chaque pixel, est cruciale pour des tâches telles que l'estimation de l'espace libre et la détection de voies. Cependant, les réseaux de segmentation de pointe sont généralement optimisés pour les GPU haut de gamme, échouant à répondre aux strictes contraintes de latence, de mémoire et de puissance des unités de contrôle électronique (ECU) et des systèmes sur puce (SoC) embarqués automobiles. De plus, les scènes automobiles présentent de sévères déséquilibres entre les classes d'avant-plan et d'arrière-plan (ex: vastes zones de route/ciel versus piétons rares) ainsi que des variations d'échelle extrêmes, ce qui met à l'épreuve les architectures de détection et de segmentation standards.

Méthodologie

L'article propose Opt-RetinaSeg, une architecture de segmentation sémantique dérivée du cadre de détection RetinaNet, spécifiquement restructurée et optimisée pour le matériel embarqué à ressources limitées. La méthodologie comprend quatre composantes principales :

1. Conception de l'architecture

Backbone hybride léger : En remplacement du ResNet-50 standard, les auteurs construisent un backbone hybride. Les premières étapes (C2–C3) utilisent des convolutions séparables en profondeur (depthwise-separable convolutions) pour réduire le calcul là où la résolution spatiale est la plus élevée. Les étapes ultérieures (C4–C5) emploient des blocs de goulot d'étranglement résiduels (residual bottleneck blocks) standards avec des convolutions 3×3 de rang complet pour assurer un mélange riche entre les canaux pour l'agrégation de caractéristiques abstraites. Des blocs Squeeze-and-Excitation (SE) sont insérés après chaque étape pour recalibrer l'importance des canaux.
Réseau de pyramide de caractéristiques (FPN) restructuré : Adapté du FPN orienté détection de RetinaNet, la version de segmentation ne conserve que les niveaux P2–P5, abandonnant les niveaux les plus grossiers (P6–P7) qui contribuent peu à la prédiction de pixels denses. Le FPN utilise des convolutions 1×1 pour les connexions latérales et un suréchantillonnage par plus proche voisin suivi de convolutions séparables en profondeur 3×3 pour supprimer l'aliasing, réduisant le calcul du FPN d'environ 35 %.
Tête de segmentation compacte : Les niveaux de la pyramide sont suréchantillonnés vers une résolution commune (1/4 de la taille d'entrée), concaténés, et traités par deux couches de convolution 3×3 et une couche de classification 1×1.

2. Fonction de perte équilibrée par classes

Pour traiter le sévère déséquilibre de classes au niveau des pixels dans les scènes routières, les auteurs introduisent une fonction de perte inspirée de la perte focale (focal loss) :
$L = -\sum_{c=1}^{C} \alpha_c (1 - p_c)^\gamma y_c \log(p_c)$

$\alpha_c$ (Poids de classe) : Un ratio d'inverse fréquence tronqué qui surpondère les classes rares (ex: piétons, panneaux de signalisation) tout en empêchant l'explosion du gradient pour les sous-types extrêmement rares via une limite de troncature ( $\alpha_{max} = 50$ ).
$\gamma$ (Paramètre de focalisation) : Fixé à 2, ce paramètre réduit le poids des pixels bien classés, forçant le réseau à se concentrer sur les exemples difficiles et les classes rares.

3. Pipeline d'optimisation en trois étapes

Pour répondre aux cibles de déploiement embarqué, un pipeline de compression post-entraînement est appliqué :

Élagage structuré (Structured Pruning) : 40 % des canaux ayant les scores d'importance L1-norm les plus bas sont supprimés, suivis de 15 époques de réglage fin (fine-tuning).
Quantification INT8 post-entraînement : Les poids et les activations sont quantifiés en entiers 8 bits en utilisant un étalonnage sur un sous-ensemble d'images d'entraînement, en exploitant une mise à l'échelle par canal pour minimiser l'erreur.
Distillation de connaissances : Le réseau "étudiant", élagué et quantifié, est affiné à l'aide d'une perte combinée de la tâche de segmentation et de la divergence de Kullback-Leibler (KL) par rapport à un réseau "enseignant" ResNet-101 à haute capacité pour récupérer la précision perdue lors de la compression.

4. Déploiement

Les modèles optimisés sont compilés pour des matériels spécifiques :

NVIDIA Jetson Xavier NX : Exporté en ONNX et compilé via TensorRT (v8.5) pour l'exécution sur GPU Volta.
Qualcomm QCS610 : Converti au format DLC via le SDK Qualcomm SNPE (v2.x) pour l'exécution sur le NPU Hexagon.

Contributions clés

Architecture Opt-RetinaSeg : Une nouvelle conception de segmentation réutilisant le FPN de RetinaNet avec un backbone hybride et une tête découplée, atteignant un équilibre entre efficacité computationnelle et capacité de représentation.
Perte focale équilibrée par classes : Une fonction de perte adaptée, spécifiquement conçue pour atténuer le déséquilibre extrême avant-plan-arrière-plan dans les jeux de données automobiles sans déstabiliser l'entraînement.
Pipeline de compression unifié : Une intégration systématique de l'élagage structuré, de la quantification INT8 et de la distillation de connaissances, démontrant que ces techniques peuvent être appliquées conjointement à des segmentateurs basés sur FPN avec une dégradation minimale de la précision.
Évaluation embarquée complète : Benchmarking étendu sur les jeux de données Cityscapes et BDD100K sur deux plateformes embarquées distinctes (GPU NVIDIA et NPU Qualcomm), fournissant une évaluation réaliste des performances de déploiement en conditions réelles.

Résultats

Évalué sur les jeux de données Cityscapes et BDD100K, le modèle proposé démontre des améliorations significatives dans le compromis précision-latence :

Performance : Le modèle optimisé final atteint un mIoU de 73,9 % à 70,4 FPS sur le NVIDIA Jetson Xavier NX.
Efficacité : Comparé à une ligne de base ResNet-50, le modèle offre une accélération d'inférence de 7,4x et une réduction de taille de modèle de 4x (de 27,4 Mo à 7,1 Mo), avec moins de 3 % de dégradation de la précision (76,8 % vs 73,9 % mIoU).
Comparaison : Opt-RetinaSeg surpasse les méthodes légères établies comme BiSeNetV2 (72,6 % mIoU, 47,3 FPS) et ICNet en termes de précision et de débit sur le même matériel.
Puissance : Sur le Jetson Xavier NX, le modèle fonctionne dans une enveloppe de puissance de 15W (mesurée à 11,8W) sans étranglement thermique (thermal throttling) lors de charges de travail soutenues.

Signification et Revendications

L'article affirme que les architectures dérivées de RetinaNet, lorsqu'elles sont systématiquement restructurées et optimisées, sont des candidats viables pour la segmentation sémantique en temps réel dans les pipelines de perception automobile embarqués. Le travail démontre qu'il est possible d'atteindre une précision compétitive (approchant les bases lourdes ResNet-50) tout en respectant les budgets stricts de latence et de puissance des ECU automobiles. Les auteurs positionnent leur approche comme une solution pratique pour le déploiement de la prédiction dense pixel par pixel sur les SoC automobiles de génération actuelle, comblant le fossé entre les modèles de recherche à haute précision et les systèmes embarqués prêts pour la production. Les travaux futurs identifiés explorent la recherche d'architecture neuronale sensible au matériel (hardware-aware NAS), la cohérence temporelle pour les flux vidéo, et les têtes multi-tâches de détection et de segmentation conjointes.