Résumé Technique : InfraNet : Guidage RGB sensible à la qualité pour une détection d'objets infrarouges efficace

1. Énoncé du problème

La détection d'objets robuste dans des conditions visuelles défavorables (ex. : faible luminosité, éblouissement, brouillard) reste un défi majeur pour les systèmes de perception multimodaux. Bien que la détection Infrarouge (IR) offre une robustesse en capturant le rayonnement thermique indépendamment de la lumière ambiante, les méthodes de fusion existantes traitent généralement les modalités RGB et IR de manière égale lors de l'entraînement et de l'inférence. Cette hypothèse de « traitement égal » néglige une faille critique : l'imprévisibilité de la modalité RGB dans des conditions dégradées.

Lorsque les images RGB sont sévèrement dégradées (ex. : deviennent sombres ou bruitées), la fusion indiscriminée avec des caractéristiques IR fiables peut introduire des informations non pertinentes ou nuisibles, entraînant un « transfert négatif » qui altère la précision globale de la détection. De plus, la plupart des méthodes de fusion de pointe (SOTA) actuelles imposent une entrée bimodale lors de l'inférence, ce qui les rend peu pratiques lorsque les capteurs RGB sont indisponibles ou corrompus. Il existe un besoin pour un cadre capable de tirer parti du RGB comme signal de guidage pendant l'entraînement pour améliorer l'apprentissage IR, tout en permettant un déploiement efficace et de haute précision en mode IR uniquement.

2. Méthodologie

Cadre central : InfraNet

Les auteurs proposent InfraNet, un cadre centré sur l'IR et sensible à la qualité, conçu pour réguler le guidage RGB pendant l'entraînement tout en supportant un déploiement flexible en modes RGB–IR ou IR uniquement. InfraNet utilise une architecture asymétrique composée de :

1. Voie IR primaire : Extrait des caractéristiques infrarouges multi-échelles pour les prédictions.
2. Voie RGB auxiliaire : Fournit des signaux de supervision contrôlés par la fiabilité pendant l'entraînement.

Composant clé : QualGate

L'innovation centrale d'InfraNet est QualGate, un module de fusion sensible à la qualité déployé à plusieurs échelles au sein du réseau. QualGate apprend un signal de contrôle orienté vers la tâche pour réguler dynamiquement les interactions intermodales. Son fonctionnement implique deux mécanismes parallèles :

• Score de contrôle de fiabilité ($q$) : Un score scalaire $q \in (0, 1)$ est prédit à partir des caractéristiques RGB auxiliaires ($A_{in}$) en utilisant un MLP léger. Ce score est optimisé pour l'objectif de détection plutôt que de servir de métrique de qualité d'image fabriquée à la main.
• Porte de suppression RGB : La contribution auxiliaire est pondérée par $w_{rgb}(q) = q$. Lorsque la qualité du RGB est faible (faible $q$), le guidage RGB est atténué pour éviter l'injection de bruit.
• Porte d'amplification IR : Simultanément, un gain de fiabilité inverse $\alpha(q)$ est appliqué au flux IR. Défini par $\alpha(q) = \text{clip}(1.5 - q; 1.0, 1.5)$, ce mécanisme augmente la contribution des caractéristiques IR lorsque le guidage RGB est faible, garantissant que la représentation IR reste robuste.
• Fusion : La sortie finale $A_{out}$ est une fusion du terme auxiliaire supprimé et de l'injection IR amplifiée :
  $$A_{out} = w_{rgb}(q) \cdot A_{in} + \sum_{k=1}^{K} \alpha(q) \cdot g_k \cdot F_k$$
  où $F_k$ représente les caractéristiques IR alignées et $g_k$ est une porte de contenu.

Variantes architecturales

Sur la base d'InfraNet, deux architectures spécifiques sont conçues :

1. InfraNet-IR : Un réseau léger à branche unique optimisé pour l'efficacité computationnelle. Il est entraîné avec des entrées couplées RGB–IR (utilisant le RGB comme supervision auxiliaire privilégiée) mais déployé avec une inférence IR uniquement. La branche RGB et tous les modules de fusion sont supprimés au moment du test, n'entraînant aucun surcoût supplémentaire.
2. InfraNet-RGB-IR : Une structure à deux branches de plus grande capacité qui traite les entrées RGB et IR pendant l'entraînement et l'inférence, utilisant QualGate pour une fusion intermodale contrôlée par la fiabilité.

Stratégie d'entraînement

Le cadre utilise une fonction de perte asymétrique :
$$\mathcal{L} = \mathcal{L}^{(\text{main})}_{\text{det}} + w_{\text{aux}} \mathcal{L}^{(\text{aux})}_{\text{det}}$$
où le poids de la perte auxiliaire $w_{\text{aux}}$ est fixé à 0,25. Cela garantit que l'optimisation est dominée par la voie infrarouge, tandis que la branche auxiliaire fournit un guidage adaptatif pour améliorer les représentations IR.

3. Contributions clés

• Cadre InfraNet : Un cadre de détection d'objets infrarouges sensible à la qualité et guidé par le RGB qui traite le RGB comme un signal auxiliaire contrôlé par la fiabilité pendant l'entraînement, permettant un déploiement flexible en mode IR uniquement.
• Module QualGate : Un mécanisme de fusion novateur qui apprend un signal de contrôle orienté vers la tâche pour supprimer le guidage RGB non fiable et compenser les caractéristiques IR, atténuant ainsi le risque de transfert négatif provenant de données RGB dégradées.
• Déploiement à double mode : La conception de deux variantes (InfraNet-IR et InfraNet-RGB-IR) qui atteignent des performances compétitives tant dans l'inférence mono-modale efficace que dans la fusion bimodale à haute capacité.

4. Résultats expérimentaux

La méthode a été évaluée sur quatre ensembles de données de référence : LLVIP, FLIR-Aligned, M3FD et DroneVehicle.

• Performance : InfraNet a obtenu des résultats solides ou compétitifs sur tous les ensembles de données.
  • Sur LLVIP, la variante RGB–IR (YOLOv8) a atteint 70,5 % de mAP, surpassant le SOTA WaveMamba (66,0 %). La variante IR uniquement a atteint 68,8 % de mAP sans surcoût d'inférence.
  • Sur FLIR-Aligned, la variante IR uniquement (ResNet50) a atteint un temps d'inférence de 9,4 ms avec 53,0 % de mAP, étant nettement plus rapide que les concurrents bimodaux tout en maintenant une précision compétitive.
  • Sur DroneVehicle, la variante YOLOv12 IR uniquement a atteint 84,7 % de mAP50, dépassant WaveMamba de +4,9 % en gain absolu, avec des améliorations notables dans la détection de petits objets (ex. : voitures, bus).
  • Sur M3FD, la méthode a démontré sa robustesse dans les sous-ensembles de nuit et de défis, où la visibilité RGB est sévèrement compromise.
• Efficacité : InfraNet-IR maintient une haute efficacité lors de l'inférence IR uniquement, supprimant entièrement la branche RGB et les modules de fusion lors du déploiement.
• Études d'ablation : Les expériences ont confirmé que les deux branches de suppression RGB et d'amplification IR de QualGate sont nécessaires ; supprimer l'une ou l'autre entraîne des baisses de performance. Le score de contrôle $q$ appris s'est avéré capable de s'adapter efficacement aux dégradations contrôlées du RGB (brouillard, luminosité) sans annotations de qualité explicites.

5. Signification et affirmations

L'article affirme qu'InfraNet répond au problème de longue date de l'imprévisibilité du RGB dans des conditions défavorables en passant d'un paradigme de « fusion égale » à celui d'un « guidage sensible à la qualité centré sur l'IR ».

• Robustesse : En supprimant les indices RGB non fiables et en amplifiant les caractéristiques IR, la méthode empêche la contamination des représentations IR, menant à une détection plus stable dans l'obscurité et les conditions météorologiques défavorables.
• Flexibilité de déploiement : Contrairement aux méthodes de fusion existantes qui nécessitent une entrée duale lors de l'inférence, InfraNet-IR offre une solution pratique pour les scénarios où les capteurs RGB sont indisponibles ou corrompus, atteignant une haute précision sans le coût computationnel du maintien d'une architecture à deux flux lors de l'exécution.
• Efficacité : Le cadre démontre que la supervision auxiliaire pendant l'entraînement peut considérablement booster la performance IR uniquement sans engendrer de surcoût lors du déploiement, ce qui le rend adapté aux applications à ressources contraintes comme la conduite autonome et la surveillance par UAV.