Résumé Technique : Au-delà de Bayer : Co-conception de Capteurs Optimal pour la Tâche en Segmentation de Conduite Autonome Robuste

Énoncé du Problème

La perception pour la conduite autonome repose lourdement sur le passage à l'échelle des modèles en aval (backbones plus larges, modèles de fondation, fusion coopérative). Cependant, le capteur en amont — la caméra — est généralement conçu pour une qualité perceptuelle humaine (par exemple, les filtres de couleur Bayer standards et l'optique corrigée des aberrations) plutôt que pour la prise de décision par une machine. Cela crée un pipeline de choix localement sensés mais globalement agnostiques vis-à-vis de la tâche. Cet article répond à la question suivante : Que devrait mesurer la caméra elle-même pour maximiser la performance de la segmentation sémantique dense ? Plus précisément, il examine quels degrés de liberté du capteur — l'optique (Fonction d'étalement du point, PSF), les filtres spectraux (Matrice de Filtre de Couleur, CFA) et le bruit — méritent d'être co-optimisés avec le réseau neuronal.

Méthodologie

Les auteurs proposent un pipeline différentiable RAW-vers-tâche qui traite le capteur et le réseau de segmentation comme un système unique optimisable.

1. Pipeline Différentiable : Le système modélise la luminance de la scène $x$ passant par :

   • L'Optique : Une PSF ($p$), paramétrée comme un noyau différentiable.
   • Le CFA : Une mosaïque spectrale apprenable de $T \times T$ ($M$) où chaque pixel applique une projection spectrale $w_i^\top x$.
   • Le Bruit : Un modèle de bruit de Poisson-Gauss ($N$) et une conversion Analogique-Numérique.
   • Le Démosaïquage : Une reconstruction douce et différentiable ($g_\phi$) vers des cartes de caractéristiques.
   • La Segmentation : Un réseau de backbone ($f_\theta$, spécifiquement SegFormer-B4) produisant la carte sémantique.
     Tous les composants sont différentiables, permettant un entraînement de bout en bout via la rétropropagation de la perte de segmentation.

2. Analyse Informationnelle :

   • PSF (Optique) : Les auteurs appliquent l'Inégalité de Traitement des Données. Ils prouvent (Proposition 2) que pour toute PSF passive et non négative sous un plancher de bruit fixe, la PSF identité (absence de flou) est l'unique maximiseur de l'information mutuelle $I(y; x)$. Toute PSF apprise ne peut qu'atténuer les fréquences spatiales, poussant le contenu du signal vers le plancher de bruit et jetant irréversiblement l'information requise pour la prédiction dense par pixel. Ainsi, la co-conception de la PSF est théoriquement bornée pour être neutre ou nuisible.
   • CFA (Spectral) : Contrairement à l'optique, le degré de liberté spectral peut augmenter l'information pertinente pour la tâche. En réallouant les poids des filtres de la luminance perceptive (Bayer standard) vers des mélanges spectraux discriminants de classes, le capteur peut capturer plus d'informations pertinentes sans changer le budget de mesure par pixel.
   • Contrainte de Taille de Tuile : Puisque l'entrée est un sRGB de rang 3, une tuile $T \times T$ peut couvrir au plus trois directions spectrales linéairement indépendantes. Augmenter $T$ au-delà de 2 (par exemple, à 3 ou 4) force les filtres dans des mélanges redondants et grossit l'échantillonnage spatial, ce qui est préjudiciable à la prédiction dense.

3. Configuration Expérimentale :

   • Jeux de Données : KITTI-360 (urbain, conditions normales) et ACDC (conditions défavorables : brouillard, nuit, pluie, neige).
   • Baselines : Caméra fixe (Bayer standard, PSF identité), co-conception complète (PSction PSF + CFA + Bruit), et ablations isolant l'apprentissage du CFA, le bruit et la taille de la tuile.
   • Optimisation : L'optique est fixée à l'identité suite à l'analyse théorique, tandis que les poids du CFA et les paramètres de bruit sont appris.

Contributions Clés

1. Décomposition Informationnelle : L'article établit que pour la prédiction dense, les degrés de liberté des capteurs sont asymétriques. La co-conception de la PSF est nette-négative (ou au mieux neutre) en raison de l'inégalité de traitement des données, tandis que la conception du CFA spectral est un véritable levier d'amélioration.
2. Pipeline de CFA Spectral Apprenable : Ils instaurent un pipeline différentiable avec un CFA $T \times T$ apprenable et un démosaïquage doux, entraîné de bout en bout avec un backbone SegFormer-B4.
3. Décomposition Empirique : À travers des expériences contrôlées, ils isolent les contributions de l'apprentissage du CFA, de la co-optimisation du bruit et de l'optique, démontrant que l'apprentissage du CFA est la source dominante de gain.
4. Résultat Négatif sur la Taille de Tuile : Ils démontrent qu'agrandir la taille de la tuile CFA au-delà du standard $2 \times 2$ (Bayer) réduit systématiquement la performance, fournissant une explication informationnelle claire (limite d'entrée de rang 3 vs coût d'échantillonnage spatial).

Résultats

Les expériences valident les affirmations théoriques sur KITTI-360 et ACDC :

• L'apprentissage du CFA est Dominant : L'apprentissage du CFA $2 \times 2$ améliore l'Intersection-over-Union moyenne (mIoU) de +0,019 sur KITTI-360 et de +0,020 sur ACDC par rapport à une caméra Bayer fixe.
• La Co-conception de la PSF est Nuisible : Sur KITTI-360 (physique correspondante), la co-conception complète incluant une PSF apprenable produit 0,6031 mIoU, soit 0,020 de moins que le CFA apprenable avec PSF identité (0,6229). Cela confirme la prédiction théorique qu'une optique apprise rejette les informations de haute fréquence nécessaires.
• La Taille de la Tuile Compte : Augmenter la taille de la tuile à $3 \times 3$ et $4 \times 4$ réduit systématiquement la précision (par exemple, sur KITTI-360, le mIoU chute de 0,6229 à 0,6165 et 0,6133, respectivement).
• Co-optimisation du Bruit : L'effet de l'apprentissage conjoint des paramètres de bruit est marginal et dépend du jeu de données (légèrement positif sur KITTI-360, légèrement négatif sur ACDC).
• Robustesse : Les gains se maintiennent à travers les conditions défavorables (brouillard, nuit, pluie, neige) dans le jeu de données ACDC.
• Motifs Appris : Le CFA $2 \times 2$ optimal appris converge vers un motif très proche du Bayer standard (RGGB), suggérant que l'allocation standard est proche de l'optimal pour le sRGB, mais que les gains proviennent d'un ajustement précis de la tâche des mélanges et de l'entraînement conjoint du démosaïqueur.

Signification et Revendications

L'article soutient que les tendances dominantes dans la conduite autonome (modèles de fondation, fusion V2X) opèrent en aval du capteur. Cependant, le capteur impose un plafond d'information (Proposition 1) que aucun modèle en aval, quelle que soit sa taille ou sa coopération, ne peut dépasser.

• Recette Optimale pour la Tâche : Les auteurs concluent par une recette simple, fondée sur la théorie, pour la segmentation d'entrée RGB standard : Apprendre les poids du CFA $2 \times 2$ et conserver une PSF identité.
• Agnosticisme du Modèle : Parce que l'intervention se produit au niveau du capteur, les gains de performance sont agnostiques au modèle et se composent avec n'importe quelle architecture en aval.
• Portée : Ce travail est limité aux capteurs RGB de commodité (sRGB de rang 3). Il stipule explicitement qu'il ne prétend pas faire de la super-résolution hyperspectrale (ce qui nécessiterait une caméra d'entrée hyperspectrale) mais optimise plutôt le mélange des bandes spectrales existantes pour la tâche spécifique de la prédiction dense.
• Résultats Négatifs comme Insight : L'article souligne que identifier ce qu'il ne faut pas optimiser (c'est-à-dire la PSF et les plus grandes tuiles CFA) est aussi précieux que d'identifier ce qu'il faut optimiser, évitant ainsi de gaspiller des efforts sur des degrés de liberté qui sont, par construction informationnelle, peu utiles.