InverseNet: Benchmarking Operator Mismatch and Calibration Across Compressive Imaging Modalities

Ce papier présente InverseNet, le premier benchmark intermodalité évaluant l'impact du décalage entre les opérateurs théoriques et réels en imagerie compressive, révélant que les méthodes d'apprentissage profond perdent leur avantage face aux bases classiques en cas de désaccord et démontrant que l'adaptation aux opérateurs est cruciale pour la robustesse et la calibration aveugle.

L'essentiel

Imaginez que vous essayez de reconstruire un puzzle géant, mais que vous avez perdu la boîte avec l'image de référence. C'est le défi de l'imagerie compressive : on prend beaucoup moins de photos que d'habitude (pour aller plus vite ou voir des choses invisibles), et un ordinateur doit deviner le reste.

Le problème ? La plupart des chercheurs construisent leurs algorithmes en pensant que l'appareil photo est parfait. Mais dans la vraie vie, les appareils bougent, les lentilles se décalent, et les capteurs vieillissent. C'est ce que les auteurs appellent le "décalage de l'opérateur".

Voici l'explication de leur nouvelle étude, InverseNet, expliquée simplement :

1. Le Problème : La Théorie vs La Réalité

Imaginez un chef cuisinier (l'algorithme) qui a appris à faire un gâteau parfait en suivant une recette précise avec des ingrédients frais.

• En laboratoire (Scénario Idéal) : Il utilise exactement les bons ingrédients. Le gâteau est magnifique.
• Dans la vraie vie (Scénario Réel) : La farine est un peu humide, le four chauffe mal, et la cuillère est un peu tordue.

Les chercheurs ont découvert que si vous donnez à un chef très talentueux (un réseau de neurones profond) une recette basée sur des ingrédients parfaits, mais qu'il doit cuisiner avec des ingrédients abîmés, son gâteau devient incomestible.
Dans l'étude, les meilleurs algorithmes d'intelligence artificielle ont perdu jusqu'à 20 points de qualité (une chute énorme) dès qu'on a simulé de petits défauts physiques. Paradoxalement, les méthodes plus anciennes et "bêtes" (classiques) ont moins souffert, car elles sont moins exigeantes sur la perfection de la recette.

2. La Solution : Le "Calibreur Aveugle"

L'équipe a créé un nouveau test, InverseNet, pour voir qui survit le mieux à ces défauts. Ils ont testé trois types de caméras spéciales (qui voient les couleurs invisibles, les vidéos ultra-rapides, ou les images avec un seul capteur).

Leur découverte majeure ? On peut réparer les dégâts, mais il faut savoir comment.

Ils ont comparé deux types de "chefs" :

• Les "Aveugles" (Mask-oblivious) : Ils ne regardent jamais la recette. Ils disent "Je fais confiance à mon instinct". Résultat : même si on leur donne les vrais ingrédients, ils ne s'en rendent pas compte. Ils ne récupèrent aucun point de qualité.
• Les "Sceptiques" (Operator-conditioned) : Ils vérifient constamment la recette. Si on leur dit "La farine est humide", ils ajustent leur mélange. Résultat : ils peuvent récupérer 40 à 90 % de la qualité perdue.

3. La Magie : La Calibration "Aveugle" (Sans Guide)

Le plus impressionnant est leur méthode pour réparer les caméras sans avoir l'image originale (ce qu'on appelle la "vérité terrain").
Imaginez que vous essayez de régler un vieux poste de radio qui a un bruit de fond. Vous ne savez pas quelle est la bonne fréquence, mais vous savez que le son doit être clair.

• Les chercheurs ont fait tourner un petit moteur de recherche (une "grille") qui teste des milliers de réglages possibles.
• Pour les erreurs de position (géométriques), ils ont cherché le réglage qui rendait le signal le plus cohérent avec la photo prise.
• Pour les erreurs de luminosité (radiométriques), ils ont cherché le réglage qui rendait l'image la plus "naturelle" (moins de bruit bizarre).

Résultat ? Ils ont retrouvé 85 % à 100 % de la qualité parfaite, simplement en cherchant le bon réglage, sans jamais avoir vu l'image originale !

4. Le Paradoxe : Plus c'est intelligent, plus c'est fragile

C'est la leçon la plus surprenante.

• Les algorithmes les plus complexes et les plus performants en théorie sont les plus fragiles en pratique. Ils sont comme des voitures de Formule 1 : incroyables sur un circuit parfait, mais elles ne supportent pas une route pleine de nids-de-poule.
• Les algorithmes plus simples sont comme des camions tout-terrain : moins rapides sur le circuit, mais ils arrivent toujours à destination même si la route est abîmée.

En résumé

Cette étude nous dit : "Arrêtez de construire des algorithmes qui fonctionnent uniquement dans un monde parfait."

Si vous voulez utiliser l'intelligence artificielle pour l'imagerie médicale, la surveillance ou l'astronomie, vous devez soit :

1. Utiliser des méthodes classiques robustes.
2. Ou, utiliser des méthodes d'IA intelligentes mais les coupler avec un système de "réajustement automatique" (calibration) qui corrige les défauts de l'appareil en temps réel.

InverseNet est la première "boîte de test" qui permet de vérifier si un algorithme est vraiment prêt pour le monde réel, ou s'il ne fonctionne que sur le papier.

Résumé technique

1. Problématique : Le fossé entre la théorie et la réalité

Le domaine de l'imagerie compressive (spectrale, vidéo, et caméra à pixel unique) repose sur la reconstruction d'un signal complet à partir de mesures réduites. Cette reconstruction dépend crucialement de la connaissance précise de l'opérateur d'acquisition avant (le modèle physique reliant la scène aux mesures).

Cependant, il existe un fossé dangereux entre la recherche et la réalité :

• Hypothèse irréalistique : Les benchmarks actuels (comme KAIST pour CASSI ou CACTI) supposent que l'opérateur d'acquisition est parfaitement connu et idéal.
• Réalité du déploiement : Dans les systèmes physiques, des désaccords d'opérateurs (operator mismatch) sont inévitables (dérive de calibration, désalignement des masques, dérive du gain, erreurs temporelles).
• Conséquence critique : L'article démontre que des méthodes de pointe comme EfficientSCI perdent 20,58 dB de qualité (PSNR) lorsque l'opérateur supposé s'écarte de la réalité physique par seulement 8 paramètres. Les méthodes d'apprentissage profond, bien que performantes dans des conditions idéales, s'effondrent face à ces erreurs, perdant leur avantage sur les méthodes classiques.

2. Méthodologie : Le benchmark InverseNet

Les auteurs introduisent InverseNet, le premier benchmark transversal conçu pour quantifier la sensibilité au désaccord d'opérateur et l'efficacité de la calibration.

A. Protocole d'évaluation unifié (4 Scénarios)

Le benchmark évalue les méthodes selon quatre scénarios applicables à toutes les modalités :

1. Scénario I (Idéal) : Reconstruction avec l'opérateur parfait (référence supérieure).
2. Scénario II (Base / Désaccord) : Reconstruction avec un opérateur décalé par rapport à la réalité physique (conditions de déploiement réalistes).
3. Scénario III (Oracle) : Reconstruction avec l'opérateur physique réel connu (limite supérieure théorique de la calibration).
4. Scénario IV (Calibration aveugle) : Estimation des paramètres de désaccord uniquement à partir des mesures (sans vérité terrain), via une recherche par grille et des objectifs auto-supervisés.

B. Modalités et Méthodes testées

Le benchmark couvre trois modalités d'imagerie compressive et évalue 12 méthodes (classiques, Plug-and-Play, et Deep Learning) :

• CASSI (Imagerie spectrale par ouverture codée) : 5 paramètres de désaccord (décalage de masque, dérive de dispersion).
• CACTI (Imagerie temporelle compressive) : 8 paramètres (décalages spatiaux, temporels, dérive du gain, etc.).
• SPC (Caméra à pixel unique) : Dérive de gain exponentielle.

Les métriques utilisées sont le PSNR, le SSIM et le SAM (pour le spectral).

3. Contributions Clés

1. Premier benchmark transversal : InverseNet est la première évaluation systématique du désaccord d'opérateur couvrant CASSI, CACTI et les caméras à pixel unique.
2. Validation matérielle réelle : Les résultats de simulation sont validés sur des données réelles capturées par du matériel physique (prototypes CASSI et CACTI), confirmant que les patterns de dégradation observés en simulation se transfèrent au monde réel.
3. Analyse de la calibration : Introduction d'une méthodologie pour évaluer la récupération de performance via la calibration (oracle et aveugle).
4. Données ouvertes : Publication de tous les tableaux de reconstruction, métriques par scène et code d'analyse.

4. Résultats Principaux

A. Effondrement des méthodes d'apprentissage profond

Sous désaccord d'opérateur (Scénario II) :

• Les méthodes d'apprentissage profond perdent 10 à 21 dB de PSNR.
• Les méthodes classiques (ex: GAP-TV) ne perdent que 3 à 11 dB.
• Conséquence : L'avantage de performance des méthodes Deep Learning (souvent ~10 dB en conditions idéales) est totalement annulé, voire inversé, en conditions réalistes. Par exemple, sur CACTI, GAP-TV (15,81 dB) surpasse EfficientSCI (14,81 dB) malgré un écart de 8,64 dB en conditions idéales.

B. Relation inverse Performance-Robustesse

Une corrélation négative significative ($r_s = -0,71$) est observée : plus une méthode est performante en conditions idéales (Scénario I), plus elle est sensible au désaccord et moins elle récupère de performance via la calibration. Les architectures apprenant des priors implicites forts deviennent dépendantes de l'opérateur exact.

C. Impact de l'architecture (Sensibilité à la calibration)

• Architectures "Mask-Aware" (Conditionnées par l'opérateur) : Elles sont très sensibles au désaccord mais récupèrent 41% à 90% de la perte via la calibration (Scénario III).
• Architectures "Mask-Oblivious" (Ignorant le masque) : Comme HDNet, elles ne récupèrent 0% de la perte, quelle que soit la qualité de la calibration, car leur architecture ne permet pas d'ajuster la reconstruction en fonction des paramètres physiques.
• Méthodes Classiques/Itératives : Elles montrent une robustesse intrinsèque et une haute récupération (jusqu'à 93% pour GAP-TV sur CACTI).

D. Efficacité de la calibration aveugle (Scénario IV)

Sans vérité terrain, une calibration par recherche par grille permet de récupérer 85% à 100% de la limite Oracle :

• Pour les désaccords géométriques (CASSI, CACTI), la minimisation du résidu de mesure suffit.
• Pour les désaccords radiométriques (SPC, dérive de gain), la minimisation de la parcimonie de reconstruction (Total Variation) est nécessaire car le résidu de mesure est non informatif.

5. Signification et Implications

• Changement de paradigme : La fiabilité du modèle physique (fidelity) est plus critique que la sophistication algorithmique. Un modèle physique précis est indispensable pour déployer l'imagerie compressive.
• Guide de sélection :
  • Si la recalibration est possible : Privilégier les réseaux conditionnés par l'opérateur couplés à une calibration auto-supervisée.
  • Si la calibration est impossible : Les méthodes classiques offrent la base la plus robuste.
• Limites actuelles : Les architectures actuelles peinent à s'adapter aux dérives de dispersion sub-pixel (CASSI) même avec une calibration parfaite, suggérant la nécessité de nouvelles architectures "dispersion-aware".

En conclusion, InverseNet révèle que l'optimisation aveugle des algorithmes sur des données simulées idéales est insuffisante pour le déploiement réel. La communauté doit désormais intégrer la robustesse au désaccord d'opérateur comme métrique centrale de développement.