NOIR: Neural Operator mapping for Implicit Representations

1. Problématique et Contexte

Le domaine du calcul d'images médicales repose actuellement sur un paradigme dominant : l'apprentissage profond basé sur des grilles discrètes (pixels en 2D, voxels en 3D). Bien que des architectures comme les U-Net et les Transformers aient atteint des performances de pointe, cette approche présente des limitations fondamentales :

• Dépendance à la résolution : Les modèles entraînés sur une grille spécifique sont sensibles aux changements de résolution, aux artefacts d'interpolation et aux variations d'espacement des voxels.
• Nature continue vs discrète : Les images médicales proviennent de domaines physiques continus. Leur représentation discrète impose une contrainte artificielle qui peut introduire des erreurs d'aliasing et réduire la stabilité lors de transformations géométriques ou de l'utilisation de protocoles d'acquisition hétérogènes.
• Manque de généralisation : Les modèles discreux peinent souvent à généraliser à des résolutions non vues lors de l'entraînement.

L'article propose de remettre en question cette représentation discrète pour reformuler les tâches d'imagerie médicale comme un problème d'apprentissage d'opérateurs entre espaces de fonctions continues.

2. Méthodologie : Le Framework NOIR

NOIR (Neural Operator mapping for Implicit Representations) est un cadre général qui combine deux concepts clés : les Représentations Neurales Implicites (INR) et les Opérateurs Neuronaux (NO).

A. Représentation Continue des Signaux (INR)

Au lieu de traiter l'image comme une grille de pixels, NOIR encode chaque signal médical discret ($f^d$) en une fonction continue ($f$) via une INR.

• Architecture : Une INR est un réseau de neurones $\phi(x; \theta, \gamma)$ qui mappe une coordonnée spatiale $x$ à une valeur de signal.
• Apprentissage par méta-apprentissage (Meta-learning) :
  • Des paramètres partagés $\theta$ (niveau du jeu de données) capturent les régularités structurelles communes (anatomie de fond, caractéristiques d'acquisition).
  • Des paramètres spécifiques au signal $\gamma_i$ (ou un vecteur latent $z_i$) capturent les variations individuelles (pathologies, anatomie spécifique).
  • Un hyper-réseau $M_\psi$ prédit les paramètres de modulation $\gamma_i$ à partir d'un vecteur latent $z_i$.
• Avantage : Cela permet d'obtenir une approximation continue et indépendante de la résolution du signal à partir de quelques points d'échantillonnage.

B. Opérateur Neuronale (Mapping)

Une fois les signaux d'entrée et de sortie encodés dans leurs espaces de fonctions respectifs via leurs vecteurs latents ($z_{in}$ et $z_{out}$), NOIR apprend un opérateur neuronal $T$ qui mappe directement entre ces espaces latents :
$$\hat{z}_{out} = T(z_{in})$$

• Contrairement aux réseaux classiques qui apprennent une transformation image-à-image, NOIR apprend une transformation fonction-à-fonction (via leurs représentations latentes).
• L'opérateur $T$ est généralement un Perceptron Multicouche (MLP) avec des connexions résiduelles.

C. Propriété Théorique : $\epsilon$-ReNO

Le papier démontre que NOIR satisfait les critères d'un Opérateur Neuronale Équivalent en Représentation ($\epsilon$-ReNO). Cela signifie que l'opérateur est invariant à la discrétisation : peu importe la résolution d'entrée (grille fine ou grossière), le vecteur latent appris et la prédiction finale restent cohérents, minimisant ainsi les erreurs d'aliasing.

3. Contributions Clés

1. Changement de paradigme : Remplacement de l'apprentissage sur grilles discrètes par un apprentissage d'opérateurs entre espaces de fonctions continues pour l'imagerie médicale.
2. Architecture Modulaire : Séparation de l'encodage des données (INR) et de la transformation de la tâche (Opérateur Neuronale), permettant une réutilisation des encodeurs pour différentes tâches.
3. Robustesse à la résolution : Preuve empirique que le modèle maintient ses performances sur des résolutions non vues lors de l'entraînement, un avantage majeur par rapport aux modèles basés sur des grilles.
4. Validation Théorique et Empirique : Démonstration que NOIR est un $\epsilon$-ReNO et validation sur plusieurs tâches (segmentation, complétion, traduction, synthèse) et datasets publics (Shenzhen, OASIS-4, SkullBreak, fastMRI).

4. Résultats Expérimentaux

Les expériences ont été menées sur des tâches de segmentation, de complétion de forme, de traduction d'images et de synthèse, comparant NOIR à des baselines (U-Net, ViT, AttU-Net, FNO, DDPM).

• Segmentation (Shenzhen & OASIS-4) :
  • NOIR atteint des performances compétitives à la résolution native (ex: DSC ~0.94 sur Shenzhen).
  • Point fort : Contrairement aux U-Net et ViT dont les performances chutent drastiquement à basse résolution (ex: 10% de la résolution), NOIR maintient une stabilité quasi parfaite.
  • Sur OASIS-4, NOIR surpasse toutes les méthodes à basse résolution et reste très proche des meilleures baselines à haute résolution.
• Complétion de forme (SkullBreak 3D) :
  • NOIR réussit à reconstruire les structures anatomiques manquantes. Bien qu'il ait quelques difficultés avec les détails fins (région orbitaire), il est plus robuste aux dégradations de résolution que les méthodes 3D U-Net ou FNO.
• Traduction et Synthèse d'images (fastMRI & Échographie) :
  • Pour la synthèse d'échographie, NOIR obtient le meilleur PSNR (31.83) et SSIM, surpassant les modèles de diffusion (DDPM) et les U-Net.
  • L'approche INR évite le lissage excessif (over-smoothing) souvent observé dans les méthodes convolutives, préservant mieux le réalisme perceptuel.
• Efficacité : Le temps d'inférence reste inférieur à une seconde pour la plupart des tâches (sauf fastMRI dû à la grande dimension latente), restant compétitif face aux modèles de diffusion qui sont beaucoup plus lents.

5. Signification et Perspectives

Signification :
NOIR représente une avancée conceptuelle majeure en démontrant que l'on peut traiter les images médicales non pas comme des tableaux de nombres discrets, mais comme des échantillons de fonctions continues. Cela résout le problème de la sensibilité à la résolution, un défi majeur en clinique où les protocoles d'acquisition varient considérablement. La propriété d'invariance à la résolution offre une stabilité accrue pour les applications réelles.

Limitations et Travaux Futurs :

• Complexité de l'entraînement : La dimensionnalité des vecteurs latents doit être soigneusement équilibrée : trop petite, elle ne capture pas les détails ; trop grande, elle rend l'apprentissage de l'opérateur difficile.
• Apprentissage Supervisé : La méthode actuelle nécessite des paires de données (entrée/sortie) annotées. L'extension vers des cadres non supervisés (comme pour l'enregistrement d'images déformables) est une direction de recherche prioritaire.
• Coût computationnel : L'optimisation des vecteurs latents à l'inférence ajoute une étape de calcul, bien que cela reste rapide comparé aux méthodes itératives comme la diffusion.

En conclusion, NOIR propose une alternative robuste et théoriquement fondée aux réseaux de neurones convolutifs standards, ouvrant la voie à des modèles d'imagerie médicale plus généralisables et adaptés à la nature continue des données biologiques.