Equivariant Splitting: Self-supervised learning from incomplete data

Ce papier propose une nouvelle stratégie d'apprentissage auto-supervisé pour les problèmes inverses à partir de données incomplètes, qui combine une nouvelle définition d'équivariance et des pertes de séparation pour obtenir des estimations non biaisées et atteindre des performances de pointe dans des modèles fortement sous-déterminés.

L'essentiel

Le Problème : Le Puzzle Manquant

Imaginez que vous êtes un détective privé. Votre mission est de reconstituer une scène de crime (l'image originale) à partir de quelques indices éparpillés (les mesures).

Dans le monde de l'imagerie médicale (IRM, scanners) ou de l'astronomie, on ne peut pas toujours tout voir.

• Parfois, on a trop peu de temps pour scanner un patient (donc l'image est floue ou incomplète).
• Parfois, des pixels sont manquants (comme un puzzle où il manque des pièces).
• Parfois, le bruit de fond brouille les pistes.

Habituellement, pour apprendre à un ordinateur à reconstituer ces images, on lui montre des milliers de paires : "Voici l'indice incomplet, et voici la photo complète de la scène". C'est l'apprentissage supervisé.

Le hic ? Parfois, on n'a pas la "photo complète". C'est le cas en astronomie (on ne peut pas voir la galaxie sans le télescope qui crée le flou) ou en microscopie (on ne peut pas voir la cellule sans l'endommager). On n'a que les indices incomplets. Comment apprendre à l'ordinateur à deviner la vérité sans jamais avoir vu la vérité ?

La Solution : L'Intelligence Artificielle "Autodidacte"

Les chercheurs proposent une nouvelle méthode appelée "Équivariance par Découpage" (Equivariant Splitting). C'est un peu comme apprendre à cuisiner sans jamais avoir goûté le plat final, juste en manipulant les ingrédients.

Voici comment ça marche, avec deux astuces magiques :

1. L'Astuce du "Miroir Magique" (L'Équivariance)

Imaginez que vous regardez un tableau. Si vous le tournez de 90 degrés, c'est toujours le même tableau, juste orienté différemment. C'est ce qu'on appelle l'invariance ou l'équivariance.

La méthode suppose que les images que l'on cherche à reconstruire ont des règles de symétrie. Par exemple, une photo de forêt est aussi belle (et a les mêmes statistiques) si on la tourne ou si on la retourne.

• L'idée : Au lieu de demander à l'ordinateur de mémoriser des millions d'images, on lui dit : "Si tu sais reconstruire cette image, tu dois aussi savoir reconstruire cette image tournée de 90 degrés, et le résultat doit être cohérent".
• L'analogie : C'est comme si vous appreniez à faire un nœud de cravate. Si vous savez le faire avec la cravate à gauche, vous devez pouvoir le faire avec la cravate à droite, juste en inversant les mouvements. Cela force l'ordinateur à comprendre la structure de l'image, pas juste à mémoriser des pixels.

2. L'Astuce du "Jeu de l'Oie" (Le Découpage / Splitting)

C'est ici que la méthode devient géniale. Habituellement, pour apprendre sans la réponse, on divise les données en deux : on donne la moitié de l'image à l'ordinateur et on lui demande de deviner l'autre moitié.

• Le problème habituel : Si on divise une image en deux, l'ordinateur peut tricher. Il peut dire : "Je ne sais pas ce qu'il y a dans la partie manquante, alors je vais juste copier ce que je vois". C'est comme si on lui donnait un puzzle avec 50% de pièces manquantes et qu'il laissait ces espaces blancs.
• La nouvelle astuce (Équivariance + Découpage) : Les chercheurs combinent les deux idées. Ils utilisent le "miroir magique" pour créer des versions virtuelles de l'image (tournées, retournées) et ils les mélangent avec le découpage.
  • Imaginez que vous avez une photo floue. Vous la tournez, vous la retournez, et vous créez des "fausses" versions de cette photo floue.
  • Ensuite, vous demandez à l'ordinateur de prédire une partie de la photo à partir d'une autre partie, mais en utilisant ces versions tournées.
  • Le résultat : L'ordinateur ne peut plus tricher en laissant des espaces vides. Pour réussir le jeu, il est obligé de deviner ce qui se cache dans les zones manquantes en utilisant la logique de symétrie qu'il a apprise.

Pourquoi c'est une révolution ?

1. Plus rapide : Les anciennes méthodes qui utilisaient la symétrie (comme l'imagerie équivariante) devaient faire tourner l'ordinateur 3 ou 4 fois pour chaque image (une fois normale, une fois tournée, une fois retournée...). C'était lent et coûteux en énergie.

   • La nouvelle méthode : Grâce à une architecture intelligente (des réseaux de neurones conçus spécifiquement pour respecter ces règles de symétrie), l'ordinateur fait le calcul d'un coup. C'est comme si on avait construit une voiture qui roule aussi bien dans les deux sens sans avoir besoin de faire demi-tour.

2. Plus précis : Dans des cas très difficiles (comme un scanner médical avec très peu de rayons X), les anciennes méthodes échouaient ou produisaient des images floues. Cette nouvelle méthode atteint presque les mêmes résultats que si on avait eu les photos complètes pour l'entraînement.

En résumé

Imaginez que vous devez apprendre à dessiner un visage humain, mais on vous donne uniquement des croquis très rapides et incomplets, sans jamais vous montrer un visage réel.

• L'ancienne méthode : Vous regardiez le croquis, vous deviniez au hasard, et vous vérifiiez si ça ressemblait un peu. C'était lent et souvent faux.
• La nouvelle méthode (Équivariance par Découpage) : Vous vous dites : "Si je dessine un nez ici, il doit y avoir un autre nez de l'autre côté, et si je tourne la tête, les proportions doivent rester logiques". En utilisant ces règles de logique (symétrie) et en s'entraînant à combler les trous de manière intelligente (découpage), vous apprenez à dessiner un visage parfait, même sans avoir jamais vu de modèle réel.

C'est exactement ce que font ces chercheurs : ils donnent à l'ordinateur les règles du jeu (la symétrie) et un moyen de s'entraîner seul (le découpage) pour qu'il devienne un expert en reconstruction d'images, même avec des données très pauvres.

Résumé technique

1. Problématique

Les problèmes inverses en imagerie (tels que l'imagerie par résonance magnétique accélérée, la tomographie computed à vue sparse, l'inpainting ou le compressed sensing) consistent à estimer une image vraie $x$ à partir de mesures incomplètes et bruitées $y = Ax + \varepsilon$, où $A$ est une matrice de mesure de rang déficient.

La méthode standard consiste à entraîner des réseaux de neurones de manière supervisée en utilisant des paires d'images vraies et de mesures. Cependant, dans de nombreux domaines (astronomie, microscopie, imagerie médicale), l'obtention de données de référence (ground-truth) est coûteuse, voire impossible.

Les méthodes d'apprentissage auto-supervisé (SSL) existantes tentent de contourner ce problème, mais elles présentent des limites :

• Le "Splitting" (Division des mesures) : Nécessite généralement plusieurs opérateurs de mesure différents par acquisition pour être efficace. Dans le cas d'un opérateur unique incomplet (ex: un masque fixe en IRM), ces méthodes échouent souvent car elles ne peuvent pas apprendre dans le noyau (nullspace) de l'opérateur.
• L'Imagerie Équivariante (Equivariant Imaging - EI) : Suppose que la distribution des images est invariante sous certaines transformations (rotations, translations). Bien qu'efficace, elle est très coûteuse en calcul (nécessite 2 à 3 évaluations du réseau par itération) et ne garantit pas toujours d'atteindre l'estimateur optimal (MMSE).

2. Méthodologie : Équivariant Splitting (ES)

Les auteurs proposent une nouvelle stratégie appelée Equivariant Splitting (ES) qui combine les avantages du "splitting" et de l'imagerie équivariante pour apprendre à partir d'un seul opérateur de mesure incomplet.

A. Hypothèse Fondamentale

La méthode repose sur l'hypothèse que la distribution des images vraies $p(x)$ est invariante par rapport à un groupe de transformations $\mathcal{G}$ (ex: translations, rotations, flips). Cela permet de considérer les mesures $y$ non seulement comme associées à $x$, mais aussi à des images virtuelles $x_g = T_g^{-1}x$ et des opérateurs virtuels $A_g = A T_g$.

B. La Nouvelle Fonction de Perte (Loss)

Les auteurs définissent une perte auto-supervisée qui exploite cette structure multi-opérateurs implicite :
$$\mathcal{L}_{ES}(y, A, f) = \mathbb{E}_g \left[ \mathcal{L}_{SPLIT}(y, A T_g, f) \right]$$
Concrètement, pour chaque itération, on applique une transformation aléatoire $g$ à l'opérateur (virtuellement), on divise les mesures résultantes en deux parties (entrée et cible), et on entraîne le réseau à prédire la partie manquante.

Théorème d'Optimalité : Sous l'hypothèse d'invariance et si la matrice $Q_{A_1}$ (espérance des produits scalaires des opérateurs virtuels) est de rang plein, la minimisation de cette perte conduit à l'estimateur MMSE (Minimum Mean Squared Error) optimal, équivalent à celui obtenu par apprentissage supervisé.

C. Architecture Équivariante et Efficacité Computationnelle

Pour rendre cette méthode efficace, les auteurs introduisent une nouvelle définition d'équivariance pour les fonctions de reconstruction $f(y, A)$ :
$$f(y, A T_g) = T_g^{-1} f(y, A)$$
Ils montrent que si le réseau est conçu pour satisfaire cette propriété (via des couches équivariantes ou un moyennage de Reynolds), le calcul de la perte $\mathcal{L}_{ES}$ se simplifie. Au lieu d'évaluer le réseau pour chaque transformation (comme en EI), le réseau équivariant permet de réduire la perte ES à une simple perte de "splitting" standard :
$$\mathcal{L}_{ES}(y, A, f) = \mathcal{L}_{SPLIT}(y, A, f)$$
Cela élimine le surcoût computationnel de l'EI tout en conservant la capacité à apprendre au-delà du noyau de l'opérateur.

3. Contributions Clés

1. Nouvelle Définition d'Équivariance : Une définition formelle de l'équivariance pour les fonctions de reconstruction dans les problèmes inverses, distincte de l'équivariance classique image-à-image.
2. Perte Auto-Supervisée Unifiée : Une perte (ES) qui combine la simplicité du splitting et la puissance de l'hypothèse d'invariance, garantissant théoriquement la convergence vers l'estimateur MMSE.
3. Synergie Architecture-Loss : Démonstration que l'utilisation d'architectures équivariantes (comme des UNet équivariants ou des réseaux déroulés) rend le calcul de la perte ES aussi rapide qu'un splitting standard, résolvant le problème de coût de l'EI.
4. Validation Expérimentale : Preuve que cette approche fonctionne sur des opérateurs fortement déficients (rank-deficient) là où les méthodes précédentes échouent.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur quatre problèmes inverses majeurs :

• Compressed Sensing (MNIST) : ES atteint des performances quasi-supervisées, surpassant nettement l'EI, surtout à des taux de compression élevés.
• Inpainting d'images (DIV2K) : ES produit des reconstructions nettement plus proches de la vérité terrain que l'EI (moins de flou) et dépasse les méthodes basées sur la cohérence des mesures (MC).
• IRM Accélérée (FastMRI) : Sur des données synthétiques et réelles (accélération x8), ES rivalise avec l'apprentissage supervisé et surpasse l'EI et les méthodes SURE. Les artefacts sont réduits.
• Tomographie Computed (Sparse-view CT) : ES surpasse l'EI et les méthodes de rétroprojection filtrée (FBP), atteignant des scores PSNR/SSIM proches du supervisé.

Efficacité : Contrairement à l'EI qui nécessite 2-3 passes par itération, ES (avec une architecture équivariante) ne nécessite qu'une seule passe, rendant l'entraînement plus rapide et plus stable.

5. Signification et Impact

Ce travail représente une avancée significative pour l'apprentissage automatique en imagerie scientifique :

• Démocratisation de l'auto-supervision : Il rend possible l'entraînement de modèles de haute performance sur des problèmes inverses complexes avec un seul opérateur de mesure, sans besoin de données étiquetées.
• Théorie et Pratique : Il établit un lien théorique solide entre les architectures équivariantes et l'optimalité statistique (MMSE) dans un cadre auto-supervisé.
• Efficacité : Il résout le goulot d'étranglement computationnel de l'imagerie équivariante, la rendant viable pour des applications industrielles et médicales où le temps de calcul est critique.

En résumé, l'Equivariant Splitting propose un cadre robuste et efficace pour résoudre des problèmes inverses mal posés en exploitant les symétries inhérentes aux données naturelles, comblant ainsi le fossé entre les méthodes supervisées et auto-supervisées.