Multiscale Super Resolution without Image Priors

1. Problématique

Le problème de la super-résolution sous translation consiste à reconstruire une image haute résolution à partir de plusieurs mesures basse résolution décalées. Cependant, ce problème est fondamentalement mal posé (ill-posed) : sans informations supplémentaires, il existe une ambiguïté intrinsèque. Différents signaux haute résolution peuvent produire exactement les mêmes mesures basse résolution après convolution avec un filtre de boîte (box filter) correspondant à la taille du pixel.

Traditionnellement, pour résoudre cette ambiguïté, les méthodes existantes s'appuient sur des priors d'image (hypothèses statistiques sur la nature des images, comme la régularité, la parcimonie ou l'apprentissage profond). Ces approches ont des limites : elles nécessitent souvent de grands jeux de données d'entraînement, peuvent échouer sur des scènes complexes non vues lors de l'entraînement, et introduisent des artefacts de « hallucination » de détails.

L'objectif de cet article est de démontrer qu'il est possible de résoudre ce problème sans aucun prior d'image, en exploitant uniquement des contraintes physiques et mathématiques issues de la collecte de données à plusieurs échelles (tailles de pixels effectives différentes).

2. Méthodologie

Modèle d'imagerie

Les auteurs modélisent l'acquisition d'image comme une convolution du champ d'irradiance continu avec un filtre de boîte de taille $k\Delta$ (où $\Delta$ est la taille du pixel de référence et $k$ un entier).

• Binning matériel : Pour explorer une large gamme de tailles de pixels, l'équipe utilise un capteur CCD avec une fonction de « binning » matériel. Cela permet d'agréger les charges de plusieurs pixels adjacents avant la lecture, créant ainsi des pixels effectifs de tailles entières multiples ($k_1, k_2, \dots$).
• Données entrelacées : Pour obtenir une convolution valide, le capteur (ou la scène) est déplacé par pas de sous-pixel pour capturer plusieurs images décalées, qui sont ensuite entrelacées.

Résolution des ambiguïtés par multi-échelle

Le cœur de la contribution théorique repose sur l'utilisation de tailles de pixels mutuellement premières entre elles (pairwise coprime).

• En 1D : Deux tailles de pixels $k_1$ et $k_2$ suffisent pour reconstruire le signal si $\text{gcd}(k_1, k_2) = 1$. Grâce à l'identité de Bézout, on peut isoler les valeurs individuelles du signal original en combinant linéairement les sommes de fenêtres de tailles différentes.
• En 2D : Deux tailles ne suffisent pas car le filtre de boîte 2D est séparable (produit de filtres 1D), laissant subsister des ambiguïtés dans le noyau de la convolution. Les auteurs prouvent que trois tailles de pixels mutuellement premières ($k_1, k_2, k_3$) sont nécessaires et suffisantes pour une reconstruction stable en 2D.
• Généralisation : Pour un signal de dimension $d$, il faut $d+1$ tailles de pixels mutuellement premières pour garantir l'inversibilité du système.

Algorithmes de reconstruction

Deux méthodes sont proposées pour résoudre le système d'équations linéaires résultant :

1. Méthode dans le domaine de Fourier : En supposant une convolution cyclique (ou en utilisant un remplissage approprié), la reconstruction peut être effectuée très rapidement via la Transformée de Fourier Rapide (FFT). La solution est une somme pondérée des mesures filtrées dans le domaine fréquentiel.
2. Méthode itérative (Moindres Carrés) : Pour les convolutions valides (sans hypothèse cyclique), les auteurs utilisent un solveur LSQR optimisé. L'opérateur de convolution par boîte est implémenté efficacement via des images intégrales (summed-area tables), permettant une complexité linéaire $O(N)$ indépendante de la taille des boîtes.

3. Contributions Clés

1. Théorème d'inversibilité sans priors : Démonstration mathématique rigoureuse (Théorème 5.7) qu'un système d'imagerie avec $d+1$ tailles de pixels mutuellement premières possède un pseudo-inverse stable, rendant le problème de super-résolution bien posé sans aucune hypothèse sur le contenu de l'image.
2. Analyse de l'erreur et compromis bruit-résolution : Établissement d'une formule asymptotique pour l'erreur quadratique moyenne attendue (Théorème 5.8). Les résultats montrent un compromis fondamental : l'erreur de reconstruction augmente avec le facteur d'amélioration de la résolution (taille des pixels $k$), mais reste contrôlée et prévisible.
3. Validation expérimentale à grande échelle : Utilisation de matériel CCD réel pour valider la théorie sur des signaux 1D et 2D. Les expériences couvrent une large gamme de tailles de pixels effectives (de 13 µm à plus de 200 µm), démontrant une amélioration de résolution d'un facteur supérieur à 10x.

4. Résultats Expérimentaux

• Expériences 1D : La reconstruction de signaux 1D avec des tailles de boîtes mutuellement premières (ex: 13 et 15) produit une erreur très faible. À l'inverse, l'utilisation de tailles partageant un facteur commun (ex: 12 et 15) entraîne des erreurs périodiques importantes, confirmant la nécessité de la coprimalité. L'erreur empirique correspond parfaitement aux prédictions théoriques.
• Expériences 2D :
  • Des images d'objets réels (cibles de résolution, photographies, pinwheels) capturées avec des pixels effectifs de 130 µm, 143 µm et 169 µm (correspondant à des binning 10x10, 11x11, 13x13 sur un capteur de 13 µm) ont été reconstruites.
  • La reconstruction multi-échelle récupère des détails fins comparables à une image acquise directement avec des pixels de 13 µm.
  • L'utilisation de trois échelles (au lieu de deux) élimine les artefacts périodiques résiduels et réduit l'erreur RMS d'environ un tiers par rapport à l'utilisation de deux échelles.
• Performance : La reconstruction d'une image 1024x1024 prend moins d'une seconde sur un ordinateur standard grâce à l'approche Fourier.

5. Signification et Implications

Ce travail démontre que la diversité des échelles de mesure peut remplacer les hypothèses statistiques complexes (priors) pour résoudre les problèmes inverses en imagerie.

• Applications pratiques :
  • Téléphones mobiles et drones : De nombreux appareils modernes possèdent plusieurs caméras avec des focales différentes (zoom optique). Ces systèmes peuvent naturellement collecter les données multi-échelles nécessaires pour une super-résolution sans mouvement artificiel complexe.
  • Microscopie et imagerie scientifique : L'utilisation de lentilles interchangeables ou de zooms pour varier le grossissement permet d'obtenir des images haute résolution sur de grands champs de vision, dépassant les limites de la résolution d'un seul capteur.
  • Simplification du matériel : Il n'est pas nécessaire d'avoir des capteurs ultra-denses. Un capteur moins dense, combiné à un zoom ou un mouvement contrôlé, peut produire des résultats équivalents à un capteur haute résolution natif.

En conclusion, l'article établit que la super-résolution sous translation est un problème bien posé dès lors que l'on dispose de suffisamment de mesures à des échelles mutuellement premières, ouvrant la voie à des systèmes d'imagerie plus robustes, plus rapides et moins dépendants de l'apprentissage profond.