Generic Camera Calibration using Blurry Images

Cet article propose une méthode de calibration générique de caméra utilisant des images floues, qui estime simultanément les positions des caractéristiques et les fonctions d'étalement du point spatialement variables en exploitant des contraintes géométriques et un modèle d'illumination local pour surmonter le flou de mouvement inévitable lors de l'utilisation de tableaux d'étalonnage imprimés.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en parlions autour d'un café.

Le Problème : La Photo Floue et la Règle de la "Vieille Caméra"

Imaginez que vous voulez cartographier une ville en 3D (comme pour Google Maps ou un jeu vidéo). Pour cela, vous avez besoin de connaître exactement comment votre caméra voit le monde. C'est ce qu'on appelle l'étalonnage (ou calibration).

Habituellement, pour faire ça, on prend une photo très nette d'un motif précis (comme un échiquier ou une étoile) et on mesure où tombent les lignes.

• Le problème : Si vous utilisez une caméra bon marché ou si vous bougez un peu trop vite, l'image devient floue.
• La conséquence : Les méthodes classiques disent : "Oublie cette photo, elle est trop floue !" et la jettent.
• Le souci : Pour les caméras modernes très précises (les "modèles génériques"), il faut des milliers de photos pour couvrir tout l'écran. Jeter les photos floues, c'est comme essayer de remplir un seau avec une cuillère en enlevant la moitié de l'eau : ça prend une éternité et c'est frustrant.

La Solution : "Recoller" les pièces du puzzle sans les avoir vues nettes

L'auteur de l'article, Zezhun Shi, a une idée géniale : Et si on apprenait à utiliser les photos floues au lieu de les jeter ?

Voici comment il procède, avec une analogie simple :

1. L'Analogie du "Tamis à Pâte" (La Déconvolution Locale)

Imaginez que vous avez un tamis à pâte (votre motif d'étalonnage) et que quelqu'un l'a secoué pendant que vous le regardiez. Le motif est déformé et flou.

• L'ancienne méthode : Essayer de deviner à quoi ressemblait le tamis en entier, pixel par pixel. C'est trop compliqué, il y a trop d'inconnues.
• La méthode de l'auteur : Au lieu de regarder tout le tamis d'un coup, il le découpe en petits carrés. Pour chaque carré, il se dit : "Je connais la forme exacte du tamis. Je sais juste qu'il a été tourné, déplacé et un peu éclairé différemment."
  Il remplace des milliers de pixels inconnus par seulement 14 paramètres (une rotation, un déplacement, un peu de luminosité). C'est comme passer d'un dessin complexe à une simple équation mathématique.

2. Le Problème du "Glissement" (L'Ambiguïté de Translation)

Il y a un piège dans la défloutage : si vous déplacez l'image floue de 2 pixels vers la droite, et que vous déplacez le "flou" de 2 pixels vers la gauche, le résultat visuel est le même. C'est comme si vous glissiez une vitre sale devant une fenêtre : on ne sait pas si c'est la vitre qui bouge ou le décor derrière.

• Pourquoi c'est grave ici : Pour la vision 3D, la position exacte compte. Si on se trompe de 2 pixels, toute la carte 3D sera fausse.

3. La Solution : Le "GPS de Référence"

Pour ne pas se perdre, l'auteur utilise une astuce intelligente :

1. Il prend quelques photos nettes (très peu) pour calibrer une caméra "basique" (comme un GPS approximatif).
2. Il prend les milliers de photos floues et les "défloute" localement.
3. Il aligne ensuite ces photos floues défloutées sur le GPS approximatif.
   • Analogie : C'est comme si vous essayiez de dessiner une carte d'une ville en regardant par une vitre sale. Vous avez une petite carte précise d'un quartier (les photos nettes). Vous utilisez cette petite carte pour vous repérer, et vous déduisez le reste de la ville en vous assurant que vos dessins ne dérivent pas trop par rapport à cette carte de référence.

Les Résultats : Pourquoi c'est une révolution ?

L'auteur a testé sa méthode avec une caméra Intel RealSense (une caméra 3D courante).

• Résultat : Il a pu utiliser des photos prises avec des tremblements de main (floues) pour obtenir une précision incroyable (moins de 0,1 pixel d'erreur).
• L'avantage : On n'a plus besoin de faire des centaines de photos parfaites et immobiles. On peut bouger, trembler, et la caméra va quand même comprendre parfaitement comment elle voit le monde.

En Résumé

Imaginez que vous devez assembler un puzzle de 10 000 pièces, mais que la moitié des pièces sont couvertes de boue.

• Avant : On jetait les pièces boueuses et on passait des jours à chercher les pièces propres.
• Maintenant (avec cette méthode) : On prend les pièces boueuses, on utilise une règle mathématique pour deviner où elles vont, et on les colle ensemble en s'assurant qu'elles s'alignent avec les quelques pièces propres qu'on a gardées au début.

C'est une avancée majeure qui rend la vision 3D beaucoup plus accessible, rapide et robuste, même avec du matériel simple ou des mains qui tremblent.

Résumé technique

Voici un résumé technique détaillé de l'article « Generic Camera Calibration using Blurry Images » (Calibration de caméra générique utilisant des images floues) par Zezhun Shi.

1. Problématique

La calibration de caméra est fondamentale pour la vision 3D. Deux approches existent :

• Modèles paramétriques : Supposent une fonction globale pour la distorsion (ex: Brown-Conrady). Ils nécessitent peu d'images (une douzaine) et tolèrent bien le flou.
• Modèles génériques : Calibrent chaque rayon individuellement sans hypothèse de fonction globale. Ils offrent une précision supérieure et éliminent les biais directionnels systématiques, mais nécessitent des milliers d'images pour couvrir la grille de pixels.

Le défi : Pour un utilisateur individuel, capturer des milliers d'images nettes est pratiquement impossible en raison du flou de mouvement inévitable. Les méthodes de défloutage (deblurring) classiques échouent ici car :

1. Elles ne garantissent pas la fidélité géométrique sous-pixel requise.
2. Elles souffrent d'une ambiguïté de translation : la déconvolution peut récupérer une image latente décalée, ce qui corrompt la position des points caractéristiques essentiels à la calibration.
3. Il existe une dépendance circulaire : la calibration nécessite des points de repère, mais l'extraction de ces points est impossible sur des images floues sans connaître le flou (PSF) et la géométrie.

2. Méthodologie

L'auteur propose un cadre unifié estimant simultanément la position des caractéristiques et les fonctions de dispersion de point (PSF) spatialement variables, sans nécessiter d'images nettes.

A. Déconvolution Locale Paramétrée par Homographie

Au lieu de déflouter l'image globale (coûteux et instable), la méthode divise l'image en blocs locaux.

• Paramétrisation : Dans chaque bloc, l'image latente nette est modélisée comme une homographie appliquée à un motif de calibration connu (un motif en forme d'étoile) avec une correction d'éclairage linéaire.
• Réduction de complexité : Cela réduit l'espace des paramètres de dizaines de milliers de pixels à seulement 14 paramètres par bloc (8 pour l'homographie + 6 pour l'amplitude et le biais d'éclairage).
• Optimisation : Le problème est formulé comme une minimisation conjointe de l'erreur de convolution et de la régularisation du noyau de flou, résolue via une approche différentiable (PyTorch).

B. Contraintes Géométriques Inter-blocs

Pour assurer la cohérence spatiale :

• Les homographies des blocs adjacents sont couplées via leurs sommets partagés (les points du motif de calibration).
• Cela permet d'estimer des PSF spatialement variables sans avoir à résoudre un système global de déconvolution, rendant le problème bien conditionné.

C. Résolution de l'Ambiguïté de Translation

L'ambiguïté inhérente à la déconvolution (un décalage de l'image latente absorbé par le noyau) est résolue par une alignement global :

1. Alignement Local : Correction des translations entre les blocs voisins pour assurer la continuité des sommets.
2. Alignement Global : Les points déconvolués sont alignés sur un modèle de caméra paramétrique (calibré préalablement sur un petit ensemble d'images nettes).
3. Compensation de Biais : Un champ de biais bilinéaire continu est modélisé pour corriger les erreurs résiduelles spatiales, évitant les discontinuités artificielles.

3. Contributions Clés

1. Formulation de déconvolution locale : Une méthode qui joint l'estimation de la géométrie (homographie) et du noyau de flou (PSF) à partir d'un motif connu, brisant la dépendance circulaire entre extraction de caractéristiques et défloutage.
2. Contraintes géométriques inter-blocs : Utilisation des sommets partagés pour coupler les homographies, permettant une estimation de PSF spatialement variable (optique et mouvement) sans coût computationnel prohibitif.
3. Résolution de l'ambiguïté de translation : Une stratégie en deux étapes (alignement local + alignement global paramétrique) qui préserve la précision géométrique sous-pixel, rendant les images floues utilisables pour la calibration.
4. Motif de calibration optimisé : Validation de l'utilisation d'un motif en forme d'étoile (8 directions) plutôt qu'un damier classique, offrant une meilleure robustesse au bruit et une couverture fréquentielle dense.

4. Résultats Expérimentaux

Les expériences ont été menées sur des données réelles capturées avec une caméra Intel RealSense D435I (204 images floues à 15 fps avec tremblement de main).

• Robustesse au bruit : Comparé aux damiers, le motif en forme d'étoile maintient une haute qualité de reconstruction (SSIM ~0.96, PSNR > 22 dB) même avec 5 % de bruit gaussien, là où le damier échoue (SSIM ~0.58).
• Précision d'alignement : La méthode d'alignement global avec un noyau robuste (Huber) et un filtre d'angle réduit l'erreur d'alignement à 0,042 px sur des données synthétiques.
• Performance sur données réelles : Sur les images floues réelles, la méthode atteint une erreur médiane de reprojection d'environ 0,08 px.
• Analyse de faisabilité : Les erreurs résiduelles sont stochastiques (bruit à moyenne nulle) et non systématiques. Cela signifie que l'ajout de ces points flous à la calibration augmente la couverture angulaire et le nombre d'observations par rayon sans introduire de biais directionnel, ce qui est la condition idéale pour améliorer les modèles génériques.

5. Signification et Impact

Ce travail est la première tentative d'utiliser des images floues pour la calibration de caméras génériques.

• Impact pratique : Il rend la calibration générique accessible aux utilisateurs non experts et aux caméras peu coûteuses (faible fréquence d'images) en éliminant la nécessité de capturer des milliers d'images parfaitement nettes.
• Avancement théorique : Il démontre que le flou de mouvement peut être exploité géométriquement plutôt que simplement supprimé, en transformant un problème d'ambiguïté de translation en un problème d'alignement géométrique résolvable.
• Perspectives : Cela ouvre la voie à l'intégration de priors de mouvement, à une estimation de PSF plus robuste et à l'extension aux caméras à obturation roulante (rolling shutter).

En résumé, l'article propose une solution élégante qui combine déconvolution locale, contraintes géométriques et alignement global pour transformer des images floues en données de calibration de haute précision.