PoI: A Filter to Extract Pixel of Interest from Novel Views for Scene Coordinate Regression

Ce papier présente PoI, un cadre qui améliore la régression des coordonnées de scène en combinant la synthèse de nouvelles vues par 3DGS et un modèle de diffusion avec une stratégie de filtrage progressif des pixels basée sur l'erreur de reprojection pour garantir la fiabilité des données d'entraînement.

L'essentiel

Le Problème : La carte qui a des trous

Imaginez que vous êtes un robot (ou un humain) qui doit se repérer dans une ville inconnue. Pour cela, vous avez une carte 3D très précise (le "monde réel"). Mais vous ne pouvez voir la ville qu'à travers une fenêtre qui bouge (votre caméra).

Pour vous entraîner à vous repérer, on vous montre des milliers de photos de cette ville prises sous tous les angles possibles. Le problème ? Prendre des photos de tous les angles est long, cher et parfois impossible (parce qu'il y a des murs, des gens, ou qu'il fait nuit).

Les chercheurs ont eu une idée géniale : utiliser l'Intelligence Artificielle pour inventer (synthétiser) les photos manquantes. C'est comme si un dessinateur très rapide dessinait ce que vous verriez si vous marchiez un peu plus loin, même si vous n'avez jamais été là.

Le Piège : Les dessins sont beaux, mais pas parfaits

C'est là que ça coince. Les nouvelles techniques d'IA (comme le "NeRF" ou le "3DGS") sont excellentes pour dessiner des images réalistes. Mais elles ont un défaut majeur : elles ne font que recoller ce qu'elles ont déjà vu. Si elles doivent imaginer un coin de rue qu'elles n'ont jamais vu, elles vont souvent :

• Créer des formes floues.
• Inventer des murs qui n'existent pas.
• Déformer la géométrie (comme un miroir déformant).

Pour un humain qui regarde juste la photo pour dire "Où suis-je ?", ce flou n'est pas grave. Mais pour un système de précision qui doit dire "Ce pixel-ci correspond exactement à ce point précis du mur à 3 mètres", une erreur de dessin est catastrophique. C'est comme essayer de construire une maison avec des briques en plastique mou : ça tient à l'œil, mais ça s'effondre si on appuie dessus.

La Solution : Le filtre "PoI" (Pixel d'Intérêt)

Les auteurs de ce papier ont créé une méthode appelée PoI (Pixel d'Intérêt). Voici comment ça marche, en trois étapes simples :

1. Le Dessinateur Amélioré (L'IA Diffusion)

D'abord, ils utilisent un outil très puissant (un modèle de "diffusion", comme ceux qui génèrent des images artistiques) pour "retoucher" les photos inventées.

• L'analogie : Imaginez un élève qui dessine une vue de ville. Son dessin est un peu flou. Au lieu de le jeter, un professeur expert (l'IA de diffusion) vient ajouter des détails réalistes, corriger les ombres et rendre les lignes nettes. Le dessin devient beaucoup plus beau et plausible.

2. Le Filtre de Sécurité (Le tri des pixels)

Même avec le professeur, certains détails du dessin peuvent encore être faux ou trompeurs. Si on donne ce dessin entier au robot pour qu'il apprenne, il va apprendre des erreurs.

• L'analogie : C'est comme un filtre à café. Vous versez le mélange (la photo synthétique) dans le filtre. Le filtre laisse passer uniquement les grains de café de bonne qualité (les pixels fiables) et retient les impuretés (les pixels flous ou faux).
• Comment ça marche ? Le système vérifie chaque point de l'image. Si un point ne correspond pas logiquement à la géométrie 3D (comme si une fenêtre flottait dans le vide), le système dit : "Non, ce pixel est suspect, on l'ignore pour l'apprentissage". Il ne garde que les pixels "sûrs".

3. L'Entraînement Intelligent

Le robot apprend maintenant avec un mélange : ses vraies photos (parfaites) et les meilleures parties des photos inventées (filtrées).

• Le résultat : Le robot apprend beaucoup plus vite et devient plus précis, car il a accès à beaucoup plus de "vues" sans être confus par les erreurs de l'IA.

Pourquoi c'est important ?

Avant cette méthode, les chercheurs hésitaient à utiliser des images inventées pour la localisation de précision, car le risque d'erreur était trop grand.

Avec PoI, ils ont prouvé que :

1. On peut utiliser l'IA pour inventer des vues manquantes.
2. Mais il faut être très sélectif : ne garder que ce qui est fiable.
3. Cela permet de localiser des robots ou des voitures autonomes avec une précision record, même avec peu de données de départ.

En résumé : C'est comme apprendre à un élève à conduire. Au lieu de lui montrer seulement quelques routes réelles, on lui montre des millions de routes virtuelles. Mais pour qu'il ne prenne pas de mauvaises habitudes, on lui montre uniquement les routes virtuelles qui sont parfaitement réalistes, en cachant soigneusement les routes où l'IA a fait des erreurs de dessin.

Résumé technique

1. Problématique

La localisation visuelle (estimation de la pose de la caméra) repose souvent sur des méthodes d'apprentissage profond. Deux paradigmes principaux existent :

• Régression de pose de caméra (CPR) : Prédit directement la pose 6DoF à partir d'une image.
• Régression de coordonnées de scène (SCR) : Prédit les coordonnées 3D denses pour chaque pixel de l'image, puis estime la pose via des correspondances 2D-3D.

Bien que les méthodes SCR offrent généralement une précision supérieure grâce à un raisonnement géométrique explicite, elles nécessitent des données d'entraînement denses et de haute qualité. Pour pallier le manque de données annotées, la Synthèse de Vue Neurale (NVS) (via NeRF ou 3D Gaussian Splatting - 3DGS) est utilisée pour générer des vues synthétiques à partir de nouvelles poses.

Cependant, un problème majeur se pose pour la SCR :

• Les méthodes NVS classiques (NeRF, 3DGS) fonctionnent par interpolation géométrique de radiance observée. Elles ne peuvent pas "halluciner" des structures 3D invisibles ou récupérer du contenu manquant sous des angles extrêmes ou épars.
• Les vues générées souffrent souvent de flous, de distorsions structurelles ou de géométrie incomplète.
• Contrairement à la CPR (qui est robuste aux erreurs locales car elle agrège des caractéristiques globales), la SCR est extrêmement sensible aux erreurs au niveau du pixel. L'introduction directe de vues synthétiques imparfaites dans l'entraînement SCR dégrade la précision de la localisation et augmente le temps d'entraînement, car les erreurs de rendu introduisent un bruit géométrique nuisible.

2. Méthodologie : Le Framework PoI

Les auteurs proposent PoI (Pixel-of-Interest), un cadre qui permet d'intégrer efficacement l'augmentation de données par NVS dans les méthodes SCR. L'approche se décompose en trois étapes clés :

A. Synthèse et Raffinement des Vues (NVS + Diffusion)

• Base NVS : Utilisation de 3D Gaussian Splatting (3DGS) pour générer des vues nouvelles à partir de poses échantillonnées (via une méthode d'échantillonnage basée sur l'information de Fisher). Pour les scènes extérieures, une adaptation basée sur l'histogramme de luminance est appliquée pour gérer les changements d'éclairage.
• Raffinement par Diffusion : Les vues générées par 3DGS sont souvent bruitées. Les auteurs utilisent un modèle de diffusion à un seul pas (DIFIX3D+) pour raffiner ces vues. Contrairement aux méthodes itératives coûteuses, ce modèle corrige les artefacts et complète les zones floues ou occluses en une seule passe, ajoutant des détails structurellement plausibles au-delà de la simple interpolation géométrique.

B. Stratégie de Filtrage Pixel par Pixel (Le cœur de PoI)

Même après raffinement par diffusion, certaines pixels peuvent rester géométriquement incohérents. Au lieu de rejeter toute l'image synthétique, PoI applique un filtrage progressif au niveau du pixel :

1. Calcul d'erreur de reprojection : Pour chaque pixel synthétique, on calcule l'erreur entre sa position 2D estimée et sa position reprojetée (basée sur la géométrie 3D estimée).
2. Filtrage dual :
   • Sous-échantillonnage : Un échantillonnage aléatoire (Bernoulli) est appliqué au début pour stabiliser l'entraînement.
   • Filtrage par seuil : Un filtre de porte (Gate function) conserve uniquement les pixels dont l'erreur de reprojection est inférieure à un seuil $\tau_r$.
3. Apprentissage progressif : Seuls les pixels de confiance (PoI) sont utilisés pour la supervision géométrique. Les pixels rejetés sont ignorés.

C. Architecture et Fonction de Perte

• Le modèle utilise un backbone pré-entraîné pour extraire les caractéristiques des images requêtes et des vues synthétiques filtrées.
• Une fonction de perte dynamique est utilisée : le poids de la perte pour les pixels synthétiques (PoI) diminue progressivement de 1 à 0,01 au cours de l'entraînement, tandis que les pixels des images réelles (requêtes) conservent un poids de 1. Cela permet au modèle de converger rapidement tout en affinant sa précision géométrique.

3. Contributions Clés

1. Framework PoI : Introduction d'un mécanisme de filtrage au niveau du pixel qui permet d'intégrer des vues synthétiques dans la régression de coordonnées de scène (SCR) sans dégrader la performance.
2. Raffinement par Diffusion : Intégration d'un modèle de diffusion à un pas pour améliorer la fidélité structurelle des vues générées par 3DGS, dépassant les limites de l'interpolation purement géométrique.
3. Contrôle de la Fiabilité : Démonstration que pour la SCR, l'augmentation par NVS ne suffit pas ; un contrôle explicite de la fiabilité pixel par pixel est essentiel pour éviter le bruit géométrique.
4. Performance SOTA : Atteinte de l'état de l'art sur des benchmarks standards avec une efficacité d'entraînement compétitive.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux jeux de données publics : 7Scenes (intérieur) et Cambridge Landmarks (extérieur).

• Précision : La méthode PoI surpasse systématiquement les méthodes SCR de base (DSAC*, ACE, GLACE) et les méthodes NRP existantes (LENS, DFNet).
  • Sur 7Scenes, l'erreur de translation médiane est réduite à 0.4 cm (contre 0.5 cm pour ACE et 0.8 cm pour GLACE).
  • Sur Cambridge Landmarks, la méthode atteint une erreur médiane de 11.4 cm (GLPoI), surpassant GLACE (14 cm) et DSAC* (19 cm).
• Ablation :
  • L'utilisation de vues synthétiques brutes sans filtrage (dif+poa) dégrade les performances par rapport à la base.
  • Le filtrage aléatoire (dif+por) est moins efficace que le filtrage basé sur la reprojection.
  • La combinaison 3DGS + Diffusion + PoI (dif+poi) est supérieure à l'utilisation de 3DGS seul, confirmant que le raffinement par diffusion améliore l'efficacité du filtrage.
• Cas d'entrée épars (Sparse Input) : Même avec seulement 10 images par scène pour l'entraînement initial, l'approche PoI augmentée par diffusion améliore significativement la précision par rapport à l'entraînement sur les seules données éparses.
• Efficacité : Le temps d'entraînement reste compétitif (environ 25 minutes pour les scènes extérieures), comparable aux méthodes SCR rapides comme ACE, malgré l'étape de génération de vues.

5. Signification et Conclusion

Ce travail établit un nouveau standard pour l'utilisation de la synthèse de vues neurales dans la localisation visuelle de haute précision. Il démontre que :

1. Les méthodes NVS géométriques seules sont insuffisantes pour la SCR en raison de leur incapacité à générer des structures 3D non observées.
2. L'ajout de priors génératifs (via la diffusion) est nécessaire pour la plausibilité structurelle.
3. Le point crucial est que la génération réaliste ne suffit pas ; un contrôle explicite de la fiabilité au niveau du pixel (via le filtrage PoI) est indispensable pour éviter que les artefacts de synthèse ne corrompent l'apprentissage géométrique.

En résumé, PoI résout le compromis entre l'enrichissement des données par synthèse et la rigueur géométrique requise par la régression de coordonnées de scène, permettant une localisation visuelle plus robuste et précise avec moins de données annotées.