💻 computer science

Depth Estimators Are Implicit Neural Fields for 3D Scene Geometry Inpainting and Reconstruction

Ce document propose Neural Depth Field (NDF), une nouvelle approche qui réinterprète les estimateurs de profondeur comme des champs implicites au niveau de la scène pour effectuer une optimisation unique lors du test, atteignant ainsi l'état de l'art en matière d'inpainting et de reconstruction de géométrie 3D avec une haute fidélité et une cohérence globale à travers divers ensembles de données.

Auteurs originaux : Yingzhao Jian, Zihao Lin, Hehe Fan

Publié 2026-07-21

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yingzhao Jian, Zihao Lin, Hehe Fan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de construire un modèle 3D parfait du monde, comme un niveau de jeu vidéo qui ressemble exactement à la vie réelle. Pour ce faire, les ordinateurs doivent connaître la forme de tout ce qui les entoure : où se trouvent les murs, quelle est la hauteur des montagnes et quelle est la profondeur des trous. C'est ce qu'on appelle la « géométrie 3D ». Habituellement, les ordinateurs obtiennent ces informations à partir de caméras ou de capteurs, mais la vie réelle est désordonnée. Parfois, des nuages bloquent la vue, parfois des ombres cachent des détails, et parfois les capteurs manquent simplement un endroit, laissant un « trou » dans les données. C'est comme essayer de terminer un puzzle alors que quelqu'un en a mangé quelques pièces ; on voit l'image, mais il y a des vides là où l'image est manquante.

Pour combler ces trous, les scientifiques utilisent souvent des « estimateurs de profondeur ». Considérez-les comme des devineurs super intelligents. Ils ont étudié des millions de photos et ont appris à quoi ressemble habituellement un mur, un arbre ou un bâtiment. Lorsqu'ils voient un vide, ils utilisent cette connaissance pour le remplir. Cependant, ces devineurs ont deux gros problèmes. Premièrement, ils devinent parfois des choses qui ne correspondent pas avec les parties de l'image qu'ils peuvent réellement voir (comme deviner qu'une porte se trouve à un endroit où l'on voit clairement un mur solide). Deuxièmement, s'ils voient quelque chose qu'ils n'ont jamais vu auparavant — comme une vue par satellite depuis le haut d'une ville au lieu d'une vue au niveau de la rue — ils pourraient être confus et faire des suppositions erronées et sauvages.

Ce document présente une nouvelle façon ingénieuse de résoudre ces problèmes appelée Neural Depth Field (NDF). Les chercheurs ont réalisé qu'un estimateur de profondeur n'a pas besoin d'être seulement un « devineur en une seule étape ». Au lieu de cela, ils l'ont traité comme un moule flexible et invisible qui peut être remodelé pour s'adapter à la scène spécifique qu'il observe. Imaginez que vous avez un morceau d'argile qui sait fabriquer une tasse parfaite. Habituellement, vous pressez une seule fois et vous espérez que le résultat soit correct. Mais avec le NDF, vous pressez l'argile contre la véritable tasse que vous tenez, en la lissant jusqu'à ce qu'elle épouse parfaitement les courbes réelles, tout en conservant la forme générale d'une tasse. Cela permet à l'ordinateur de combler les trous manquants avec une grande précision, en veillant à ce que les nouvelles parties se fondent harmonieusement avec les anciennes, qu'il s'agisse d'une pièce intérieure désordonnée ou d'une ville géante vue depuis l'espace.

Le problème de la supposition « en une seule étape »

Dans le monde de la vision par ordinateur 3D, nous comptons souvent sur des modèles pré-entraînés pour nous dire quelle est la profondeur des choses. Ces modèles sont comme des étudiants qui ont étudié un manuel massif de formes 3D. Lorsque vous leur montrez une image, ils devinent instantanément la profondeur. Mais les données du monde réel sont souvent incomplètes. Un drone peut manquer un bâtiment à cause d'un arbre, ou un satellite peut perdre des données à cause d'un nuage.

L'approche standard consiste à prendre ces modèles pré-entraînés et à leur demander de « l'in-painting » (remplissage) les parties manquantes. Cependant, les auteurs soulignent que cela échoue souvent de deux manières spécifiques :

Incohérence : Le modèle peut remplir un trou avec une forme qui contredit les parties visibles de la scène. C'est comme dessiner une porte sur un mur que le reste de la photo montre clairement comme étant une surface de briques solides.
Confusion hors distribution : Si le modèle a été principalement entraîné sur des photos au niveau de la rue, il pourrait être totalement perdu face à une image satellite. Il ne connaît pas les règles pour ce « domaine » spécifique, donc ses suppositions deviennent peu fiables.

La solution « Neural Depth Field »

Les auteurs proposent une nouvelle méthode appelée Neural Depth Field (NDF). Leur grande idée est de cesser de traiter l'estimateur de profondeur comme un outil statique qui donne simplement une réponse, et de commencer à le traiter comme un champ implicite au niveau de la scène.

Voici l'analogie : Imaginez qu'un estimateur de profondeur est une feuille de caoutchouc sur laquelle un motif est imprimé.

En tant que prédicteur : Normalement, vous étalez simplement cette feuille sur une image, et elle imprime une supposition basée sur son motif.
En tant que champ : Avec le NLF, vous prenez cette même feuille de caoutchouc et vous la pressez physiquement contre les parties réelles de l'image que vous pouvez voir. Vous étirez et lissez la feuille jusqu'à ce qu'elle épouse parfaitement la géométrie réelle et visible.

En faisant cette « optimisation au moment du test » (ajustement du modèle pendant qu'il regarde la scène spécifique), le NDF force le modèle à faire deux choses à la fois :

S'adapter à l'observé : Il doit correspondre aux parties de l'image que nous pouvons réellement voir, garantissant que les nouvelles suppositions ne contredisent pas les données existantes.
Adapter le "prior" : Il utilise sa connaissance générale (le « motif » sur la feuille) pour deviner ce que les parties manquantes devraient être, mais cette connaissance est maintenant ajustée spécifiquement pour cette scène.

Cela transforme le problème de « remplir les blancs » en une tâche unique et unifiée : trouver la meilleure version de la feuille de caoutchouc qui s'adapte à la fois aux parties connues et aux parties inconnues simultanément.

Ce qu'ils ont découvert

Les chercheurs ont testé cette idée sur deux types de scènes très différents :

Imagerie satellite : Ils l'ont utilisée sur une carte de ville massive (Birmingham) où les données de hauteur étaient manquantes à de nombreux endroits à cause des nuages ou des erreurs de capteurs.
Scans intérieurs : Ils l'ont utilisée sur des scans 3D de pièces (à partir du jeu de données ScanNet) où les meubles et les murs étaient manquants en raison d'occlusions ou de bruit de capteur.

Les résultats :

Meilleure précision : Le NDF a rempli les parties manquantes bien plus précisément que les méthodes précédentes. Sur les données satellites, il a amélioré la précision du remplissage de la hauteur manquante de 23,1 %.
Moins de bugs : Il a résolu le problème de conflit entre les nouvelles parties et les anciennes. Il a réduit l'« incohérence entre les vues » (où l'image semble différente ou brisée lorsque l'on change d'angle) de 63,3 %.
Détails fins : La méthode a été capable de récupérer des détails minuscules que d'autres méthodes avaient manqués, comme de petits lampadaires dans les photos satellites ou des fils fins dans les scans intérieurs.

Le papier exclut explicitement l'idée que l'utilisation d'un modèle pré-entraîné sans ajustement soit suffisante. Ils ont montré que le simple fait de « prédire » ou de « reconstruire » séparément conduit à des résultats flous ou incohérents. La magie opère uniquement lorsqu'on combine les deux dans ce processus d'optimisation unique.

Pourquoi c'est important

Il ne s'agit pas seulement de créer de plus belles images. Avoir une carte 3D complète et cohérente du monde est crucial pour que les robots puissent naviguer, pour que les villes puissent planifier leurs infrastructures et pour que la réalité virtuelle soit immersive. Si un robot pense qu'un mur est présent alors qu'il ne l'est pas, il pourrait s'écraser. Si un urbaniste pense qu'un bâtiment a une certaine hauteur alors qu'il est en réalité plus haut, cela pourrait constituer un danger pour la sécurité.

En démontrant que nous pouvons prendre un modèle de « supposition » général et l'ajuster pour qu'il s'adapte parfaitement à une scène spécifique, le NDF offre un moyen d'obtenir des données 3D de haute qualité, même lorsque nos capteurs font défaut ou lorsque nous regardons des choses sous des angles que nous n'avons jamais vus auparavant. Cela suggère que l'avenir de la reconstruction 3D ne réside pas seulement dans la création de modèles plus grands et plus intelligents, mais dans l'apprentissage de la manière dont ces modèles peuvent s'adapter à la réalité spécifique qu'ils observent, là et maintenant.

Les auteurs notent que ce processus prend actuellement quelques minutes à une heure par scène, ce qui est plus lent qu'une simple supposition « en une seule étape », mais le compromis est un résultat de bien meilleure qualité. Ils suggèrent qu'à l'avenir, cela pourrait être accéléré, mais pour l'instant, cela prouve que prendre le temps de « mouler » l'outil à la scène vaut la peine pour obtenir un monde 3D véritablement précis.

Résumé technique : Champ de profondeur neuronale (NDF) pour l'inpainting et la reconstruction de la géométrie de scènes 3D

1. Définition du problème

Les données de scènes 3D du monde réel sont fréquemment structurellement incomplètes en raison d'occlusions, de limitations des capteurs ou de facteurs environnementaux (par exemple, des nuages dans l'imagerie satellite, du flou de mouvement dans les scans d'intérieur). Bien que les estimateurs de profondeur conventionnels puissent récupérer une géométrie continue à partir d'observations partielles, ils font face à deux limitations critiques :

Incohérence : Les régions inpainters (reconstituées) ne parviennent souvent pas à s'aligner géométriquement avec les parties observées, ce qui entraîne des discontinuités.
Décalage de distribution (Distribution Shift) : Les estimateurs de profondeur standards, entraînés sur des jeux de données à grande échelle, sont souvent peu fiables sur des données hors distribution (par exemple, l'imagerie satellite ou des textures d'intérieur spécifiques) et peinent à maintenir une cohérence d'échelle métrique entre différentes vues.

Les approches existantes reposent soit sur une extrapolation directe de priors (ce qui est peu fiable pour des données inconnues), soit utilisent des estimateurs de profondeur comme une supervision indirecte pour des champs neuronaux (ce qui peut entraîner des incohérences entre la profondeur prédite et le champ de la scène optimisé).

2. Méthodologie : Champ de profondeur neuronale (NDF)

Les auteurs proposent le Neural Depth Field (NDF), un cadre d'optimisation au moment du test (test-time optimization) qui réinterprète un estimateur de profondeur pré-entraîné comme un champ neural implicite au niveau de la scène.

Concept central

Le NDF opère sur la double perspective selon laquelle un estimateur de profondeur remplit deux rôles simultanés :

En tant que Prédicteur : Il apprend des priors spécifiques au domaine pour l'inpainting de la profondeur en optimisant sur les observations de profondeur existantes.
En tant que Champ Implicite : Il ajuste la géométrie observée pour maintenir une cohérence globale.

Formulation

Étant donné une observation $O = (I, D, M)$ , où $I$ est l'image RGB, $D$ est la carte de profondeur incomplète et $M$ est un masque de validité, l'objectif est de trouver un estimateur de profondeur optimal $f^*$ qui minimise l'écart entre la profondeur prédite $\tilde{D}$ et la vérité terrain complète $\hat{D}$ .

Le NDF traite les paramètres $\theta$ d'un estimateur de profondeur monoculaire pré-entraîné $f_\theta$ comme les variables d'un champ neural implicite de scène $F_\theta$ . L'objectif d'optimisation unifie deux tâches en une seule perte de divergence par pixel :

Cohérence Géométrique (Ajustement) : La géométrie rendue doit correspondre à la profondeur observée $D|_{\Omega_v}$ (où $M=1$ ).
Adaptation de Domaine (Inpainting) : La prédiction doit être supervisée par la distribution de la vérité terrain de la profondeur pour adapter le prior à la scène actuelle, tout en remplissant les régions cachées $\Omega_h$ (où $M=0$ ).

La fonction de perte unifiée est :
$\ell(\theta) = \int_{\Omega} M(u)\rho(F_\theta(u), D(u)) d\nu(u) + \alpha \Pi_{F_\theta}$
Où le premier terme assure la cohérence avec les données observées, et $\Pi_{F_\theta}$ représente les contraintes telles que les priors pré-entraînés ou les régularisations de lissage. En optimisant cette perte partagée lors du test, le NDF effectue l'inpainting dans les régions manquantes tout en reconstruisant et en affinant simultanément les régions observées.

Détails d'implémentation

Modèle de base : Le NDF est instancié à l'aide d'InfiniDepth, un estimateur de profondeur monoculaire de pointe.
Optimisation : Le modèle subit une optimisation au moment du test sur des scènes spécifiques (par exemple, des fenêtres satellites ou des cadres d'intérieur).
Augmentations : Le cadre emploie une augmentation par transfert de masque (transfert aléatoire de masques invalides entre les fenêtres) et des pertes de chevauchement de fenêtres pour imposer la cohérence à travers les fenêtres glissantes.
Spécificités de l'intérieur : Pour les scans d'intérieur, une perte de normale de surface est ajoutée pour s'aligner avec un modèle enseignant, atténuant ainsi le bruit provenant des artefacts de scan.

3. Contributions clés

Formulation Unifiée : Ce papier est le premier à formuler systématiquement les estimateurs de profondeur comme des champs neuraux implicites, unifiant l'inpainting et la reconstruction de scènes 3D en un processus unique d'optimisation au moment du test.
Mécanisme à Double Rôle : Il démontre que traiter un estimateur de profondeur à la fois comme un prédicteur et comme un champ implicite permet une adaptation de domaine et une cohérence géométrique simultanées.
Pipeline Évolutif : Les auteurs fournissent un pipeline évolutif pour l'inpainting et la génération de données de scènes de haute fidélité, incluant des jeux de données traités avec une géométrie complétée pour soutenir les recherches futures.

4. Résultats expérimentaux

La méthode a été évaluée sur deux ensembles de données distincts : Birmingham (imagerie satellite à l'échelle d'une ville) et ScanNet (scans 3D d'intérieur).

Performance Quantitative

Imagerie Satellite (Birmingham) :
- Précision de l'Inpainting : Le NDF a amélioré la précision de la profondeur métrique de l'inpainting de 23,1 % et la précision de la profondeur relative de 9,2 % par rapport à la ligne de base InfiniDepth.
- Cohérence : Il a réduit l'incohérence entre les vues (Overlap MAE) de 63,3 % et amélioré la précision de régression sur les régions observées (Observed MAE) de 55,4 %.
Scans d'Intérieur (ScanNet) :
- Précision de l'Inpainting : A obtenu une réduction de 13,2 % de l'AbsRel pour la profondeur métrique et un gain de 17,4 % pour la profondeur relative dans les régions non observées.
- Cohérence : A réduit l'Overlap MAE de 32,5 % (métrique) et de 60,3 % (relative), surpassant de manière significative les méthodes qui traitent la prédiction et la reconstruction séparément.

Performance Qualitative

Les comparaisons visuelles montrent que le NDF réussit à récupérer des structures fines (par exemple, des lampadaires dans les images satellites, des fils fins dans les scans d'intérieur) et maintient des échelles métriques plausibles. Contrairement aux prédicteurs standards qui hallucinent des structures ou produisent des reconstructions floues, le NDF préserve la cohérence géométrique locale et la cohérence globale entre les vues, fusionnant de manière fluide les régions inpainters avec la géométrie observée.

5. Signification et Revendications

Le papier affirme que le NDF représente un changement significatif dans la manière dont les estimateurs de profondeur sont utilisés pour la reconstruction 3D. En passant d'un paradigme de "prédiction en une seule étape" (one-shot prediction) à un paradigme d'"optimisation au moment du test", le NDF résout le compromis fondamental entre l'utilisation des priors pré-entraînés et le maintien de la cohérence spécifique à la scène.

Les auteurs soulignent que leur approche :

Résout le problème d'incohérence sans nécessiter d'optimisation complexe de la géométrie multi-vues à partir de zéro.
Gère les données hors distribution (comme l'imagerie satellite) en adaptant le prior à la scène spécifique pendant l'inférence.
Atteint des performances de pointe tant en précision qu'en cohérence globale à travers divers types de scènes.

Limites et Travaux Futurs :
Les auteurs reconnaissent modestement que le NDF nécessite actuellement une optimisation par scène (prenant de quelques minutes à une heure), ce ce qui limite l'application en temps réel. Ils suggèrent que l'amortissement de ce coût via le méta-apprentissage ou l'adaptation efficace des paramètres est une étape naturelle suivante. De plus, la formulation actuelle cible les scènes statiques ; l'extension de la méthode aux scènes dynamiques et à des représentations plus riches (comme le Gaussian Splatting) est identifiée comme un travail futur.