Any to Full: Prompting Depth Anything for Depth Completion in One Stage

Le papier présente Any2Full, un cadre de complétion de profondeur en une seule étape qui adapte un modèle d'estimation de profondeur monoculaire pré-entraîné via un encodeur d'invite sensible à l'échelle pour générer des prédictions denses et robustes à partir de mesures éparses, surpassant ainsi les méthodes existantes en précision et en efficacité.

L'essentiel

🌟 Le Problème : La Carte Trouée de l'Explorateur

Imaginez que vous êtes un robot explorateur dans un entrepôt géant. Votre mission est de naviguer et de saisir des objets. Pour cela, vous avez besoin d'une carte 3D précise de votre environnement (la profondeur).

Cependant, votre "œil" (un capteur de profondeur comme une caméra LiDAR ou ToF) a un défaut : il ne voit pas tout.

• Parfois, il manque des points (comme un filet de pêche avec des trous).
• Parfois, les objets noirs absorbent la lumière et deviennent invisibles pour le capteur.
• Parfois, la carte est floue ou incomplète.

C'est ce qu'on appelle un problème de complétion de profondeur : comment remplir les trous de la carte pour qu'elle soit parfaite et utilisable ?

🚫 L'Ancienne Méthode : Le Traducteur Confus

Jusqu'à présent, les chercheurs essayaient de résoudre ce problème avec une méthode en deux étapes (comme un jeu de "téléphone arabe" complexe) :

1. Étape 1 : Une première IA essaie de deviner à quoi ressemble la carte complète en se basant sur des exemples qu'elle a vus à l'école (entraînement).
2. Étape 2 : Une deuxième IA prend cette carte "brouillon" et essaie de la corriger pour qu'elle corresponde aux quelques points réels que le capteur a vus.

Le problème ? Cette méthode est lente et rigide. Si le robot change d'entrepôt (plus sombre, plus lumineux) ou si le type de capteur change, l'IA se trompe. C'est comme si un traducteur apprenait le français uniquement avec des livres de cuisine : il sera excellent pour les recettes, mais incapable de comprendre une conversation sur la météo. De plus, le "brouillon" de la première étape contient souvent des erreurs qui se propagent à la fin.

✨ La Solution Magique : Any2Full (Le "Prompteur" de Géométrie)

Les auteurs de ce papier, Any2Full, proposent une approche révolutionnaire en une seule étape. Ils ne réinventent pas la roue ; ils utilisent un génie existant.

L'Analogie du Chef Cuisinier et du Guide de Voyage

Imaginez un Chef Cuisinier de génie (le modèle MDE, ou Monocular Depth Estimation, comme "Depth Anything").

• Ce chef est un expert mondial. Il peut regarder une simple photo en 2D (une image RGB) et deviner la forme 3D de n'importe quel objet, n'importe où dans le monde, sans jamais avoir visité l'endroit. Il a une intuition géométrique parfaite.
• Mais il a un défaut : Il ne connaît pas l'échelle réelle. Il sait qu'une pomme est plus petite qu'une maison, mais il ne sait pas si la pomme fait 10 cm ou 10 mètres. C'est comme s'il dessinait une carte sans indication de distance.

Any2Full agit comme un Assistant de Cuisine très intelligent qui tient un guide de voyage (les données de profondeur éparses).

1. Le Prompt (L'Indice) : Au lieu de demander au Chef de redessiner toute la carte (ce qui prend du temps et crée des erreurs), l'Assistant lui donne un seul indice précis : "Hé Chef, regarde cette photo. Voici quelques points de repère réels : cette table est à 2 mètres, ce mur à 5 mètres."
2. L'Adaptation Instantanée : Le Chef utilise son intuition géométrique (qu'il a apprise sur des millions d'images) et ajuste immédiatement son dessin pour que les distances correspondent aux indices donnés.
3. Le Résultat : En une seule seconde, vous obtenez une carte 3D parfaite, précise et complète, sans avoir besoin de deux étapes ni de réapprendre à dessiner.

🔍 Comment ça marche techniquement (sans les maths) ?

L'innovation clé est un module appelé "Encodeur de Prompt Sensible à l'Échelle".

• Le Défi : Les données de profondeur sont souvent "sales" (des trous, des distributions irrégulières). Si on donne ces données brutes au Chef, il pourrait se tromper.
• La Solution : L'encodeur nettoie ces données. Il extrait uniquement l'information cruciale : "Où sont les distances relatives ?". Il transforme ces points épars en un message clair et universel (un "prompt") que le Chef peut comprendre, peu importe la forme des trous.
• La Magie : Ce message est injecté directement dans le cerveau du Chef (le modèle pré-entraîné) pour ajuster son échelle globale, tout en gardant ses super-pouvoirs de reconnaissance de formes.

🏆 Pourquoi c'est une révolution ?

1. C'est Universel (Domain-General) : Que vous soyez dans un entrepôt sombre, en plein soleil, ou avec un capteur différent, ça marche. Le Chef connaît déjà la géométrie du monde, il n'a juste besoin d'un petit rappel sur l'échelle.
2. C'est Rapide (One-Stage) : Pas de "brouillon", pas de correction. C'est direct. C'est 1,4 fois plus rapide que les méthodes précédentes les plus performantes.
3. C'est Robuste : Même si les données sont très abîmées (trous énormes, objets noirs), le système ne panique pas.

🤖 L'Application Réelle : Le Robot dans l'Entrepôt

Pour prouver que ce n'est pas juste de la théorie, les auteurs ont testé leur système dans un vrai entrepôt logistique (JD Logistics).

• Le problème : Les robots avaient du mal à saisir des paquets noirs. Les capteurs ne voyaient rien (la lumière était absorbée), donc les robots rataient leur prise ou écrasaient les colis.
• Le résultat : Avec Any2Full, le robot a pu "voir" à travers les trous et reconstruire la forme complète des paquets noirs.
• Le succès : Le taux de réussite des prises est passé de 28% à 91,6% ! Les robots ne cassent plus les colis et travaillent beaucoup plus vite.

En Résumé

Any2Full, c'est comme donner à un artiste virtuose (qui sait dessiner n'importe quoi) un simple crayon de repérage pour qu'il ajuste son dessin à la réalité, au lieu de lui demander de tout apprendre à nouveau. C'est plus rapide, plus intelligent, et ça fonctionne partout, même dans les situations les plus difficiles.

Résumé technique

1. Problématique

La perception robotique nécessite des estimations de profondeur denses et précises pour des tâches telles que la navigation et la manipulation. Cependant, les capteurs commerciaux (LiDAR, ToF, caméras structurées) produisent souvent des cartes de profondeur sparses (peu de points) ou incomplètes (zones manquantes dues à des réflexions, absorptions ou limitations de portée).

Les méthodes existantes de complétion de profondeur souffrent de deux limitations majeures :

• Spécificité de domaine et de motif : Les méthodes traditionnelles (fusion RGB-D) apprennent des priors conditionnés à la fois à la distribution des images RGB et à des motifs de profondeur spécifiques observés lors de l'entraînement. Elles échouent donc souvent lors de changements de domaine (lumière, texture) ou de motifs de profondeur (densité variable, zones manquantes irrégulières).
• Limitations des approches en deux étapes : Les méthodes récentes qui intègrent des modèles d'estimation de profondeur monoculaire (MDE) pour leurs priors géométriques généralistes utilisent souvent une stratégie en deux étapes : prédire une profondeur grossière, puis l'aligner explicitement avec les mesures métriques sparse. Cette approche introduit des distorsions structurelles, des artefacts et un surcoût computationnel, tout en perturbant les priors géométriques du modèle MDE.

2. Méthodologie : Any2Full

Les auteurs proposent Any2Full, un cadre de complétion de profondeur en une seule étape, généralisable à tous les domaines et agnostique aux motifs de profondeur.

Concept Central : L'Adaptation par "Scale Prompting"

Au lieu de prédire une profondeur métrique brute ou de faire un alignement explicite en deux étapes, Any2Full reformule la complétion de profondeur comme une adaptation par incitation (prompting) d'échelle d'un modèle MDE pré-entraîné (basé sur Depth Anything).

• L'idée est de guider le modèle MDE (qui prédit une profondeur relative) vers des prédictions cohérentes à l'échelle en injectant des indices d'échelle extraits des entrées de profondeur sparse.
• La profondeur métrique finale est obtenue par un ajustement aux moindres carrés non paramétrique (global) sur la profondeur relative prédite, évitant ainsi des modules d'alignement apprenables complexes.

Architecture Clé : Scale-Aware Prompt Encoder (SAPE)

Le cœur de la méthode est un encodeur de prompt léger conçu pour transformer des entrées de profondeur sparse et irrégulières en des "prompts d'échelle" unifiés. Il se compose de deux modules hiérarchiques :

1. Local Enrichment Module (Enrichissement Local) :

   • Il couple les indices d'échelle extraits des points de profondeur sparse avec les caractéristiques géométriques denses du modèle MDE.
   • Il utilise un mécanisme de modulation linéaire de fonctionnalité (FiLM) pour ancrer les indices d'échelle dans l'espace latent du MDE, créant des caractéristiques locales robustes aux variations de densité.

2. Global Propagation Module (Propagation Globale) :

   • Pour résoudre le problème des distributions spatiales irrégulières (zones manquantes), ce module propage les indices d'échelle à travers toute la scène.
   • Il utilise des blocs Transformer guidés par la géométrie du MDE. Contrairement à l'attention croisée standard, les poids d'attention sont calculés uniquement à partir des caractéristiques géométriques du MDE (Query et Key), tandis que les indices d'échelle servent de Value. Cela garantit que la propagation suit la structure géométrique de l'image RGB plutôt que les motifs d'échantillonnage erronés de la profondeur sparse.

3. Fusion de Prompt d'Échelle :

   • Les prompts générés sont injectés dans le décodeur du modèle MDE via une modulation FiLM hiérarchique, permettant une prédiction de profondeur relative cohérente à l'échelle en une seule passe.

3. Contributions Principales

• Cadre Any2Full : Une architecture en une seule étape qui évite la prédiction intermédiaire de profondeur grossière, réduisant ainsi les artefacts structurels et le coût computationnel.
• Encodeur SAPE : Conception d'un encodeur capable de distiller des indices d'échelle à partir de données sparse irrégulières pour guider un modèle MDE pré-entraîné, assurant une robustesse face aux variations de densité et de distribution spatiale.
• Généralisation : Démonstration d'une capacité de généralisation "zero-shot" exceptionnelle sur des domaines visuels et des motifs de profondeur jamais vus lors de l'entraînement.

4. Résultats Expérimentaux

Les expériences ont été menées sur six benchmarks publics (NYU-Depth V2, KITTI, iBims-1, etc.) et un jeu de données réel en entrepôt logistique.

• Performance Quantitative :
  • Any2Full surpasse l'état de l'art (SOTA), notamment OMNI-DC, avec une amélioration de 32,2 % en moyenne sur la métrique AbsREL (Erreur Relative Absolue).
  • Il obtient le meilleur classement moyen (2,3) sur tous les scénarios testés.
• Efficacité et Vitesse :
  • En utilisant le même backbone MDE (Depth Anything Large), Any2Full est 1,4 fois plus rapide que la méthode concurrente PriorDA (0,49s contre 0,68s par image).
  • La variante la plus petite (DA-S) est environ 7 fois plus rapide que PriorDA et 1000 fois plus rapide que les méthodes d'adaptation au temps d'inférence (TestPromptDC).
• Robustesse :
  • Motifs de profondeur : Contrairement aux méthodes qui surajustent aux motifs "Sparse", Any2Full maintient des performances élevées sur des motifs non vus comme "Range" (limites de portée) et "Hole" (zones manquantes continues).
  • Domaine : Excellente généralisation sur des environnements intérieurs/extérieurs et des capteurs variés sans ajustement spécifique.
• Application Réelle :
  • Déployé dans un entrepôt logistique pour la saisie de colis noirs (qui absorbent la lumière et créent des trous de profondeur), le système a augmenté le taux de réussite de la saisie de 28 % à 91,6 %, prouvant sa valeur pratique.

5. Signification et Impact

Ce travail établit un nouveau paradigme pour la complétion de profondeur universelle. En reformulant le problème comme une adaptation par "prompting" d'échelle plutôt que comme une fusion de données brute, les auteurs parviennent à :

1. Préserver les priors géométriques puissants des grands modèles MDE pré-entraînés.
2. Éliminer la complexité des pipelines à deux étapes et des alignements explicites.
3. Offrir une solution efficace et robuste pour des applications robotiques réelles où la latence et la fiabilité face à des conditions de capteurs variables sont critiques.

En résumé, Any2Full démontre qu'il est possible d'obtenir une complétion de profondeur métrique précise, rapide et généralisable en exploitant intelligemment la géométrie apprise par les modèles monoculaires, sans avoir besoin de réentraîner massivement ces modèles sur des données spécifiques à chaque capteur.