RePer-360: Releasing Perspective Priors for 360$^\circ$ Depth Estimation via Self-Modulation

Le papier présente RePer-360, un cadre d'auto-modulation qui adapte efficacement les modèles de profondeur préentraînés sur des images en perspective au domaine panoramique en préservant leurs connaissances initiales, permettant ainsi d'obtenir des performances supérieures avec seulement 1 % des données d'entraînement.

L'essentiel

🌍 Le Problème : Le choc des mondes (Carré vs Rond)

Imaginez que vous avez un expert en architecture, un génie nommé DAM (Depth Anything Model), qui a passé des années à apprendre à estimer les distances dans des photos classiques (rectangulaires, comme celles de votre téléphone). Il est très fort pour ça.

Maintenant, vous lui donnez une photo 360° (une sphère complète, comme une vue à 360 degrés).

• Le problème : Une photo 360° est comme une orange que l'on a écrasée à plat. Les bords sont étirés, déformés, et la géométrie est bizarre.
• La réaction de l'expert : Quand on montre cette "orange écrasée" à notre expert habitué aux rectangles, il est perdu. Il essaie d'appliquer ses règles carrées sur un monde rond. Résultat : il fait des erreurs, il confond les murs et les plafonds, et il perd les détails.

Les méthodes actuelles pour corriger ça sont soit trop lourdes (il faut lui apprendre tout depuis zéro avec des milliers de photos 360°, ce qui est long et coûteux), soit elles essaient de "coller" ensemble plusieurs vues rectangulaires, ce qui crée des coutures moches et des artefacts.

💡 La Solution : RePer-360 (Le Guide Intérieur)

Les auteurs proposent une nouvelle approche appelée RePer-360. Au lieu de forcer l'expert à oublier ce qu'il sait ou de lui montrer des milliers de nouvelles photos, ils utilisent une astuce de "modulation intelligente".

Voici comment ça marche, avec une analogie culinaire :

1. Le Chef Cuisinier (Le Modèle Pré-entraîné)

Imaginez que notre expert est un Chef Cuisinier qui connaît par cœur la recette du "Gâteau Rectangulaire Parfait". Il ne veut pas changer ses ingrédients de base (ses connaissances), car ils sont excellents.

2. Le Problème du Four Rond

Vous voulez qu'il cuisine ce gâteau, mais dans un four sphérique (le monde 360°). Si vous lui donnez juste la recette, le gâteau va brûler ou s'écraser contre les parois courbes.

3. L'Assistant Bilingue (Le Module GAG)

Au lieu de changer la recette du Chef, vous engagez un Assistant Bilingue très intelligent.

• Cet assistant regarde la photo 360° sous deux angles différents :
  • L'angle "Plan" (ERP) : Il voit la déformation globale.
  • L'angle "Cubes" (CP) : Il découpe mentalement la photo en 6 faces de cube (comme un dé) pour voir les détails locaux sans déformation.
• L'Assistant compare ces deux vues et dit au Chef : "Attention Chef, ici, sur ce mur, la déformation est forte. Ne suis pas ta règle habituelle, ajuste légèrement ta main ici."

4. Le Bouton de Réglage Fin (SCAdaLN-Zero)

C'est le cœur de l'invention. Au lieu de donner de nouveaux ingrédients au Chef (ce qui changerait sa recette), l'Assistant lui donne un bouton de réglage fin.

• Ce bouton ne change pas ce que le Chef fait (il garde sa connaissance du gâteau).
• Il change comment il l'applique (l'échelle et le décalage).
• C'est comme si vous disiez au Chef : "Garde ta recette, mais ajuste légèrement la température ici et là, selon ce que je te dis."

Grâce à cela, le Chef peut cuisiner dans le four rond sans jamais oublier comment cuisiner dans le four carré. Il adapte sa technique sans perdre son expertise.

🚀 Pourquoi c'est génial ?

1. Économie de données (Le super-pouvoir) :
   Habituellement, pour apprendre à un modèle à gérer les photos 360°, il faut lui montrer 120 000 photos. RePer-360, lui, n'en a besoin que de 1 200 (soit 1% !). C'est comme si un élève apprenait à conduire en 1 heure au lieu de 100 heures, juste en ayant un bon coach.

2. Pas de "drift" (Pas de perte de mémoire) :
   Les autres méthodes forcent le modèle à apprendre de nouvelles choses, ce qui fait qu'il oublie parfois ce qu'il savait avant (comme un étudiant qui oublie son français en apprenant l'espagnol trop vite). RePer-360 préserve la mémoire du modèle tout en l'adaptant.

3. La cohérence géométrique :
   Le modèle utilise aussi une astuce mathématique (une "perte de cohérence") pour s'assurer que si le Chef regarde un mur sous un angle "cube", il voit la même chose que s'il le regarde sous un angle "sphère". C'est comme vérifier que le puzzle est bien assemblé de tous les côtés.

🏆 Le Résultat

En résumé, RePer-360 ne force pas le modèle à devenir un nouvel expert. Il lui donne simplement les bons outils pour adapter son expertise existante à un monde déformé.

• Avant : On cassait le modèle pour le reconstruire (lent, coûteux, imprécis).
• Aujourd'hui : On guide le modèle avec une boussole intelligente (rapide, efficace, précis).

Le résultat ? Des estimations de profondeur sur des photos 360° bien plus précises, avec beaucoup moins d'effort et de données, tout en gardant la beauté et la précision des modèles originaux. C'est comme donner des lunettes de réalité augmentée à un expert pour qu'il voie le monde 360° sans jamais avoir besoin de changer ses lunettes de vue habituelles.

Résumé technique

Titre : RePer-360 : Libération des priors de perspective pour l'estimation de profondeur 360° via l'auto-modulation

1. Problématique

Les modèles de fondation récents pour l'estimation de profondeur (tels que Depth Anything Models ou DAM), entraînés sur des images en perspective, obtiennent d'excellents résultats sur ce domaine. Cependant, leur généralisation aux images panoramiques (360°) est médiocre.

• Cause racine : Il existe une forte incohérence géométrique (ou "mismatch") entre les statistiques des images en perspective (sur lesquelles les modèles sont pré-entraînés) et les distorsions inhérentes aux projections panoramiques (comme la projection équatoriale ou ERP).
• Limites des solutions existantes :
  • Fusion de projections : Les méthodes qui divisent l'image 360° en plusieurs vues en perspective, effectuent une inférence, puis fusionnent les résultats, souffrent d'artefacts locaux, ne modélisent pas explicitement la géométrie sphérique globale et introduisent une latence élevée.
  • Fine-tuning complet : L'ajustement fin (fine-tuning) direct des modèles de perspective sur des données panoramiques nécessite d'énormes quantités de données 360° annotées. De plus, sans modélisation explicite des distorsions, cela risque d'écraser les "priors" (connaissances pré-entraînées) utiles, entraînant une dérive de représentation (representation drift) et une perte de généralisation.

2. Méthodologie : RePer-360

L'approche proposée, RePer-360, est un cadre d'adaptation de domaine "conscient de la distorsion" qui vise à adapter les modèles de fondation à la sphère sans écraser leurs connaissances pré-entraînées. Au lieu de fusionner explicitement les caractéristiques (features), le modèle utilise des signaux de guidage pour moduler le réseau existant.

Le pipeline se compose de trois modules clés :

A. Module de Guidage Aligné Géométriquement (GAG - Geometry-Aligned Guidance)

• Concept : Au lieu de fusionner les caractéristiques de deux projections (ERP et Cubemap/CP) en une seule représentation, le GAG utilise la projection Cubemap (CP) comme source de détails structuraux locaux (car elle est plus proche de la géométrie en perspective) et l'ERP pour le contexte global.
• Fonctionnement :
  1. Alignement statistique : Les caractéristiques CP sont alignées statistiquement (moyenne et écart-type) avec les caractéristiques ERP transformées dans l'espace cubemap (E2C) via une transformation affine sans paramètres.
  2. Porte adaptative : Un mécanisme de "gating" (porte) apprend à pondérer dynamiquement les caractéristiques alignées et les caractéristiques ERP originales pour créer un signal de guidage géométrique ($F_{GAG}$).
  3. Rôle : Ce signal ne remplace pas les caractéristiques du backbone, mais sert de conditionnement pour la modulation ultérieure.

B. Module d'Auto-Conditionnement AdaLN-Zero (SCAdaLN-Zero)

• Concept : C'est le cœur de l'adaptation. Plutôt que d'injecter des caractéristiques via des mécanismes d'attention croisée (qui peuvent déstabiliser l'entraînement), RePer-360 utilise le signal de guidage $F_{GAG}$ pour générer des paramètres de modulation (échelles et décalages) pour les couches de normalisation du modèle pré-entraîné.
• Mécanisme :
  • Le signal $F_{GAG}$ passe par un petit réseau léger (convolution séparable en profondeur) pour produire des paramètres de modulation ($\gamma, \beta$).
  • Ces paramètres sont injectés dans les couches LayerNorm du backbone (via un mécanisme AdaLN-Zero, initialisé à zéro pour assurer une stabilité au début de l'entraînement).
  • Cela permet une adaptation contrôlée : le modèle corrige les distorsions panoramiques en ajustant la distribution des caractéristiques sans altérer directement le contenu sémantique appris en perspective.

C. Perte de Cohérence E2C (E2C Consistency Loss)

• Problème : La projection ERP crée un déséquilibre : les régions polaires occupent beaucoup de pixels mais contiennent peu d'informations géométriques, tandis que l'équateur est dense.
• Solution : Une perte de cohérence est calculée dans le domaine du Cubemap. Les prédictions et les vérité terrain sont transformées de ERP vers Cubemap.
• Avantage : Le domaine Cubemap sépare naturellement les pôles et l'équateur en 6 faces planes, préservant la géométrie perspective sur chaque face. Cela force le modèle à apprendre une structure 3D cohérente et équilibrée, réduisant les biais induits par la distorsion sphérique.

3. Contributions Clés

1. Reformulation de l'adaptation : Passage d'une fusion de caractéristiques "dure" à une adaptation de domaine basée sur le guidage et la modulation, préservant ainsi les priors pré-entraînés.
2. Architecture RePer-360 : Introduction du module SCAdaLN-Zero qui permet une adaptation stable et précise en injectant des signaux géométriques internes directement dans les paramètres de normalisation.
3. Efficacité des données : La méthode démontre qu'il est possible d'adapter des modèles de fondation à la 360° avec une fraction infime des données d'entraînement nécessaires aux méthodes actuelles.

4. Résultats Expérimentaux

Les expériences ont été menées sur les ensembles de données Matterport3D et Stanford2D3D, ainsi que sur des tests de généralisation "zero-shot" (entraînement uniquement sur des données synthétiques).

• Efficacité des données (Data Efficiency) :
  • RePer-360 surpasse l'état de l'art (notamment PanDA-L) en utilisant seulement 1% des données d'entraînement (1k images contre 120k pour PanDA-L).
  • Malgré cette réduction drastique, il atteint des performances supérieures.
• Performance Quantitative :
  • Sur Matterport3D (entraînement in-domaine) : Amélioration de 17,3% sur l'erreur RMSE par rapport à PanDA-L.
  • Sur Stanford2D3D : Amélioration de 22,3% sur l'erreur RMSE.
  • En généralisation zero-shot (entraînement sur données synthétiques uniquement) : Amélioration de 42,3% sur l'Abs Rel par rapport à PanDA-L.
• Qualité Visuelle :
  • Contrairement à PanDA qui tend à interpréter les textures de murs comme des variations de profondeur ou à perdre les détails structurels, RePer-360 préserve fidèlement la géométrie de la scène, même sous de fortes distorsions.
  • L'analyse de la "dérive de représentation" montre que RePer-360 maintient une similarité élevée avec le backbone pré-entraîné (adaptation contrôlée), tandis que d'autres méthodes provoquent des changements de représentation instables.

5. Signification et Impact

Ce travail démontre que pour adapter des modèles de vision pré-entraînés à des domaines géométriquement différents (comme la 360°), il est préférable de moduler les connaissances existantes plutôt que de les réécrire ou de les fusionner brutalement.

• Principe général : L'adaptation par modulation de l'espace des paramètres (via la normalisation) est plus stable et efficace que la fusion explicite de caractéristiques ou le fine-tuning massif.
• Application : Cette approche ouvre la voie à l'utilisation de modèles de fondation puissants dans des applications VR/AR et de systèmes autonomes sans nécessiter d'énormes jeux de données 360° annotées, rendant le déploiement plus accessible et économe en ressources.

En résumé, RePer-360 résout le problème de la distorsion panoramique non pas en réinventant le modèle, mais en "libérant" et en guidant intelligemment les priors de perspective déjà appris par le modèle.