MERG3R: A Divide-and-Conquer Approach to Large-Scale Neural Visual Geometry

MERG3R est un cadre d'apprentissage sans entraînement basé sur une approche diviser-pour-régnier qui permet aux modèles de géométrie visuelle neuronale de reconstruire des collections d'images à grande échelle en surmontant les limites de mémoire GPU grâce à la partition, la reconstruction locale et l'alignement global.

L'essentiel

🌍 Le Problème : Le "Trop-plein" de la Mémoire

Imaginez que vous êtes un architecte chargé de reconstruire une ville entière en 3D, uniquement à partir de milliers de photos prises au hasard par des touristes.

Les nouvelles technologies d'intelligence artificielle (comme les modèles "VGGT" ou "Pi3") sont incroyables pour faire ce travail. Elles peuvent voir une photo et deviner instantanément où se trouvait l'appareil photo et à quoi ressemble l'objet en 3D.

Mais il y a un gros problème : Ces modèles sont comme des camions de déménagement géants mais très lourds.

• Si vous essayez de charger 1 000 photos d'un coup dans ce camion, il explose littéralement (la mémoire de la carte graphique sature).
• Les méthodes actuelles doivent soit choisir de ne traiter que quelques photos (ce qui donne un résultat incomplet), soit s'arrêter en plein travail parce qu'elles n'ont plus de place.

C'est comme essayer de lire un livre de 1 000 pages d'un seul coup sans tourner de page : votre cerveau (la mémoire) ne peut pas tout retenir en même temps.

---

🧩 La Solution : MERG3R (Le Stratège Diviseur)

L'équipe derrière MERG3R a eu une idée brillante : au lieu d'essayer de tout faire d'un coup, pourquoi ne pas diviser pour régner ?

Imaginez que vous devez assembler un puzzle de 10 000 pièces. Au lieu de tout étaler sur une table trop petite, vous décidez de :

1. Diviser le puzzle en plusieurs petits tas de 100 pièces.
2. Assembler chaque petit tas séparément.
3. Recoller les tas entre eux pour former le grand tableau final.

MERG3R fait exactement cela, mais avec des photos et des maths.

Étape 1 : Le Tri Intelligent (La "Pseudo-Vidéo")

Les photos arrivent dans le désordre (comme un sac de pièces mélangées). MERG3R commence par les ranger intelligemment.

• Il regarde les photos et dit : "Celle-ci ressemble beaucoup à celle-là, mettons-les ensemble."
• Il crée une séquence logique (comme une vidéo imaginaire) pour s'assurer que chaque petit groupe de photos montre l'objet sous différents angles, mais sans être trop différent d'un groupe à l'autre.

Étape 2 : Le Travail en Équipes (Le "Diviser")

Au lieu de faire travailler un seul super-cerveau sur tout le tas, MERG3R crée plusieurs équipes de travail (des "clusters").

• Chaque équipe reçoit un petit groupe de photos (par exemple, 100 photos).
• Comme le groupe est petit, le modèle d'IA peut le traiter facilement sans exploser la mémoire.
• Chaque équipe reconstruit sa propre petite partie de la ville en 3D.

Étape 3 : La Réunion et le Collage (Le "Conquérir")

C'est ici que la magie opère. Maintenant que chaque équipe a fini son petit morceau, il faut tout assembler.

• MERG3R utilise des points de repère communs (comme des points de colle) pour aligner les différents morceaux.
• Il vérifie que les murs des bâtiments s'alignent bien entre les différents groupes.
• Il effectue un ajustement global (un "réglage fin") pour s'assurer que tout est parfaitement lisse et cohérent, comme un chef d'orchestre qui harmonise les musiciens.

---

🚀 Pourquoi c'est génial ? (Les Résultats)

Grâce à cette astuce, MERG3R change la donne :

1. La Mémoire est Stable : Peu importe si vous avez 100 ou 1 000 photos, MERG3R n'utilise jamais beaucoup plus de mémoire. C'est comme si votre camion de déménagement pouvait transporter une ville entière en faisant plusieurs petits trajets au lieu d'un seul gros.
2. La Vitesse : Comme les équipes travaillent en parallèle, c'est beaucoup plus rapide. Là où les anciennes méthodes prenaient plus de 20 minutes (ou échouaient), MERG3R le fait en 8 minutes et demie.
3. La Qualité : Le résultat final est aussi précis, voire plus précis, que si on avait pu tout traiter d'un coup. Les détails sont nets, et la géométrie est correcte.

🎯 En Résumé

MERG3R est comme un chef d'orchestre très organisé qui sait qu'un seul musicien ne peut pas jouer toute une symphonie d'un coup. Alors, il divise la partition en sections, laisse chaque section être jouée par un petit groupe, et ensuite il assemble le tout pour créer une œuvre magnifique, sans jamais saturer la salle de concert.

Cela permet de reconstruire des villes entières, des monuments complexes ou des paysages immenses en 3D, même avec des ordinateurs standards, rendant la technologie accessible à tous.

Résumé technique

Titre

MERG3R : Une approche diviser-pour-régner pour la géométrie visuelle neuronale à grande échelle

1. Problématique

Les récents modèles de géométrie visuelle neuronale, basés sur des architectures de transformateurs (comme VGGT, Pi3, Mast3R), ont démontré une précision exceptionnelle pour la reconstruction 3D à partir d'images. Cependant, ils souffrent d'une limitation fondamentale : l'évolutivité (scalabilité) limitée par la mémoire GPU.

• Goulot d'étranglement mémoire : Ces modèles monolithiques utilisent un mécanisme d'attention complète (full attention) où le coût computationnel et mémoire croît de manière quadratique ($O(N^2)$) par rapport au nombre d'images $N$.
• Conséquence : Ils ne peuvent traiter que des ensembles d'images relativement petits. Dès que le nombre d'images dépasse la capacité de la mémoire VRAM (par exemple, plus de quelques centaines d'images), le modèle échoue (Out Of Memory - OOM).
• Limites des solutions existantes : Les approches tentant de contourner ce problème (comme le découpage de séquences ou la fusion de tokens) dégradent souvent la précision géométrique, nécessitent des images ordonnées (vidéos), ou ne résolvent pas complètement le problème de la mémoire pour des collections non ordonnées massives.

Objectif : Développer un pipeline capable de reconstruire des scènes à partir de milliers d'images non ordonnées, en dépassant les limites de mémoire natives des modèles de base, sans sacrifier la précision géométrique globale.

2. Méthodologie

MERG3R propose un cadre sans entraînement (training-free) basé sur une stratégie diviser-pour-régner. Il est agnostique au modèle et peut être couplé à n'importe quel modèle de fondation géométrique pré-entraîné (ex: VGGT, Pi3). Le pipeline se déroule en quatre étapes principales :

A. Ordre et Partitionnement de l'ensemble d'images

Pour traiter un ensemble d'images non ordonnées ($N$ images) :

1. Création d'un "Pseudo-Vidéo" : L'algorithme calcule une matrice de similarité visuelle dense (basée sur DINO) entre toutes les paires d'images. Il cherche ensuite un chemin de Hamiltonien approximatif qui maximise la continuité visuelle entre les images consécutives, transformant ainsi l'ensemble désordonné en une séquence ordonnée.
2. Échantillonnage entrelacé (Interleaved Sampling) : La séquence ordonnée est réorganisée de manière cyclique pour créer $K$ sous-ensembles. Cette étape est cruciale pour éviter que chaque sous-ensemble ne contienne des vues trop similaires (séquentielles), garantissant ainsi une diversité de points de vue nécessaire à une reconstruction locale robuste.
3. Fenêtrage glissant : La séquence est divisée en sous-ensembles chevauchants (clusters) de taille fixe $T$, avec un chevauchement $O$ entre les clusters adjacents. Cela permet de traiter chaque cluster indépendamment dans la mémoire GPU.

B. Reconstruction Locale

Chaque sous-ensemble (cluster) est traité indépendamment par le modèle de fondation géométrique choisi.

• Le modèle prédit les paramètres de la caméra (intrinsèques, extrinsèques), les cartes de profondeur denses et les scores de confiance pour chaque image du cluster.
• Gain de complexité : Au lieu d'une complexité $O(N^2)$, la complexité devient $O(K \cdot T^2)$, ce qui réduit drastiquement l'usage mémoire et permet un traitement parallèle sur plusieurs GPU.

C. Alignement des Clusters

Une fois les reconstructions locales obtenues, elles doivent être alignées dans un cadre de référence global :

• Pour chaque paire de clusters chevauchants, l'algorithme identifie les points 3D correspondants.
• Il filtre les points à faible confiance.
• Il résout un problème d'optimisation pour trouver la transformation de similarité ($Sim(3)$) qui minimise l'erreur de reprojection robuste (utilisant la fonction de perte de Huber) via une méthode des moindres carrés itératifs pondérés (IRLS).

D. Suivi (Tracking) et Ajustement Global (Bundle Adjustment)

Pour assurer une cohérence globale stricte :

1. Construction de pistes multi-vues : Au lieu d'appariements binaires coûteux, MERG3R construit un graphe $k$-NN basé sur la similarité visuelle. Il utilise LightGlue pour l'appariement de caractéristiques, puis effectue un filtrage géométrique (reprojection 3D) pour éliminer les correspondances erronées.
2. Ajustement Global (Global Bundle Adjustment - BA) : Une étape d'optimisation basée sur le gradient est appliquée sur l'ensemble des pistes multi-vues. Elle optimise conjointement les paramètres internes/externes des caméras et la position des points 3D, en pondérant les erreurs par les scores de confiance. Contrairement aux méthodes précédentes qui optimisent par paires d'images, cette approche globale assure une cohérence sur l'ensemble de la scène.

3. Contributions Clés

1. Pipeline sans entraînement : Permet aux modèles géométriques modernes de fonctionner sur des collections d'images massives bien au-delà de leurs limites mémoire natives.
2. Stratégie de partitionnement innovante : Démontre que la manière dont les images sont regroupées (via l'entrelacement et le chevauchement) est critique pour la réussite de la reconstruction locale et de l'alignement global.
3. Efficacité et Précision : Le cadre est agnostique au modèle et permet une parallélisation sur plusieurs GPU, réduisant considérablement le temps d'exécution et la consommation mémoire tout en maintenant, voire en améliorant, la précision par rapport aux modèles de base.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données standards : 7-Scenes, NRGBD, Tanks & Temples, et Cambridge Landmarks.

• Évolutivité (Scalability) :
  • MERG3R réussit à reconstruire des scènes avec 1 000 images (et plus) là où les modèles de base (VGGT, Pi3) échouent par manque de mémoire (OOM).
  • La consommation mémoire reste stable (autour de 20 Go pour 1000 images) quelle que soit la taille de l'entrée, contrairement aux modèles monolithiques qui explosent en mémoire.
• Précision de la pose caméra :
  • Sur 7-Scenes (1000 images), MERG3R+Pi3 atteint une précision supérieure (RRA@30 de 97.69%, RTA@30 de 83.63%) par rapport aux autres méthodes, y compris VGGT-Long.
  • Sur les scènes extérieures difficiles (Cambridge Landmarks), MERG3R montre une robustesse supérieure aux méthodes traditionnelles (COLMAP/GLOMAP) et aux approches neuronales existantes.
• Qualité du Nuage de Points :
  • Les reconstructions conservent des détails fins et une complétude élevée, même avec un grand nombre d'images, là où les méthodes concurrentes (CUT3R, TTT3R) dégradent rapidement leur performance.
• Temps d'exécution :
  • Le traitement de 1000 images prend environ 8,5 minutes avec MERG3R (contre >20 min et OOM pour les baselines), avec une consommation mémoire réduite de plus de 64 Go à ~20 Go.

5. Signification et Impact

MERG3R comble un fossé critique entre la puissance des modèles de géométrie neuronale modernes et les contraintes matérielles réelles.

• Accessibilité : Il permet d'utiliser des modèles de pointe sur du matériel grand public ou des serveurs avec une mémoire GPU limitée.
• Applications réelles : Il ouvre la voie à la modélisation 3D à l'échelle urbaine, à la préservation du patrimoine culturel et à la réalité augmentée/virtuelle à partir de collections d'images massives et non structurées (photos de touristes, drones, etc.).
• Synergie : Il démontre que l'intégration de techniques d'optimisation géométrique classiques (comme l'ajustement de faisceau global) avec des modèles neuronaux permet de dépasser les limitations des approches purement "end-to-end".

En résumé, MERG3R transforme la reconstruction 3D neuronale d'une tâche limitée à de petits ensembles de données en une solution scalable et robuste pour le monde réel.