💻 computer science

GHOST: Geometry-Hierarchical Online Streaming Token Eviction for Efficient 3D Reconstruction

GHOST est un cadre sans entraînement et conscient de la géométrie pour la reconstruction 3D efficace à partir de longues vidéos monoculaires, qui utilise un score d'importance hiérarchique, une protection des tokens spéciaux et une allocation de budget par couche pour évincer en ligne les tokens redondants, réduisant ainsi considérablement l'utilisation de la mémoire et accélérant l'inférence sans compromettre la qualité de la reconstruction.

Auteurs originaux : Leyang Chen, Junyi Wu, Zhiteng Li, Yulun Zhang

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leyang Chen, Junyi Wu, Zhiteng Li, Yulun Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un modèle 3D parfait d'une pièce en vous y promenant avec une caméra, en prenant une photo à chaque pas. Pour ce faire, votre cerveau informatique (une IA) doit se souvenir de chaque photo qu'il a jamais prise pour comprendre comment les murs, les meubles et les coins s'articulent.

Le problème ? Si vous marchez longtemps, l'ordinateur manque de mémoire. C'est comme essayer de porter un sac à dos qui devient plus lourd à chaque pas jusqu'à ce que vous vous effondriez.

L'Ancienne Méthode : Le "Bibliothécaire Oublieux"
Les méthodes précédentes tentaient de résoudre ce problème en agissant comme un bibliothécaire qui ne conserve que les livres les plus récents ou ceux qui ressemblent le plus au livre actuellement lu.

Le Défaut : L'article soutient qu'il s'agit d'une mauvaise stratégie pour la 3D. Le fait qu'une photo ressemble à la photo actuelle ne signifie pas qu'elle est utile. Vous pourriez avoir besoin d'une photo d'un mur prise il y a 10 minutes parce que l'angle de la caméra a légèrement changé, même si le mur semble identique. Les anciennes méthodes jetaient ces photos "géométriquement précieuses" parce qu'elles ne semblaient pas assez excitantes à ce moment précis.

La Nouvelle Méthode : GHOST (L'"Architecte Intelligent")
Les auteurs présentent GHOST, un nouveau système qui agit comme un architecte intelligent. Au lieu de simplement regarder la similarité des photos, GHOST se demande : "Cette photo m'aide-t-elle à comprendre la forme de la pièce ?"

Voici comment GHOST fonctionne, en utilisant trois astuces simples :

1. Le Tableau de Score à Deux Niveaux (La "Grande Image" vs Les "Détails")

GHOST ne juge pas une photo dans son ensemble ; il l'évalue de deux manières :

Niveau 1 : Le Score du Point de Vue. La caméra s'est-elle déplacée vers un nouvel endroit ? La pièce est-elle remplie de coins et de bords intéressants en ce moment ? Si la caméra tourne simplement en rond dans un couloir vide, c'est ennuyeux (score faible). Si la caméra se déplace vers un nouvel angle montrant un escalier complexe, c'est de l'or (score élevé).
Niveau 2 : Le Score de la Zone. Même dans une excellente photo, certaines parties sont ennuyeuses (comme un mur blanc vide) et d'autres sont excitantes (comme le bord d'une table). GHOST conserve les parties "excitantes" et jette les parties "mur vide", même si la photo elle-même est importante.

Analogie : Imaginez que vous faites vos valises pour un voyage.

Ancienne Méthode : "Je garde les 5 derniers chemises que j'ai portées." (Peut-être étaient-elles toutes des t-shirts blancs identiques).
GHOST : "Je garde la chemise qui convient à la météo (Point de Vue) ET les poches spécifiques qui contiennent mon passeport (Détails), tout en jetant les poches vides."

2. Le Passe VIP (Protéger les "Jokers Spéciaux")

Dans le cerveau de l'IA, il existe des "jokers" (de minuscules morceaux de données) spéciaux qui agissent comme les coordonnées GPS et le plan de la pièce. Si vous les perdez, tout le modèle 3D s'effondre.

Le Problème : Parfois, ces jokers GPS semblent "ennuyeux" comparés à une photo flashy d'un jouet coloré, de sorte que l'ancien système pourrait accidentellement les supprimer pour économiser de l'espace.
La Correction GHOST : GHOST donne à ces jokers spéciaux un Passe VIP. Peu importe à quel point ils semblent "ennuyeux", ils ne sont jamais jetés. Ils sont protégés afin que l'IA ne perde jamais son sens de l'orientation ou la structure globale de la scène.

3. Le Budget Intelligent (Dépenser l'Argent là où il Compte)

L'ordinateur dispose d'une quantité limitée d'"argent mémoire" à dépenser pour chaque couche de son cerveau.

L'Ancienne Méthode : "Donnons à chaque couche du cerveau exactement la même quantité de mémoire."
La Correction GHOST : GHOST étudie les couches du cerveau au préalable. Il constate que certaines couches sont des "travailleurs acharnés" qui effectuent des transformations complexes (modifiant beaucoup les données), tandis que d'autres sont "paresseuses" et se contentent de répéter ce qu'on leur donne.
- GHOST donne plus de mémoire aux couches travailleuses afin qu'elles puissent conserver tous les détails importants.
- Il donne moins de mémoire aux couches paresseuses car elles n'ont pas besoin de autant pour faire leur travail.

Le Résultat

En utilisant ces trois astuces, GHOST peut traiter des séquences vidéo deux fois plus longues sans manquer de mémoire.

Il réduit l'utilisation de la mémoire de près de 50 %.
Il rend l'ordinateur 1,75 fois plus rapide.
Plus important encore, les modèles 3D qu'il construit sont plus précis et comportent moins d'erreurs que les meilleures méthodes précédentes, même lorsque la vidéo est très longue.

En bref, GHOST empêche l'IA de gaspiller de l'espace sur des données ennuyeuses et répétitives, et concentre sa mémoire limitée sur les parties de la vidéo qui l'aident réellement à comprendre le monde 3D.

Résumé Technique : GHOST (Éviction de Tokens en Flux Continu Hiérarchique Géométrique)

Énoncé du Problème

La reconstruction 3D en flux continu à partir de séquences vidéo monoculars longues fait face à un goulot d'étranglement critique en matière de mémoire. Les modèles basés sur les Transformers, tels que VGGT, obtiennent des résultats de pointe (SOTA) en effectuant une attention conjointe sur toutes les trames d'entrée ; cependant, cette attention conjointe évolue de manière quadratique avec la longueur de la séquence, la rendant irréalisable pour les vidéos longues. Les approches en flux continu comme StreamVGGT et InfiniteVGGT tentent de mitiger ce problème en maintenant un cache croissant de clés-valeurs (KV) et en évacuant des tokens lorsque le budget fixe est dépassé.

Les stratégies d'éviction existantes, en particulier celles reposant sur des heuristiques de similarité des clés (par exemple, rejeter les tokens dont les clés sont les moins similaires à la requête actuelle), souffrent d'une limitation fondamentale : les scores d'attention issus de la trame de requête actuelle ne reflètent pas fidèlement la valeur géométrique à long terme des tokens historiques. Comme démontré dans l'article, les scores de similarité des clés montrent une corrélation négligeable avec les changements de pose de la caméra ( $\rho = -0,07$ ) et une corrélation seulement modérée avec la variance du gradient de profondeur ( $\rho = +0,31$ ). Par conséquent, ces méthodes échouent à préserver les tokens qui sont géométriquement distinctifs mais visuellement similaires à la trame actuelle, entraînant une dégradation de la qualité de reconstruction dans les séquences longues.

Méthodologie

Les auteurs proposent GHOST (Éviction de Tokens en Flux Continu Hiérarchique Géométrique), un cadre sans entraînement conçu pour gérer les caches KV pour la reconstruction 3D en flux continu. GHOST exploite les propres sorties géométriques 3D du modèle (profondeur, cartes de points et poses de caméra) pour déterminer l'importance des tokens, plutôt que de se fier uniquement aux motifs d'attention.

1. Évaluation Hiérarchique de l'Importance à Deux Niveaux

GHOST décompose l'importance des tokens en deux niveaux mutuellement renforçants, mis à jour de manière incrémentielle en ligne sans passes avant supplémentaires :

Importance au Niveau Trame ( $s_{frame}$ ) : Détermine la valeur géométrique d'un point de vue entier. Elle intègre trois signaux :
- Changement de Pose de la Caméra : Pénalise la proximité translationnelle et la similarité rotationnelle pour s'assurer que les trames présentant des changements de point de vue significatifs sont conservées.
- Variance du Gradient de Profondeur : Priorise les trames riches en détails structurels (bords, limites) par rapport aux surfaces uniformes.
- Récence Temporelle : Attribue un poids plus élevé aux trames récentes pour maintenir un chevauchement contextuel, tout en préservant les trames plus anciennes ayant des points de vue uniques.
Importance au Niveau Token ( $s_{token}$ ) : Identifie des patches spécifiques informatifs au sein d'une trame. Elle agrège :
- Saillance Visuelle : Mesurée via la magnitude du gradient spatial des cartes de caractéristiques pour ancrer la correspondance géométrique.
- Confiance en Profondeur : La certitude épistémique du modèle concernant les estimations de profondeur.
- Confiance en Points : La certitude du modèle concernant les estimations de cartes de points 3D.

Le score final par patch $\phi(t, p)$ est une somme pondérée des scores normalisés au niveau trame et au niveau token.

2. Mécanisme de Privilège pour les Tokens Spéciaux

L'évaluation standard de l'importance peut classer les tokens spéciaux (tokens caméra $c_t$ et tokens d'enregistrement $\{r^i_t\}$ ) plus bas que les tokens de patches informatifs en raison de leur manque de saillance visuelle. GHOST introduit un boost déterministe pour ces tokens. En ajoutant un décalage fixe ( $\Delta_{boost}$ ) et un départage basé sur le rang, le mécanisme garantit que les tokens encodant la géométrie globale de la scène et les a priori structurels ne sont jamais évacués, empêchant ainsi la corruption de l'estimation de pose et de la globalisation de la scène.

3. Allocation de Budget par Couche Guidée par la Similarité Cosinus

Reconnaissant que les couches du Transformer varient dans leur « force de transformation », GHOST évite une distribution uniforme du budget.

Profilage Hors Ligne : Le système calcule la similarité cosinus moyenne ( $\bar{\rho}_\ell$ ) entre l'entrée et la sortie de chaque couche à travers des séquences représentatives.
Allocation : Les couches présentant une forte similarité (transformations quasi-identité) se voient allouer des budgets plus petits, tandis que les couches présentant une faible similarité (transformations fortes) reçoivent des budgets plus importants. Cela concentre le budget de tokens là où il est le plus nécessaire pour la préservation de la représentation.

Contributions Clés

Évaluation Sensible à la Géométrie : Un schéma d'évaluation novateur et sans entraînement qui utilise les propres sorties 3D du modèle (profondeur, points, pose) pour identifier les tokens géométriquement précieux, comblant le fossé entre les scores d'attention et la structure 3D.
Protection des Tokens Spéciaux : Un mécanisme déterministe garantissant la rétention des tokens caméra et d'enregistrement, protégeant les encodages de pose globale et de structure contre l'éviction.
Budgétisation Adaptative par Couche : Une stratégie de profilage hors ligne qui alloue les budgets de cache KV en fonction de la force de transformation par couche, optimisant le compromis entre l'utilisation de la mémoire et la fidélité de la reconstruction.
Évaluation Complète : Des expériences extensives démontrant que GHOST surpasse les bases de référence SOTA sur plusieurs benchmarks et longueurs d'entrée tout en réduisant considérablement l'empreinte mémoire.

Résultats Expérimentaux

Les auteurs ont évalué GHOST sur quatre benchmarks : Bonn, 7-Scenes, NRGBD et Long3D, à travers diverses longueurs d'entrée (jusqu'à 9 545 trames).

Performance : GHOST atteint systématiquement les meilleures performances sur presque toutes les métriques (Précision, Complétude, Cohérence des Normales et Abs Rel de Profondeur) par rapport aux bases de référence telles que VGGT, StreamVGGT, CUT3R, Point3R, TTT3R et InfiniteVGGT.
- Sur 7-Scenes (300 trames), GHOST a réduit l'erreur moyenne de précision de 42,5 % par rapport à InfiniteVGGT.
- Sur Long3D (jusqu'à 9 545 trames), GHOST a montré des gains significatifs, avec des améliorations de précision s'adaptant à la longueur de la séquence (par exemple, une amélioration de 33,5 % sur la scène Library).
Efficacité :
- Réduction de Mémoire : GHOST réduit la taille du cache KV de près de moitié (par exemple, 3,51 Go contre 6,94 Go avec un budget de 600k) tout en maintenant une précision compétitive.
- Vitesse d'Inférence : La méthode offre jusqu'à 1,75 fois une inférence plus rapide par rapport aux méthodes de pointe.
Études d'Ablation :
- La suppression du boost pour les tokens spéciaux a dégradé la précision et la cohérence des normales, confirmant le caractère critique de la protection des tokens structurels globaux.
- L'allocation de budget guidée par la similarité cosinus a surpassé l'allocation uniforme et d'autres stratégies de profilage (information de Fisher, magnitude du gradient).
- Le système a démontré une robustesse face aux perturbations des poids d'importance.

Importance

L'article affirme que GHOST adresse une limitation fondamentale dans la reconstruction 3D en flux continu actuelle : l'incapacité des heuristiques basées sur l'attention à distinguer entre les tokens historiquement redondants et ceux qui sont géométriquement précieux. En déplaçant le critère d'éviction des motifs d'attention vers des signaux de géométrie 3D, GHOST offre une approche plus rationnelle de la gestion des tokens. Le cadre permet une reconstruction 3D de haute qualité sur de longues séquences avec une surcharge mémoire considérablement réduite et une vitesse d'inférence améliorée, en faisant une solution viable pour des applications réelles nécessitant un traitement vidéo continu et illimité. Les auteurs soulignent que cette direction — exploiter les sorties du modèle pour la compression de cache KV dans les tâches 3D — n'a pas été explorée dans les travaux antérieurs.