Résumé Technique : ReCal3R – Taux d'apprentissage calibrés par la fiabilité pour la reconstruction 3D en flux continu

1. Énoncé du Problème

La reconstruction 3D en flux continu vise à traiter des flux d'images illimités en temps réel avec une complexité temporelle linéaire et une mémoire bornée. Cela est généralement réalisé à l'aide de modèles récurrents qui maintiennent un état de scène latent compact, mis à jour à mesure que de nouvelles images arrivent. Bien que des méthodes récentes comme CUT3R parviennent à compresser l'historique dans un état borné, elles font face à une limitation critique sur les séquences longues : la corruption de l'état.

Des mises à jour répétées peuvent progressivement dégrader l'état compact, faisant en sorte que des informations historiques fiables soient écrasées par des observations bruitées, ambiguës ou redondantes. Les règles de mise à jour adaptatives existantes (par exemple, TTT3R) modulent principalement la force de la mise à jour en fonction de l'alignement entre l'observation actuelle et l'état maintenu. Cependant, elles ne parviennent pas à diagnostiquer explicitement si les tokens d'état mis à jour restent des vecteurs fiables de la géométrie historique. Un token d'état qui a été modifié de manière répétée ou qui est lié de façon ambiguë à l'image actuelle peut dériver vers des régions non fiables de l'espace latent ; appliquer une mise à jour agressive à ces tokens amplifie davantage les erreurs.

2. Méthodologie : ReCal3R

ReCal3R introduit un mécanisme de taux d'apprentissage calibré par la fiabilité qui fonctionne comme une modification sans entraînement des architectures récurrentes existantes (spécifiquement démontrée sur CUT3R). La méthode sépare l'estimation de la force de mise à jour candidate de la décision de la manière d'appliquer cette force de façon agressive, en se basant sur l'estimation de la fiabilité des tokens d'état.

Le processus de mise à jour suit une logique en deux étapes :

A. Estimation de la fiabilité des tokens d'état

Avant d'appliquer une mise à jour, ReCal3R estime un score de fiabilité ($R_t$) pour chaque token d'état. Ce score est dérivé de deux indices :

1. Déviation de l'état : La déviation accumulée du token d'état actuel par rapport à son initialisation apprise ($\|S_{t-1} - S_0\|$). De grandes déviations suggèrent que le token a été fortement modifié et peut être instable.
2. Entropie de l'attention : L'ambiguïté de la relation du token avec l'image actuelle, mesurée par l'entropie de Shannon normalisée de la distribution d'attention. Une attention diffuse indique une association ambiguë ou faible avec l'observation actuelle.

Ces indices sont combinés via une fonction de regroupement basée sur l'accord et une étape de calibration de la confiance. Le score de fiabilité résultant $R_t \in [0, 1]$ est élevé uniquement lorsqu'un token est à la fois stable (faible déviation) et clairement associé à l'observation actuelle (faible entropie).

B. Construction du taux d'apprentissage non calibré

ReCal3R construit un vecteur de taux d'apprentissage candidat (non calibré) ($\tilde{\beta}_t$) qui reflète le besoin potentiel d'une mise à jour. Ce taux est le produit élément par élément de trois facteurs :

1. Alignement des tokens : Hérité de TTT3R, mesurant l'alignement entre les tokens d'état et d'image.
2. Résidu de reconstruction de l'état : Un score indiquant la quantité de nouveau contenu que l'image actuelle apporte et qui n'est pas expliquée par l'état accumulé. Des résidus élevés augmentent le taux d'apprentissage.
3. Pression de mise à jour récente : Une moyenne mobile exponentielle des portes d'alignement récentes. Une pression élevée supprime les tokens qui ont été mis à jour fréquemment dans les images récentes afin d'éviter l'écrasement.

C. Mise à jour calibrée par la fiabilité

Le taux d'apprentissage final ($\beta_t$) est calculé en interpolant entre un taux de base conservateur ($\beta_{base}$) et le taux candidat non calibré ($\tilde{\beta}_t$), pondéré par le score de fiabilité ($R_t$) :

$$\beta_t = (1 - R_t)\beta_{base} + R_t \odot \tilde{\beta}_t$$

• Tokens fiables ($R_t \approx 1$) : La mise à jour suit le taux candidat agressif, permettant l'adaptation aux images informatives.
• Tokens non fiables ($R_t \approx 0$) : La mise à jour revient au taux de base conservateur, protégeant la géométrie historique d'une corruption par des observations bruitées ou ambiguës.

3. Contributions Clés

1. Identification d'un écart de fiabilité : L'article révèle que les mises à jour adaptatives existantes se concentrent sur l'observation entrante mais négligent la fiabilité du token d'état recevant la mise à jour. Cet oubli entraîne une accumulation d'erreurs dans les flux longs.
2. Algorithme ReCal3R : Une méthode de calibration du taux d'apprentissage en circuit fermé et sans entraînement. Elle construit un taux candidat basé sur l'alignement, les résidus de reconstruction et la pression de mise à jour, puis le calibre en utilisant la fiabilité du token d'état dérivée de la déviation et de l'entropie de l'attention.
3. Performance sur les flux longs : La méthode améliore significativement la stabilité de la pose, de la profondeur et de la qualité de la reconstruction sur des séquences longues sans modifier l'architecture récurrente sous-jacente ni augmenter les coûts de mémoire ou de temps d'exécution.

4. Résultats Expérimentaux

Les auteurs ont évalué ReCal3R sur les jeux de données ScanNet, TUM-Dynamics, 7-Scenes, NRGBD et Bonn, en le comparant à CUT3R, TTT3R, MeMix et TTSA3R.

• Estimation de la pose de la caméra : Sur des séquences ScanNet de 1 000 images, ReCal3R a réduit l'erreur de trajectoire absolue (ATE) de 3,7× par rapport à CUT3R. Il a maintenu des trajectoires stables là où les modèles de référence accumulaient une dérive significative.
• Reconstruction 3D : Sur 7-Scenes et NRGBD, ReCal3R a obtenu la meilleure précision, complétude et cohérence des normales à travers des longueurs de flux croissantes (jusqu'à 700 images). Les résultats qualitatifs montrent moins de distorsions structurelles et des détails de surface mieux préservés par rapport aux modèles de référence.
• Estimation de la profondeur vidéo : ReCal3R a obtenu l'erreur relative absolue (Abs Rel) la plus faible sur Bonn et TUM-Dynamics, démontant une stabilité temporelle supérieure à mesure que la longueur du flux augmente.
• Études d'ablation : La suppression de la construction du taux d'apprentissage non calibré ou de l'étape de calibration de la fiabilité a entraîné une dégradation des performances, confirmant que la construction d'un taux candidat informatif et le diagnostic de fiabilité sont tous deux nécessaires pour un résultat optimal.

5. Signification et Revendications

L'article affirme que ReCal3R fait progresser la reconstruction 3D en flux continu en abordant le défi fondamental du maintien d'un état fiable au fil du temps. En séparant la force de mise à jour "suggérée" de la force de mise à jour "sûre", la méthode empêche la dégradation de l'état de la scène latente.

Les auteurs soulignent que ReCal3R :

• Ne nécessite aucun entraînement et peut être appliqué directement à des modèles existants comme CUT3R.
• Préserve les propriétés de temps linéaire et de mémoire bornée de la reconstruction récurrente.
• Offre une solution robuste pour les agents incarnés et les systèmes de RA/RV qui doivent opérer sur des flux d'images illimités et en temps réel.

L'article reconnaît une limite modeste : la nature conservatrice des mises à jour peut occasionnellement réduire certains détails fins au niveau de l'image en échange d'une meilleure cohérence à long terme. Des travaux futurs sont suggérés pour étendre cette approche de calibration de la fiabilité à d'autres modèles de reconstruction 3D en flux au-delà des états récurrents compacts.