💻 computer science

TRACE-GS: On-Policy Trajectory Distillation with Privileged Geometric Conditioning for Sparse-View 3DGS Restoration

TRACE-GS introduit un cadre de distillation de trajectoire on-policy qui exploite un conditionnement géométrique privilégié pendant l'entraînement pour aligner les directions de débruitage et corriger les erreurs cumulatives dans la restauration de 3D Gaussian Splatting à vues éparses, atteignant une généralisation supérieure sans nécessiter de vues supplémentaires lors du déploiement.

Auteurs originaux : Linlian Jiang, Yuchen Xi, Sadman Rakib Pinon, Ruigang Yang, Yang Wang, Xinxin Zuo

Publié 2026-08-12

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Linlian Jiang, Yuchen Xi, Sadman Rakib Pinon, Ruigang Yang, Yang Wang, Xinxin Zuo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de construire un modèle 3D parfait d'une pièce, mais que vous ne disposez que de quelques photos floues prises sous certains angles. Dans le monde de la vision par ordinateur, c'est un casse-tête classique appelé « reconstruction 3D à vues éparses » (sparse-view 3D reconstruction). L'objectif est de combler toutes les pièces manquantes — les murs, les meubles, les ombres — afin que vous puissiez parcourir l'intérieur du modèle et le voir sous n'importe quel angle. Récemment, une technique appelée « 3D Gaussian Splatting » (3DGS) est devenue une star pour cette tâche car elle peut rendre ces scènes 3D incroyablement vite, presque comme un jeu vidéo. Cependant, lorsque vous ne disposez pas de suffisamment de photos, l'ordinateur s'embrouille. Il peut inventer des blocs de couleurs flottants, flouter les bords ou donner à la géométrie l'aspect de cire fondue. Pour corriger cela, les scientifiques ont commencé à utiliser des « modèles de diffusion », qui sont comme des artistes IA entraînés sur des millions d'images. Ces IA peuvent deviner ce à quoi les parties manquantes devraient ressembler, mais elles font souvent des erreurs lorsqu'elles doivent deviner étape par étape sans indices suffisants.

Entrez en scène TRACE-GS, une nouvelle méthode qui agit comme un coach expert entraînant un athlète étudiant. Les chercheurs ont réalisé que même si les modèles d'IA deviennent plus intelligents, ils commettent encore un type d'erreur spécifique : on leur apprend à deviner en se basant sur des instantanés aléatoires et isolés, alors qu'ils doivent ensuite accomplir un long voyage connecté pour créer l'image finale. C'est comme apprendre à un étudiant à résoudre un problème de mathématiques en regardant le corrigé de problèmes aléatoires et sans rapport, puis en attendant de lui qu'il résolve une longue chaîne d'équations sans aide. L'étudiant se perd en chemin. TRACE-GS résout cela en changeant complètement les règles de l'entraînement. Au lieu de simplement donner à l'étudiant des indices aléatoires, il utilise un enseignant « privilégié » qui a accès à un modèle 3D complet et de haute qualité pendant l'entraînement (car les données d'entraînement possèdent plus de photos que le problème du monde réel). Ce professeur guide l'étudiant sur le chemin exact qu'il empruntera lorsqu'il travaillera seul. Le résultat est un système capable de prendre quelques photos floues et de les transformer en une scène 3D nette et détaillée, même dans des situations difficiles où d'autres méthodes échouent.

Le Problème : Se perdre en chemin

Lorsque vous essayez de reconstruire une scène 3D à partir de seulement quelques photos (disons 3, 6 ou 9), l'ordinateur doit combler d'énormes lacunes. Les méthodes existantes tentent d'utiliser des modèles de « diffusion » d'IA pour deviner les détails manquants. Considérez cela comme un jeu de « téléphone arabe » où vous essayez de dessiner un tableau basé sur une description chuchotée. La plupart des méthodes d'IA actuelles sont entraînées en regardant l'image finale et en demandant : « À quoi cela ressemble-t-il si nous ajoutons du bruit ? ». Elles apprennent à supprimer ce bruit de manière isolée.

Mais voici le piège : lorsque l'IA essaie réellement de construire l'image dans le monde réel, elle ne part pas d'une page blanche pour sauter directement à l'arrivée. Elle effectue un long voyage étape par étape, faisant une supposition, puis utilisant cette supposition pour faire la suivante. Si la première supposition est légèrement erronée (ce qui est souvent le cas car les photos sont éparses), cette erreur est transmise dans la chaîne. L'étape suivante se construit sur une erreur, et la suivante se construit sur cette erreur. Au moment où l'IA termine, les erreurs se sont accumulées et l'image est déformée. L'article appelle cela un « décalage hors-politique » (off-policy mismatch). C'est comme un GPS qui aurait été entraîné sur des cartes parfaites mais qui essaie de naviguer dans une ville où les rues sont manquantes ; il recalcule sans cesse en fonction de données erronées, et vous finissez par tourner en rond.

La Solution : Le Coach Privilégié

Les auteurs de TRACE-GS ont réalisé que les données d'entraînement contiennent souvent plus de photos que le problème du monde réel. Pendant l'entraînement, ils ont accès à un ensemble de vues « denses » (beaucoup de photos), mais au moment du déploiement (lorsque l'utilisateur utilise réellement l'outil), ils n'ont que l'ensemble « épars » (peu de photos).

Ils ont créé un système avec deux personnages :

L'Étudiant : C'est le modèle qui sera utilisé dans le monde réel. Il ne voit que les quelques photos éparses.
Le Professeur : C'est une copie de l'étudiant, mais durant l'entraînement, il a accès à l'ensemble de photos denses et riches. C'est l'« information privilégiée ».

La magie opère dans la manière dont ils entraînent le système. Au lieu de simplement comparer les suppositions aléatoires de l'étudiant à une cible, les chercheurs laissent l'étudiant faire son propre voyage (son « rollout ») pour générer une image. À chaque étape de ce voyage, le Professeur — qui possède l'avantage de voir la géométrie complète et de haute qualité — intervient pour dire : « Non, ce n'est pas correct. Voici la bonne direction à prendre ensuite ».

Crucialement, le Professeur ne fait pas son propre voyage. Il regarde simplement où l'Étudiant se trouve en ce moment même et donne une correction. Cela garantit que l'Étudiant apprend à naviguer sur le chemin spécifique qu'il parcourra réellement, plutôt que d'apprendre simplement à corriger des erreurs isolées et aléatoires. C'est ce qu'on appelle la « distillation de trajectoire sur-politique » (on-policy trajectory distillation).

Les Résultats : Des détails plus nets, moins de fantômes

Les auteurs ont testé cette méthode sur divers ensembles de données, incluant des scènes réelles et synthétiques. Ils ont comparé TRACE-GS à d'autres méthodes de pointe comme Difix3D+, GenFusion et GSFixer.

Les résultats sont impressionnants. Lors de tests avec seulement 3 vues d'entrée (le scénario le plus difficile), TRACE-GS produit systématiquement de meilleures images que la concurrence. Par exemple, sur l'ensemble de données DL3DV-Benchmark, il a atteint un PSNR (un score mesurant la qualité de l'image) de 16,92 avec 3 vues, battant la méthode suivante la plus performante (GSFixer) qui a obtenu 16,21. À mesure que le nombre de vues augmente à 6 et 9, TRACE-GS continue de dominer ou de se partager la première place.

La différence visuelle est frappante. Dans les scènes présentant des surfaces réfléchissantes (comme une vitrine de magasin brillante) ou des textures complexes, les autres méthodes produisent souvent des blocs flous ou des « fantômes » (artefacts flottants). TRACE-GS, en revanche, parvient à restaurer des détails nets. Dans un exemple, alors que d'autres méthodes rendaient flou le texte sur un panneau ou les contours d'une chaise, TRACE-GS a conservé des bords nets et une structure logique.

Les chercheurs ont également mené des « études d'ablation » (des expériences où ils ont retiré des parties du système pour voir ce qui se passait). Ils ont découvert que :

La géométrie privilégiée est importante : Si le Professeur n'avait pas accès aux photos supplémentaires (la géométrie privilégiée), le système était moins performant que la ligne de base. Les vues supplémentaires étaient essentielles pour fournir la guidance correcte.
L'aspect « on-policy » est crucial : S'ils avaient entraîné le système en utilisant l'ancienne méthode « off-policy » (étapes aléatoires au lieu du chemin réel de l'étudiant), la qualité chutait. Cela a prouvé que corriger l'étudiant le long de son propre voyage est la clé du succès.

Pourquoi cela fonctionne

L'idée centrale est que l'« écart » entre ce que l'étudiant voit (vues éparses) et ce que le professeur voit (vues denses) est utilisé comme un outil d'enseignement. Le professeur sait à quoi la scène devrait ressembler car il possède plus d'informations. En guidant l'étudiant étape par étape sur son propre chemin, le professeur empêche les petites erreurs de se transformer en désastres majeurs.

Une fois l'entraînement terminé, le Professeur est écarté. L'Étudiant, désormais maître de son propre chemin, est déployé. Il prend les photos éparses, effectue son propre voyage de débruitage et produit une scène 3D de haute qualité qui peut être affinée davantage. L'article suggère que cette approche est une étape significative vers la restauration 3D à vues éparses, offrant un moyen d'obtenir des résultats de haute qualité sans nécessiter de configurations de caméras denses et coûteuses. Elle transforme un jeu de devinettes difficile et sujet aux erreurs en une visite guidée, garantissant que même avec des informations limitées, la destination finale est claire et nette.

Résumé Technique : TRACE-GS

Énoncé du Problème

La reconstruction par Gaussian Splatting 3D (3DGS) à vues éparses souffre d'un sous-déterminisme géométrique sévère lorsque le nombre d'images d'entrée est limité (par exemple, 3 à 9 images). Cela entraîne des artefacts tels que des "floaters" (objets flottants), une géométrie fragmentée et des textures floues. Bien que les approches récentes utilisent des modèles de diffusion pré-entraînés comme priors génératifs pour restaurer les rendus de nouvelles vues pour l'affinement du 3DGS, elles sont confrontées à un décalage fondamental entre entraînement et inférence :

Décalage d'état hors-politique (Off-Policy State Mismatch) : Les méthodes existantes supervisent le modèle sur des états indépendamment bruités par un processus de diffusion (forward-noised) dérivés de cibles propres. Cependant, lors de l'inférence, le modèle suit un déploiement séquentiel piloté par ses propres prédictions de débruitage. Par conséquent, le modèle rencontre des états auto-générés qui ne sont pas couverts par l'objectif d'entraînement.
Biais Géométrique Cumulatif : Dans les configurations à vues éparses, la géométrie initiale est sous-contrainte. Les artefacts lors des premières étapes de débruitage biaisent les directions suivantes, provoquant une accumulation de déviations tout au long du déploiement (rollout). La supervision hors-politique ne parvient pas à corriger ces déviations car elle ne supervise pas les états réellement visités lors de l'inférence.

Méthodologie : TRACE-GS

TRACE-GS (Distillation de Trajectoire On-Policy avec Conditionnement Géométrique Privilégié) aborde ces problèmes en formulant la restauration à vues éparses comme un problème d'Apprentissage Utilisant des Informations Privilégiées (LUPI - Learning Using Privileged Information). Le cadre utilise une architecture enseignant-élève où l'enseignant a accès à des informations géométriques "privilégiées" disponibles uniquement pendant l'entraînement.

1. Formulation LUPI Asymétrique de la Géométrie

Configuration : Pour une scène donnée, deux reconstructions 3DGS sont générées : une à partir des vues d'entrée éparses ( $V_s$ ) et une à partir de toutes les vues d'entraînement disponibles ( $V_d$ , où $V_s \subset V_d$ ).
Information Privilégiée : La reconstruction en vues denses ( $R_d$ ) fournit une géométrie plus riche et plus fiable et moins d'artefacts par rapport à la reconstruction en vues éparses ( $R_s$ ). Cet écart de fidélité géométrique constitue l'information privilégiée.
Architecture : Un unique squelette (backbone) de prédicteur de vélocité ( $v_\theta$ $v_{θ}$ ) est partagé entre un Enseignant et un Élève.
- Enseignant : Conditionné par les rendus de vues denses ( $R_d$ ). Il agit comme un guide privilégié.
- Élève : Conditionné par les rendus de vues éparses ( $R_s$ ). Il est le modèle déployable.
- Les deux partagent le même squelette gelé et des adaptateurs LoRA entraînables (initialisés de manière identique), ne différant que par leurs entrées de conditionnement.

2. Stratégie d'Entraînement

Le processus d'entraînement se compose de deux phases principales pour aligner l'élève avec l'enseignant privilégié :

Alignement de Direction Privilégiée (Warm-up) :
Sur des états échantillonnés indépendamment par bruitage direct, la prédiction de l'élève ( $v_S$ ) est alignée avec la prédiction de l'enseignant ( $v_T$ ). Cela réduit le biais de direction initial causé par l'écart de géométrie éparse.
$\mathcal{L}_{align} = \mathbb{E}[\|v_S - \text{sg}[v_T]\|_2^2]$
(où sg désigne le stop-gradient).
Distillation de Trajectoire On-Policy :
Contrairement aux méthodes précédentes, TRACE-GS supervise le modèle le long de la propre trajectoire de déploiement de l'élève ( $Z_S$ ).
- Déploiement de l'Élève : L'élève génère une trajectoire d'états ( $z^S_{t'}$ ) à partir du bruit, en utilisant ses propres prédictions.
- Requête de l'Enseignant : À chaque état visité par l'élève, l'enseignant gelé est interrogé en utilisant le même état et la géométrie dense privilégiée ( $R_d$ ) pour générer une vélocité cible ( $u^T_i$ ). L'enseignant ne réalise pas son propre déploiement.
- Perte de Trajectoire : Les prédictions de vélocité de l'élève sont alignées avec les cibles de l'enseignant à ces états visités :
  $\mathcal{L}_{traj} = \mathbb{E}\left[\frac{1}{N}\sum_{i=1}^N \|u^S_i - \text{sg}[u^T_i]\|_2^2\right]$
Alignement de Récupération On-Policy :
Pour s'assurer que l'élève utilise correctement les preuves inter-vues au-delà de la simple direction de la vélocité, le cadre aligne les réponses de récupération de l'attention croisée de l'élève et de l'enseignant aux états visités.
$\mathcal{L}_{ret} = \mathbb{E}\left[\frac{1}{N}\sum_{i=1}^N \|\bar{F}^S_i - \text{sg}[\bar{F}^T_i]\|_2^2\right]$
où $\bar{F}$ représente les réponses de récupération normalisées.

3. Déploiement

Lors du déploiement, seul l'élève conditionné par les vues éparses est conservé. Il restaure les rendus chargés d'artefacts à partir du 3DGS à vues éparses. Ces rendus restaurés servent de pseudo-observations pour affiner la représentation 3DGS de manière itérative. Aucune géométrie privilégiée ni calcul de l'enseignant n'est requis lors de l'inférence.

Contributions Clés

Identification des Limitations Couplées : Les auteurs identifient que le décalage hors-politique et le biais induit par la géométrie s'accumulent dans la restauration 3DGS à vues éparses, nécessitant une supervision aux états réellement visités lors de l'inférence.
LUPI Asymétrique de la Géométrie : L'article formule un nouveau cadre LUPI où les connaissances sont transférées d'un enseignant doté d'un conditionnement géométrique plus riche vers un élève architecturalement identique avec un conditionnement éparse.
Première Supervision On-Policy pour le 3DGS Épars : TRACE-GS est la première méthode à dériver une supervision on-policy à partir de la géométrie dense privilégiée, alignant les directions de débruitage et les réponses de récupération le long du déploiement de l'élève sans nécessiter un déploiement de l'enseignant.

Résultats Expérimentaux

La méthode a été évaluée sur trois jeux de données : DL3DV-Benchmark (in-domain), Mip-NeRF 360, et NeRF-Busters (out-of-domain), avec 3, 6 et 9 vues d'entrée.

Performance Quantitative : TRACE-GS a atteint des performances de pointe (SOTA) en termes de PSNR, SSIM et LPIPS sur tous les jeux de données et niveaux de parcimonie.
- Sur le DL3DV-Benchmark, il surpasse la meilleure méthode précédente (GSFixer) de 0,47 dB en PSNR (configuration à 3 vues).
- Sur les jeux de données hors domaine, il domine systématiquement dans tous les indicateurs, particulièrement dans la configuration difficile à 3 vues (ex: +0,73 dB par rapport à GSFixer sur Mip-NeRF 360).
Améliorations Qualitatives : Les comparaisons visuelles montrent que TRACE-GS récupère des détails plus nets et des structures cohérentes (ex: texte, reflets, contours d'objets) là où les modèles de base produisent du flou ou une fragmentation géométrique.
Études d'Ablation :
- Géométrie Privilégiée : Augmenter le nombre de vues utilisées pour l'enseignant (de 3 à toutes les vues disponibles) améliore de manière monotone les performances, confirmant la valeur de l'écart géométrique.
- On-Policy vs Off-Policy : Le remplacement de la supervision on-policy par une supervision off-policy (états échantillonnés indépendamment) a entraîné des performances moindres, particulièrement lors des étapes de débruitage tardives où les erreurs s'accumulent. Cela valide la nécessité de superviser les états visités.
- Alignement de Récupération : L'ajout de l'alignement de récupération a apporté des gains constants, assurant une meilleure cohérence inter-vues.

Signification et Revendications

L'article affirme que TRACE-GS représente un changement fondamental dans le traitement de la restauration 3DGS à vues éparses. En s'éloignant de la recherche d'architectures de restauration de plus en plus sophistiquées, il traite la limitation centrale du décalage entraînement-inférence dans les priors basés sur la diffusion.

La signification réside dans l'application du cadre Learning Using Privileged Information (LUPI) au 3DGS :

Il tire parti de l'avantage géométrique lors de l'entraînement (vues denses) pour guider un modèle qui opère uniquement sur des vues éparses lors du déploiement.
Il garantit que le guidage est appliqué exactement là où le modèle en a le plus besoin : le long de sa propre trajectoire d'inférence.
La méthode est présentée comme une étape d'affinement "prête à l'emploi" (drop-in) qui ne nécessite aucune vue supplémentaire ni surcharge de calcul lors du déploiement, atteignant une forte généralisation à travers divers jeux de données et niveaux de parcimonie.