Résumé Technique : Apprendre l'allocation adaptative de Gaussiennes pour la super-résolution d'images à échelle arbitraire

1. Définition du Problème

Les méthodes traditionnelles de super-résolution (SR) sont généralement conçues pour des facteurs d'échelle entiers fixes (par exemple, $\times 2, \times 4$). Cependant, les applications du monde réel telles que le compositing VFX, le rendu à résolution personnalisée et la VR fovéale nécessitent une mise à l'échelle vers des échelles arbitraires et non entières. Les approches existantes de SR à échelle arbitraire (ASR) font face à deux limitations principales :

1. Inefficacité de la représentation continue : Les représentations neuronales implicites (INR) décodent des coordonnées continues via des MLP, mais l'interrogation exhaustive pixel par pixel crée des goulots d'étranglement computationnels sévères à haute résolution.
2. Allocation uniforme des ressources : Les adaptations récentes du Gaussian Splatting 2D (GS) pour l'ASR (par exemple, GaussianSR, GSASR) appliquent une stratégie de densification uniforme. Elles attribuent le même budget de Gaussiennes aux arrière-plans plats qu'aux textures complexes. Cela ignore l'adaptabilité intrinsèque des Gaussiennes, entraînant une surcharge de calcul et une utilisation de la mémoire inutiles, tout en échouant à concentrer les ressources là où la complexité structurelle l'exige.

De plus, la transition du GS vers un modèle ASR de type "feed-forward" n'est pas triviale. L'optimisation standard du GS repose sur des gradients de vérité terrain à haute résolution pour piloter la croissance des primitives. Dans un cadre ASR "feed-forward", cette cible à haute résolution est indisponible lors de l'inférence ; le réseau doit prédire de manière autonome la densification nécessaire des Gaussiennes directement à partir de l'entrée en basse résolution (LR).

2. Méthodologie : QuADA-GS

Les auteurs proposent QuADA-GS (Quadtree Adaptive Gaussian Splatting), un cadre qui alloue dynamiquement les primitives de Gaussiennes en fonction de la complexité locale de l'image et de l'échelle cible. L'architecture se compose de quatre étapes principales :

2.1 Extraction de caractéristiques et raffinement conditionné par l'échelle

L'image LR d'entrée est traitée par un backbone agnostique à l'encodeur pour extraire les caractéristiques. Pour gérer les échelles arbitraires, le réseau utilise un découpage par fenêtres (window-based tiling) avec des plongements (embeddings) de Gaussiennes invariants à la résolution. Ces plongements sont raffinés par un mécanisme d'attention à deux étapes :

• Attention croisée conditionnée par l'échelle (Scale-Conditioned Cross-Attention) : Module les plongements à l'aide d'un plongement d'échelle appris ($e_s$) dérivé de l'échelle cible inverse ($1/s$) et rassemble le contexte local de l'image via une attention croisée par fenêtre (Window Cross-Attention).
• Auto-attention de Gaussienne (Gaussian Self-Attention) : Assure la cohérence spatiale et empêche les artefacts de chevauchement en communiquant via une auto-attention par fenêtre avec partitionnement par fenêtres décalées (shifted-window).

2.2 Architecture de routage neuronal (Allocation dynamique du budget)

Au lieu d'un suréchantillonnage uniforme, une Architecture de Routage Neuronal Différentiable analyse les caractéristiques latentes raffinées pour déterminer le facteur d'expansion optimal pour chaque pixel.

• Routage discret : Le routeur prédit une distribution de probabilité sur trois niveaux de suréchantillonnage ($L_0, L_1, L_2$), correspondant à la division d'une caractéristique en 4, 16 ou 64 enfants (Gaussiennes).
• Différentiabilité : L'astuce Gumbel-Softmax et l'estimateur "Straight-Through" (STE) sont utilisés pour échantillonner des décisions de routage discrètes tout en maintenant le flux de gradient.
• Contraintes de budget : Pour éviter la sur-allocation (prédire une densité maximale partout) ou la sous-allocation, le modèle utilise un tenseur de structure calculé à partir de la vérité terrain pendant l'entraînement. Cela génère une "carte de structure" représentant la complexité locale (bords vs textures). Une perte d'appariement de budget ($L_{budget}$) force le coût total prédit par le routeur à s'aligner avec la complexité structurelle globale de l'image cible, accordant au routeur une autonomie spatiale pour distribuer le budget là où il minimise l'erreur de rendu.

2.3 Convolution par pointeur hiérarchique (HPC)

Le routage dynamique crée une topologie à densité variable et non-grille (ressemblant à un quadtree), ce qui brise les convolutions de grille standard. Pour permettre une communication spatiale efficace à travers ces densités variables sans la surcharge mémoire des opérations denses ou la complexité des tables de hachage creuses, les auteurs introduisent la Convolution par Pointeur Hiérarchique (HPC).

• Grille de pointeurs (Pointer Grid) : Une grille d'indexation dense et légère stocke des identifiants scalaires pour les caractéristiques à leur niveau hiérarchique actuel.
• Recherche O(1) : La HPC récupère les voisins topologiques en échantillonnant la Grille de Pointeurs aux limites de l'empreinte d'une caractéristique en utilisant des décalages adaptatifs. Cela permet au système de rassembler les voisins, quel que soit leur niveau de résolution, en un temps constant.
• Mise à jour creuse (Sparse Update) : Les caractéristiques sont mises à jour de manière résiduelle en fusionnant les voisins rassemblés, permettant une coordination fluide entre les caractéristiques de fond grossières et les détails fins.

2.4 Prédiction de Gaussienne et Rasterisation

Les caractéristiques coordonnées sont décodées en primitives de Gaussiennes 2D (position, covariance, opacité, couleur).

• Modulation sensible au niveau (Level-Aware Modulation) : Un MLP partagé prédit les paramètres des Gaussiennes, mais les limites physiques (écarts-types) sont déconnectées de la sortie du MLP via des facteurs de modulation sensibles au niveau ($m_{l_i}$) pour stabiliser l'entraînement à travers différents niveaux d'expansion.
• Rasterisation continue : Les primitives sont rasterisées directement dans un espace normalisé continu, permettant un rendu indépendant de l'échelle pour des résolutions de sortie arbitraires.
• Fonctions de perte : La perte totale combine l'erreur de rendu, la perte d'appariement de budget et une Perte de Qualité de Routage ($L_{rout}$). $L_{rout}$ pénalise le routeur s'il alloue des niveaux grossiers à des régions présentant une erreur de reconstruction spatiale élevée, garantissant que les détails fins sont alloués là où ils sont nécessaires.

3. Contributions Clés

1. Architecture de Routage Neuronal : Un module qui définit dynamiquement un budget de Gaussiennes 2D et l'alloue spatialement selon la complexité de l'entrée, remplaçant la densification uniforme rigide par une topologie inspirée du quadtree.
2. Convolution par Pointeur Hiérarchique (HPC) : Un opérateur novateur atteignant une complexité de $O(1)$ pour la recherche de voisinage topologique. Il facilite la coordination efficace des caractéristiques à travers des topologies de densité variable, évitant les goulots d'étranglement de la mémoire des opérateurs denses ou des opérateurs creux traditionnels.
3. Performance SOTA en ASR : QuADA-GS atteint une reconstruction de texture et une fidélité perceptuelle supérieures tout en maintenant une empreinte mémoire légère par rapport aux concurrents denses. Il permet de passer à des comptes massifs de Gaussiennes qui causeraient des échecs de dépassement de mémoire (OOM) dans les modèles à grille uniforme.

4. Résultats Expérimentaux

Le modèle a été entraîné sur le jeu de données DIV2K et évalué sur des benchmarks standards (Urban100, Set5, Set14, etc.) sur des échelles allant de $\times 2$ à $\times 30$.

• Qualité de Reconstruction : QuADA-GS établit un nouveau record de l'état de l'art en termes de métriques PSNR, SSIM, LPIPS et DISTS, particulièrement sur le jeu de données riche en structures Urban100. Il surpasse les méthodes implicites (LIIF, Meta-SR) et les autres approches basées sur le GS (GaussianSR, GSASR).
• Échelles Extrêmes : Même à des facteurs de suréchantillonnage extrêmes ($\times 16, \times 24, \times 30$), où les signaux d'entrée sont sévèrement dégradés, QuADA-GS reste la méthode basée sur le GS la plus compétitive, extrayant des informations structurelles supérieures aux lignes de base implicites.
• Efficacité :
  • Vitesse : En employant un paradigme "index dense, calcul creux", QuADA-GS atteint environ 61 % d'inférence plus rapide et une réduction de mémoire de 35 % par rapport aux bases de comparaison de suréchantillonnage dense.
  • Comparaison : Bien qu'il nécessite intrinsèquement plus de VRAM que le GS à grille rigide (GSASR) en raison d'un nombre total de Gaussiennes plus élevé pour une meilleure fidélité, il est nettement plus rapide que les méthodes implicites qui passent mal à l'échelle avec la résolution cible.
• Études d'Ablation :
  • Routage : Le routage neuronal appris surpasse les cartes de structure heuristiques.
  • HPC : Le retrait des blocs HPC dégrade sévèrement la qualité en empêchant la coordination spatiale.
  • Modulation : La modulation sensible au niveau est cruciale pour un entraînement stable à travers différentes échelles d'expansion.
  • Backbone : RDN s'avère plus efficace que EDSR pour extraire les caractéristiques haute fréquence nécessaires.

5. Signification et Revendications

L'article affirme que QuADA-GS comble avec succès l'écart entre les capacités de représentation continue du Gaussian Splatting et les exigences d'efficacité de la super-résolution à échelle arbitraire. En s'éloignant d'un traitement uniforme, le modèle imite l'attention visuelle humaine, concentrant les ressources de calcul strictement là où la complexité structurelle l'exige.

Les auteurs soulignent que leur approche brise la rigidité des méthodes ASR à grille fixe. L'introduction de la Convolution par Pointeur Hiérarchique est mise en avant comme un catalyseur critique, permettant une communication spatiale efficace dans des topologies à densité variable sans coûts de mémoire prohibitifs. Bien que la méthode améliore considérablement la vitesse et l'utilisation de la mémoire par rapport aux bases denses, les auteurs notent modestement que l'atténuation de la surcharge de mémoire absolue reste un axe de travail futur, car la topologie quadtree alloue toujours un nombre total de Gaussiennes plus élevé que les grilles uniformes pour garantir une fidélité supérieure.