Résumé Technique : RaysUp : Suréchantillonnage de Caractéristiques Universel Ultra-léger via une Représentation de Rayons Sensible à la Géométrie

1. Énoncé du Problème

Les modèles de vision fondamentaux (VFM) pré-entraînés, tels que les familles DINO, CLIP et SigLIP, sont devenus centraux dans la vision par ordinateur moderne grâce à leurs puissantes représentations sémantiques et leurs capacités de généralisation. Cependant, ces modèles produisent généralement des cartes de caractéristiques à basse résolution en raison de la patchification ou d'opérations de pooling agressives. Cette limitation entrave leur efficacité pour les tâches de prédiction dense nécessitant un raisonnement fin au niveau du pixel, comme la segmentation sémantique, l'estimation de la profondeur et la reconstruction 3D.

Les approches existantes de suréchantillonnage de caractéristiques font face à des compromis importants :

• Interpolation Traditionnelle : Les méthodes comme l'interpolation bilinéaire sont efficaces en termes de calcul mais dégradent souvent la fidélité sémantique, entraînant un flou des contours et une perte de détails fins.
• Suréchantillonnage Appris : Des méthodes récentes agnostiques aux tâches (ex. : LiFT, FeatUp, LoftUp, JAFAR) améliorent les performances mais nécessitent souvent un réentraînement pour des VFM spécifiques ou imposent une lourde surcharge de calcul lors de l'inférence.
• Approches Universelles : Bien que des travaux récents comme AnyUp tentent de créer des cadres agnostiques aux encodeurs, ils reposent sur des architectures lourdes, ce qui entraîne un nombre élevé de paramètres et des vitesses d'inférence lentes, limitant ainsi la scalabilité et l'efficacité.

2. Méthodologie

Les auteurs proposent RaysUp, un cadre ultra-léger, agnostique aux tâches et agnostique aux VFM, qui reconstruit des cartes de caractéristiques à haute résolution à des résolutions arbitraires en élevant la reconstruction de caractéristiques dans un domaine de rayons sensible à la géométrie. L'architecture se compose de quatre composantes principales :

2.1 Encodeur de Guidage Découplé Spatialement

Motivé par l'observation que les noyaux de convolution standards $3 \times 3$ dans les suréchantillonneurs existants présentent des distributions de poids anisotropes (favorisant les coins par rapport au centre), RaysUp introduit un encodeur léger qui décompose l'extraction de caractéristiques en composantes directionnelles orthogonales.

• Structure : L'encodeur divise la génération de caractéristiques de guidage en quatre branches parallèles : une convolution $1 \times 1$ (centre), $1 \times 3$ (horizontale), $3 \times 1$ (verticale) et une convolution dilatée $2 \times 2$ (diagonale/coins).
• Efficacité : Cette conception réduit la surcharge de paramètres d'environ 69,4 % par rapport aux convolutions $3 \times 3$ standards tout en améliorant l'interprétabilité directionnelle et le désenchevêtrement structurel.
• Sortie : Elle génère des caractéristiques de guidage sensibles à la direction ($F_g$) qui capturent les sémantiques spatiales multi-échelles plus efficacement que les différences RGB brutes.

2.2 Mécanisme d'Attention Croisée à Résolution Arbitraire

Pour supporter des résolutions cibles arbitraires sans réentraînement, RaysUp emploie un mécanisme d'attention croisée découplé de la résolution.

• Requêtes ($Q_g$) : Générées à la haute résolution cible ($H_{any} \times W_{any}$) via un pooling moyen adaptatif des caractéristiques de guidage.
• Clés ($K_g$) : Générées à la basse résolution de l'arrière-plan ($H_{lr} \times W_{lr}$) via un pooling moyen adaptatif.
• Valeurs ($V$) : Directement tirées des caractéristiques de la basse résolution du VFM.
• Fonction : Cela permet aux requêtes à haute résolution d'agréger des informations provenant de caractéristiques de basse résolution sémantiquement alignées sans interpolation explicite, permettant une propagation croisée de résolution flexible.

2.3 Encodage de Position par Rayon (RayPE)

Pour surmonter les limites des voisinages euclidiens 2D et injecter des priors géométriques 3D, RaysUp introduit RayPE, inspiré par les Champs de Radiance Neurale (NeRF).

• Concept : Au lieu de se fier à la proximité euclidienne 2D, chaque pixel est associé à un rayon de caméra 3D défini par son origine ($o$) et sa direction normalisée ($d$).
• Encodage : Les paramètres du rayon sont encodés à l'aide de coordonnées de Plücker à 6 dimensions. Un encodage de phase harmonique multibande projette ces coordonnées dans un espace de rotation de haute dimension.
• Modulation : Similaire à l'encodage de position rotatif (RoPE), RayPE applique une modulation de rotation aux caractéristiques de requête et de clé basées sur la géométrie du rayon 3D. Cela garantit que l'agrégation de caractéristiques respecte la cohérence angulaire et les structures 3D sous-jacentes, empêchant les interactions entre des rayons géométriquement non liés.

2.4 Attention de Voisinage Sensible à la Géométrie

L'étape finale de reconstruction utilise un opérateur d'agrégation bilatérale apprenable.

• Mécanisme : Au lieu d'une attention globale, chaque requête à haute résolution agrège des informations d'un voisinage local $k \times k$ dans l'espace des caractéristiques à basse résolution.
• Dilation : Pour combler les écarts de résolution, le voisinage est défini avec des facteurs de dilatation basés sur le ratio de suréchantillonnage.
• Avantage : Cela garantit que l'attention est effectuée parmi des rayons ayant des orientations similaires, préservant la cohérence géométrique tout en réduisant la complexité de calcul de l'ordre global $O(H_{any}W_{any} \cdot H_{lr}W_{lr})$ à l'ordre local $O(H_{any}W_{any} \cdot k^2)$.

3. Principales Contributions

1. Cadre RaysUp : Un cadre ultra-léger (0,14M de paramètres), agnostique aux tâches et agnostique aux VFM, capable de suréchantillonner les caractéristiques de l'arrière-plan à des résolutions arbitraires.
2. Encodeur de Guidage Découplé Spatialement : Une conception d'encodeur novatrice qui améliore la modélisation anisotrope et réduit les paramètres d'environ 69 % par rapport aux convolutions standards.
3. Encodage de Position par Rayon (RayPE) : Une méthode qui injecte des priors géométriques 3D implicites via les coordonnées de rayon de Plücker à 6D, étendant le suréchantillonnage bilatéral conjoint (JBU) classique en un processus de reconstruction sensible à la géométrie qui atténue la dérive structurelle et le flou des contours.
4. Efficacité et Performance : Le cadre atteint des performances de pointe sur diverses tâches de prédiction dense tout en utilisant seulement ~16 % des paramètres de la principale ligne de base (AnyUp) et en délivrant environ 7 fois plus de vitesse d'inférence.

4. Résultats Expérimentaux

Des expériences approfondies ont été menées sur divers jeux de données (COCO-Stuff, ADE20K, Pascal-VOC, Cityscapes, NYUv2, DAVIS) et divers VFM (DINOv2, DINOv3, SigLIP2, PE Spatial).

• Performance Agnostique aux Tâches : RaysUp a obtenu la meilleure performance ou la deuxième meilleure performance sur la plupart des métriques en segmentation sémantique, estimation de la profondeur, estimation des normales de surface, segmentation d'objets vidéo et segmentation en vocabulaire ouvert. Notamment, il a montré une cohérence géométrique supérieure dans les tâches d'estimation de la profondeur et des normales.
• Généralisation Agnostique aux VFM : Testé sur des VFM non vus (incluant DINOv3 et SigLIP2) et différentes échelles de modèles (ViT-S, ViT-M, ViT-L), RaysUp a systématiquement surpassé AnyUp, démontant une robustesse de généralisation sans réentraînement.
• Efficacité :
  • Paramètres : 0,14M (contre 0,87M pour AnyUp).
  • Vitesse d'inférence : À une résolution de 224×224, RaysUp atteint 55 FPS contre 11 FPS pour AnyUp.
  • Scalabilité : RaysUp reste exécutable à des résolutions extrêmes (2K×2K) là où d'autres méthodes (LoftUp, JAFAR, AnyUp) rencontrent des erreurs de type Out-Of-Memory (OOM) ou des ralentissements significatifs.
• Études d'Ablation : Les expériences ont confirmé la nécessité de l'encodeur de guidage découplé spatialement et de RayPE. Supprimer RayPE a entraîné une chute significative des performances, validant l'importance des priors géométriques 3D.

5. Signification et Revendications

L'article affirme que RaysUp établit un nouveau standard pour le compromis précision-efficacité dans le suréchantillonnage universel de caractéristiques. En revisitant le paradigme classique du suréchantillonnage bilatéral conjoint et en le reformulant avec des représentations de rayons sensibles à la géométrie, RaysUp équilibre avec succès la haute fidélité sémantique, la cohérence géométrique et l'efficacité de calcul.

Les auteurs positionnent RaysUp comme une solution pratique et scalable pour les pipelines de vision par ordinateur modernes, permettant l'utilisation de VFM gelés ou affinés dans des tâches en aval qui nécessitent une compréhension à haute résolution et au niveau du pixel sans la charge de calcul de réseaux de suréchantillonnage lourds. Ce travail souligne que l'intégration de priors géométriques 3D (via des représentations de rayons) dans le suréchantillonnage de caractéristiques 2D est une étape critique pour améliorer la fidélité structurelle et réduire les artefacts dans les tâches de prédiction dense.