🤖 machine learning

RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings

L'article présente RelFlexformer, une classe de modèles de transformateurs 3D efficaces qui utilisent la transformée de Fourier non uniforme (NU-FFT) pour intégrer des codages de position relative arbitraires intégrables avec une complexité de $O(L \log L)$ , permettant ainsi des mécanismes d'attention efficaces aussi bien pour des grilles structurées que pour des données 3D hétérogènes non structurées comme les nuages de points.

Auteurs originaux : Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'organiser une immense et chaotique fête où les invités se tiennent dans une pièce en 3D. Certains sont proches les uns des autres, d'autres sont éloignés, et il n'y a ni grille ni rangées ordonnées. Votre objectif est de déterminer qui doit parler à qui en fonction de leur proximité mutuelle.

Dans le monde de la vision par ordinateur, cette « fête » est un Nuage de Points 3D (un ensemble de points représentant des objets dans l'espace), et les « invités » sont des points de données. L'ordinateur utilise un outil appelé Transformeur pour décider qui parle à qui.

Voici le problème que résout l'article, expliqué simplement :

Le Problème : Le Goulot d'Étranglement « Quadratique »

Les Transformeurs standards sont comme un hôte de soirée qui insiste pour vérifier la distance entre chaque invité et chaque autre invité avant que quiconque ne puisse parler.

Si vous avez 100 invités, l'hôte effectue 10 000 vérifications.
Si vous avez 1 000 invités, l'hôte effectue 1 000 000 de vérifications.
Si vous avez 10 000 invités (ce qui est courant dans les scans 3D), l'hôte est submergé, manque de mémoire et la fête s'arrête. C'est le coût quadratique ( $O(L^2)$ ).

Pour résoudre ce problème, les chercheurs ont inventé des « Transformeurs Efficaces » (comme les Performers). Ces hôtes utilisent une astuce : ils devinent qui doit parler à qui en utilisant un tour de mathématiques astucieux, ce qui rend la fête rapide ( $O(L)$ ).

Le Piège : Ces raccourcis sont excellents pour la vitesse, mais ils sont terribles pour comprendre la géométrie. Ils oublient que dans une pièce en 3D, la distance compte. Ils traitent un invité debout à côté de vous de la même manière qu'un invité de l'autre côté de la pièce, ce qui ruine la précision des tâches 3D.

La Solution : RelFlexformer

Les auteurs présentent RelFlexformer, un nouveau type d'hôte efficace qui est à la fois rapide et conscient de la géométrie.

Pensez-y ainsi :

Le Raccourci : Au lieu de vérifier chaque paire, il utilise une « lentille magique » (appelée NU-FFT, ou Transformée de Fourier Rapide Non Uniforme) pour calculer instantanément comment la distance affecte la conversation.
La Modulation Flexible : Imaginez que l'hôte possède un « bouton de volume » spécial pour chaque paire d'invités. Si deux invités sont proches, le volume est élevé (ils parlent beaucoup). S'ils sont éloignés, le volume est faible.
- Les anciennes méthodes efficaces ne pouvaient pas tourner ce bouton sans briser leur raccourci de vitesse.
- RelFlexformer peut tourner ce bouton pour n'importe quelle forme de pièce (même des espaces 3D désordonnés et irréguliers) sans ralentir. Il y parvient en traduisant le problème de la distance en un problème de fréquence (comme transformer une chanson complexe en une mélodie simple) et en le résolvant rapidement.

L'Analogie « Magique » : L'Orchestre

Imaginez que les points 3D sont des musiciens dans un orchestre dispersés de manière aléatoire dans une salle.

Les Transformeurs Standards demandent à chaque musicien d'écouter chaque autre musicien pour trouver l'harmonie. Cela prend une éternité pour un grand orchestre.
Les Anciens Transformeurs Efficaces demandent aux musiciens de simplement deviner l'harmonie basée sur une règle simple. C'est rapide, mais la musique sonne plate car ils ignorent qui est assis à côté de qui.
RelFlexformer est comme un chef d'orchestre qui utilise un miroir acoustique spécial. Au lieu de demander à tout le monde d'écouter tout le monde, le miroir réfléchit instantanément les ondes sonores afin que les musiciens sachent exactement à quel volume jouer en fonction de leur distance spécifique par rapport aux autres. Il préserve la « sensation spatiale » de la pièce tout en gardant le temps de répétition court.

Ce Qu'ils Affirment Réussir

L'article affirme qu'en utilisant ce « miroir acoustique » (les mathématiques NU-FFT) :

Vitesse : Il reste rapide, s'échelle presque linéairement ( $O(L \log L)$ ) même avec d'énormes quantités de données. Il ne plante pas lorsque la « fête » devient trop grande.
Précision : Il rétablit le « sens de la distance » manquant. Dans les tests de reconnaissance d'objets 3D (comme identifier une chaise à partir d'un nuage de points) et de segmentation 3D (étiquetant des parties d'une pièce), RelFlexformer :
- A battu les anciennes méthodes « rapides mais bêtes » (Performers).
- A souvent battu les Transformeurs standards lents mais intelligents, même s'il était beaucoup plus rapide.
Polyvalence : Il fonctionne sur des données réelles et désordonnées comme les nuages de points (provenant de scanners LiDAR) et les images RGB-D (caméras qui voient la profondeur), où les points ne sont pas dans des grilles ordonnées.

Résumé

RelFlexformer est une nouvelle façon pour les ordinateurs de regarder les formes 3D. Il combine la vitesse d'un raccourci avec la précision de la compréhension de la distance physique. Il permet aux ordinateurs de traiter rapidement des scènes 3D complexes (comme un robot naviguant dans une pièce) sans perdre la capacité de dire à quelle distance les objets se trouvent les uns des autres.

Résumé Technique : RelFlexformer

Énoncé du Problème

Les Transformers basés sur l'attention sont devenus les architectures dominantes pour l'apprentissage 3D, en particulier pour les données de nuages de points. Cependant, les Transformers standards rencontrent deux limitations critiques dans ce domaine :

Goulot d'étranglement computationnel : Le mécanisme d'auto-attention standard a une complexité quadratique ( $O(L^2)$ ) par rapport à la longueur de la séquence $L$ . Cela devient prohibitif pour les grands ensembles de points et les modèles géométriques denses.
Désalignement géométrique : L'attention standard ne s'aligne pas naturellement avec la nature désordonnée et irrégulièrement espacée des nuages de points. Bien que des méthodes de Codage Positionnel Relatif (RPE) existent pour injecter un biais géométrique, leur intégration dans des mécanismes d'attention efficaces à temps linéaire (comme les Performers) n'est pas triviale. Les méthodes RPE efficaces existantes reposent souvent sur des agencements de tokens structurés (par exemple, des grilles régulières) ou nécessitent la construction explicite de masques $L \times L$ , ce qui annule les avantages computationnels de l'attention linéaire. Plus spécifiquement, l'insertion d'un masque géométrique dans une attention kernelisée sans matérialiser la matrice d'attention complète exige que le masque admette des produits matrice-vecteur rapides, une contrainte que peu de méthodes existantes satisfont pour des distributions 3D arbitraires.

Méthodologie

Les auteurs proposent RelFlexformer, une classe de Transformers 3D efficaces qui intègre une large famille de RPEs via des fonctions de modulation intégrables arbitraires $f$ . L'innovation centrale est l'application de la théorie de la Transformée de Fourier Rapide Non Uniforme (NU-FFT) pour permettre une attention masquée sous-quadratique.

Composants Techniques Clés :

Modulation par Convolution : Le mécanisme RPE est formulé comme une convolution spatiale. Étant donné les coordonnées des tokens d'entrée $\{r_i\}$ et une fonction de modulation $f$ , la valeur d'attention masquée $w$ pour un token est calculée comme la convolution de $f$ avec un signal $P$ (une somme de deltas de Dirac pondérés par les caractéristiques d'entrée).
Formulation NU-FFT : Selon le théorème de convolution, la convolution dans le domaine spatial correspond à une multiplication dans le domaine de Fourier. Les auteurs approximent l'intégrale de Fourier continue en utilisant une règle de quadrature avec $S$ $S$ échantillons.
- Étape Forward : Calculer la Transformée de Fourier du signal du nuage de points aux fréquences échantillonnées $\xi_s$ en utilisant la NU-FFT. Cela prend un temps $O(L \log L)$ .
- Modulation : Multiplier le signal transformé par la Transformée de Fourier de la fonction de modulation $Ff(\xi_s)$ .
- Étape Inverse : Calculer la NU-FFT inverse pour évaluer les valeurs modulées aux coordonnées originales des tokens. Cela prend également un temps $O(L \log L)$ .
Intégration avec l'Attention Linéaire : Cet algorithme "FastMultM" remplace la multiplication explicite de la matrice de masque $L \times L$ dans les cadres d'attention linéaire (comme les Performers). La complexité globale devient $O(L \log L)$ , préservant l'efficacité de l'attention linéaire tout en incorporant des biais géométriques arbitraires.
Généralisation : Le cadre généralise les méthodes existantes. Par exemple, si la fonction de modulation est paramétrée comme des fonctions harmoniques discrètes, la méthode récupère analytiquement l'Encodage Positionnel Rotatif (RoPE). Elle englobe également l'encodage $\otimes$ -STRING comme cas particulier où les fréquences sont tirées d'une densité spectrale spécifique.

Contributions Clés

Formulation Générale : Les auteurs formulent une classe générale de mécanismes d'attention efficaces modulés par RPE 3D basés sur des fonctions $L_1$ -intégrables arbitraires.
Implémentation Efficace : Ils dérivent une implémentation $O(L \log L)$ utilisant la NU-FFT, permettant une attention masquée rapide sans matérialiser la matrice d'attention. Cela permet d'intégrer directement des informations géométriques dans l'attention de type Performer.
Polyvalence et Performance : L'article valide RelFlexformer comme un remplacement direct ("drop-in") à travers diverses architectures de base (PCT, PTv3, DFormer). Il démontre que RelFlexformer comble non seulement l'écart de performance entre l'attention linéaire efficace et l'attention dense quadratique, mais, dans plusieurs cas, dépasse les Transformers standards $O(L^2)$ .
Complémentarité : Les auteurs montrent que leur modulation RPE basée sur la distance est orthogonale aux encodages au niveau des tokens comme PointRoPE et peut être combinée efficacement pour des gains supplémentaires.

Résultats Expérimentaux

Les auteurs ont évalué RelFlexformer sur un large portefeuille de jeux de données 3D pour la classification et la segmentation :

Classification d'Objets (ModelNet40, ScanObjectNN) :
- Sur ModelNet40, RelFlexformer a atteint une précision de 92,94 %, réduisant considérablement l'écart avec la ligne de base du Transformer dense (93,2 %) par rapport au Performer standard (92,34 %).
- Sur ScanObjectNN, RelFlexformer (84,45 %) a surpassé la ligne de base du Transformer dense (84,0 %).
Segmentation Sémantique (ScanNet, ScanNet200, ScanNet++, nuScenes, S3DIS) :
- RelFlexformer a constamment amélioré les lignes de base Performer standard. Par exemple, sur ScanNet, le mIoU est passé de 74,8 % (Performer) à 76,8 % (RelFlexformer), s'approchant de la ligne de base Transformer (77,6 %).
- Sur nuScenes, RelFlexformer a atteint 80,3 % de mIoU, surpassant la ligne de base Transformer (le score du Transformer est de 80,4 %, mais le texte note que RelFlexformer le surpasse souvent ; spécifiquement, sur nuScenes, RelFlexformer + PointRoPE a atteint 81,2 %, dépassant les 80,4 % du Transformer).
- Sur la validation croisée 6-fold de S3DIS, RelFlexformer a réduit l'écart de mIoU de 73,18 % (Performer) à 76,25 %, égalant presque le Transformer (77,70 %).
Segmentation RGB-D (NYU Depth v2, SUN RGB-D) :
- En utilisant l'architecture de base DFormer, RelFlexformer a atteint 55,32 % de mIoU sur NYU Depth v2 et 51,04 % sur SUN RGB-D, surpassant à la fois la ligne de base Performer et la méthode STRING récemment proposée, tout en évitant la surcharge paramétrique de STRING.

Importance et Revendications

L'article revendique que RelFlexformer fournit un opérateur géométrique unifié qui englobe les encodages multidimensionnels récents (comme STRING) comme cas particuliers tout en étendant l'efficacité sous-quadratique aux données RGB-D denses via un relèvement de coordonnées.

L'importance principale réside dans la réduction de l'écart de précision entre l'attention linéaire efficace et l'attention dense standard. Les auteurs soutiennent qu'en encadrant la modulation géométrique via la NU-FFT, il est possible d'intégrer une large famille de fonctions RPE intégrables sans sacrifier les avantages computationnels de l'attention kernelisée. Cela établit RelFlexformer comme une architecture hautement évolutive pour le traitement de nuages de points irréguliers à grande échelle, qui étaient auparavant limités par le coût quadratique de l'attention dense standard. Les résultats suggèrent que les mécanismes d'attention efficaces peuvent atteindre, et parfois dépasser, les performances des Transformers denses lorsqu'ils sont équipés d'une modulation géométrique appropriée, les rendant viables pour des tâches de perception 3D réelles où la latence et la mémoire sont des contraintes critiques.