🤖 machine learning

Parabolic Position Encoding: Vision-Centric, Principled, Extrapolatable, General

Ce papier présente le codage de position parabolique (PaPE), une méthode de codage de position fondée sur des principes et centrée sur la vision, qui exploite des fonctions paraboliques pour obtenir une extrapolation et une généralisation supérieures à travers des modalités visuelles diverses par rapport aux références existantes.

Auteurs originaux : Christoffer Koo Øhrstrøm, Rafael I. Cabral Muchacho, Yifei Dong, Filippos Moumtzidellis, Ronja Güldenring, Florian T. Pokorny, Lazaros Nalpantidis

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Christoffer Koo Øhrstrøm, Rafael I. Cabral Muchacho, Yifei Dong, Filippos Moumtzidellis, Ronja Güldenring, Florian T. Pokorny, Lazaros Nalpantidis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à reconnaître des objets dans une pièce. Vous lui montrez une photo d'un chat assis sur une table. Le robot doit connaître deux choses : ce qu'il regarde (un chat) et où il regarde (sur la table, et non sur le sol).

Dans le monde de l'IA, le « quoi » est facile. Le « où » est délicat. La plupart des robots actuels utilisent un système de position emprunté à l'apprentissage des langues, comme une règle qui compte simplement « 1, 2, 3 » le long d'une ligne. Mais le monde n'est pas une ligne ; c'est un espace 3D avec haut, bas, gauche, droite et diagonales.

Ce papier présente un nouvel outil appelé Encodage de Position Parabole (PaPE). Considérez le PaPE comme offrant au robot une carte intelligente et flexible plutôt qu'une règle rigide.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le problème des anciennes cartes

Les anciennes méthodes (comme celles utilisées pour les langues) sont comme une règle droite. Elles disent au robot : « Ce jeton est à 5 pas de celui-ci. » Mais elles peinent lorsque le robot doit comprendre :

La direction : Le chat est-il au-dessus de la table ou en dessous ?
La distance : Le chat est-il près de la table ou loin ?
La rotation : Si vous tournez la photo sur le côté, le robot sait-il toujours qu'il s'agit d'un chat ?

2. La solution PaPE : un « rebond intelligent »

Les auteurs ont conçu le PaPE sur la base de cinq règles simples qui ont du sens pour la vision :

Invariance par translation : Peu importe que le chat soit en haut à gauche ou en bas à droite ; la relation entre le chat et la table reste la même.
Invariance par rotation : Si vous faites tourner la pièce, le robot doit toujours comprendre la disposition.
Décroissance de la distance : Les choses proches doivent « parler » plus fort entre elles que les choses éloignées.
Directionnalité : Le robot doit savoir si quelque chose est à gauche ou à droite, pas seulement à quelle distance.
Conscience du contexte : Le robot doit pouvoir décider : « Hé, pour cet objet spécifique, je dois regarder loin », ou « Pour celui-ci, je ne m'intéresse qu'à ce qui est juste à côté de moi ».

L'analogie : Imaginez que vous lancez une balle vers une cible.

Les anciennes méthodes sont comme un mètre-ruban rigide. Elles vous indiquent simplement la distance.
Le PaPE est comme un trampoline élastique. La forme du trampoline (la « parabole ») change en fonction de celui qui lance la balle (le contenu de l'image).
- Si la balle est lourde (un objet complexe), le trampoline peut être raide, maintenant le focus serré (local).
- Si la balle est légère, le trampoline peut être souple, laissant la balle rebondir loin (global).
- Il se courbe naturellement pour indiquer la direction (gauche/droite) et s'affaiblit à mesure que l'on s'éloigne (décroissance de la distance).

3. La « magie » de l'extrapolation (le test de zoom)

L'un des plus grands tests pour ces robots est l'extrapolation. Imaginez que vous entraînez le robot à reconnaître des chats sur de petites images de 224x224 pixels. Ensuite, vous lui montrez soudainement une image géante de 1024x1024 pixels sans le réentraîner.

Les anciens robots sont confus. Ils pensent que le chat est énorme ou mal placé. Leur précision s'effondre.
Les robots PaPE sont comme un objectif zoom. Ils gèrent l'image géante presque aussi bien que la petite.
- Le papier montre qu'à la plus haute résolution, le PaPE était 10,5 % plus précis que la deuxième meilleure méthode. C'est comme si le robot ne remarquait même pas que l'image avait grossi.

4. Fonctionne-t-il partout ?

Les auteurs ont testé cette « carte intelligente » sur huit types différents de tâches de vision, telles que :

Vidéos : Observer le mouvement des personnes (UCF101).
Caméras d'événements : Des caméras qui ne voient que les changements de lumière (comme une alarme incendie voyant la fumée).
Nuages de points 3D : Des nuages numériques de points représentant des objets 3D (comme une voiture ou une chaise).
Photos standards : Reconnaître des objets dans des images (ImageNet).

Le résultat : Le PaPE a été le gagnant ou ex-aequo dans 5 cas sur 8, et il a battu tous les autres dans 2 d'entre eux. Il s'est avéré être une carte « universelle » qui fonctionne aussi bien pour les vidéos, les formes 3D et les photos.

5. Le compromis

Y a-t-il un piège ? Oui, mais un petit.
Pour créer cette carte intelligente, le robot doit porter un sac à dos légèrement plus lourd. Le PaPE ajoute un peu de données supplémentaires (environ 7 % à 20 % de mémoire et de puissance de calcul en plus, selon les paramètres). Cependant, les auteurs indiquent que ce coût est faible par rapport au gain énorme en précision et à la capacité de gérer différentes résolutions sans réentraînement.

Résumé

Le papier propose le PaPE, une nouvelle façon d'enseigner à l'IA où se trouvent les choses dans une image. Au lieu d'utiliser une règle rigide basée sur le langage, il utilise une « parabole » flexible et courbe qui comprend la distance, la direction et le contexte.

Il est robuste : Il fonctionne même lorsque vous zoomez ou dézoomez drastiquement.
Il est général : Il fonctionne sur les vidéos, les scans 3D et les photos.
Il est efficace : Il s'intègre dans les puces IA modernes sans trop les ralentir.

En bref, le PaPE donne au robot un meilleur sens de l'espace, le rendant plus intelligent et plus adaptable au monde réel.

Résumé technique : Encodage de position parabolique (PaPE)

Énoncé du problème

Les Transformers de vision (ViT) sont devenus dominants en vision par ordinateur, pourtant leurs encodages de position sont souvent adaptés à partir d'architectures de traitement du langage naturel (NLP). Alors que le langage est intrinsèquement unidimensionnel et largement indifférent à la direction géométrique, les modalités visuelles (images, vidéos, flux d'événements, nuages de points) possèdent des caractéristiques spatiales distinctes. Les adaptations existantes des encodages de position aux structures visuelles de dimension $n$ échouent souvent à prendre pleinement en compte ces caractéristiques, telles que l'invariance par translation, l'invariance par rotation, la décroissance de la distance, la directionnalité et la conscience du contexte. De plus, de nombreuses méthodes actuelles peinent à extrapoler efficacement vers des résolutions nettement supérieures à celles rencontrées durant l'entraînement, limitant ainsi leur robustesse et leur applicabilité dans des scénarios multi-résolutions.

Méthodologie : Encodage de position parabolique (PaPE)

Les auteurs proposent l'Encodage de position parabolique (PaPE), un encodage de position conçu spécifiquement pour les modalités visuelles, fondé sur cinq principes de conception distillés :

Invariance par translation : L'encodage dépend de la position relative entre les jetons, et non de leurs coordonnées absolues.
Invariance par rotation (PaPE-RI) : Une instantiation spécifique où l'encodage reste inchangé sous rotation (bien que cela se fasse au détriment de la directionnalité).
Décroissance de la distance : La force de l'attention diminue à mesure que la distance entre les jetons augmente.
Directionnalité : L'encodage prend en compte la direction spécifique entre les jetons (par exemple, haut, bas, diagonale), ce qui est crucial pour la vision mais moins pertinent dans le langage 1D.
Conscience du contexte : La force de la décroissance de la distance et de la directionnalité est modulée par le contenu des jetons eux-mêmes, permettant au modèle de s'adapter aux interactions locales versus à longue portée.

Formulation mathématique

Le PaPE modélise la position relative $\Delta r_{ij} = W_p(r_j - r_i)$ comme variable dépendante dans une somme de $m$ paraboles apprises. Le score d'attention $S_{ij}$ est décomposé en trois composantes :
$S_{ij} = \langle a_i, \Delta r_{ij}^{\odot 2} \rangle + \langle b_i, \Delta r_{ij} \rangle + \langle q_i, k_j \rangle$
Où :

$\langle a_i, \Delta r_{ij}^{\odot 2} \rangle$ encode la décroissance de la distance. Le coefficient $a_i$ est dérivé du contenu du jeton $x_i$ via une projection apprenable et une activation softplus (négative) pour garantir $a_i < 0$ , imposant ainsi la concavité.
$\langle b_i, \Delta r_{ij} \rangle$ encode la directionnalité. Le coefficient $b_i$ est également dérivé de $x_i$ .
$\langle q_i, k_j \rangle$ représente l'attention sémantique standard.

Variante invariante par rotation (PaPE-RI)

Pour atteindre l'invariance par rotation, le PaPE-RI impose des contraintes : $b_i = 0$ (suppression de la directionnalité), $a_i$ est un scalaire $\alpha_i < 0$ , et la matrice de projection $W_p$ est une matrice identité mise à l'échelle. Cela réduit le terme de distance à une fonction du carré de la distance euclidienne, qui est invariante par rotation.

Compatibilité avec les noyaux efficaces

Une contribution technique cruciale est la dérivation de transformations séparées de requête et de clé ( $f_q$ et $f_k$ ) qui permettent de calculer le PaPE sans matérialiser la matrice d'attention complète $N \times N$ . Cela assure la compatibilité avec des noyaux d'attention efficaces tels que FlashAttention. Les transformations injectent l'information de position directement dans les vecteurs de requête et de clé, augmentant la dimension de la tête de $p^2 + 2p + 2$ (où $p$ est la dimension spatiale), ce qui constitue une surcharge modérée pour $p=2$ ou $p=3$ .

Contributions clés

Encodage novateur : Introduction du PaPE et du PaPE-RI, les premiers encodages de position dérivés des principes combinés d'invariance par translation/rotation, de décroissance de la distance, de directionnalité et de conscience du contexte.
Efficacité : Démonstration que le PaPE est compatible avec des noyaux d'attention efficaces via des transformations séparées requête-clé, évitant le goulot d'étranglement computationnel de la matérialisation complète de la matrice d'attention.
Extrapolation : Preuve que le PaPE présente des capacités d'extrapolation supérieures pour les tâches de classification, maintenant ses performances à des résolutions bien supérieures à la résolution d'entraînement sans entraînement supplémentaire ni interpolation.
Généralité : Validation du PaPE sur 8 ensembles de données couvrant 4 modalités visuelles (vidéos, caméras d'événements, images et nuages de points), montrant qu'il égale ou dépasse les références de l'état de l'art.

Résultats expérimentaux

Extrapolation en classification

Sur ImageNet-1K, des modèles entraînés à une résolution de $224^2$ ont été évalués jusqu'à $1024^2$ sans réentraînement ni interpolation de position.

Le PaPE a atteint une précision de 74,9 % à $1024^2$ , surpassant la meilleure référence suivante (LookHere) de 10,5 % (LookHere a obtenu 64,4 %).
En revanche, les références standard comme nD-sincos et les variantes RoPE ont subi des baisses de performance significatives à des résolutions plus élevées.
Les auteurs attribuent ce succès à la nature consciente du contexte du PaPE, qui permet au modèle d'adapter dynamiquement la décroissance de position.

Encodage de position visuel général

L'évaluation sur 8 ensembles de données (UCF101, DvsGesture, GEN1, ImageNet-1K, COCO, ScanNet, ModelNet40, nuScenes) a donné les résultats suivants :

Performance moyenne : Le PaPE a obtenu le score moyen le plus élevé (66,3), dépassant la méthode suivante (RoPE) de 1,0 point.
Victoires par ensemble de données : Le PaPE a égalé la meilleure référence sur 5 ensembles de données et dépassé toutes les références sur 2 ensembles de données (UCF101 et GEN1).
Données spatio-temporelles : Le PaPE a montré des gains particulièrement forts sur UCF101 (49,5 % contre 43,9 % pour RoPE) et GEN1, suggérant que sa directionnalité et sa conscience du contexte sont vitales pour les objets en mouvement rapide et les données basées sur les événements.
Nuages de points : Sur ScanNet, le PaPE a été moins performant que les encodages absolus (nD-sincos), suggérant que pour des scènes intérieures avec des tailles absolues caractéristiques, l'information de position absolue peut être bénéfique. En revanche, sur ModelNet40 (objets isolés), les encodages invariants par translation ont surpassé les encodages absolus.

Robustesse et efficacité

Hors distribution (OOD) : Le PaPE ne s'est pas dégradé plus que les références sur ImageNetV2 et ImageNet-Renditions, confirmant que la conscience du contexte ne nuit pas à la généralisation.
Appariement des paramètres : Lorsque les références ont été ajustées pour correspondre au nombre de paramètres du PaPE, ce dernier a conservé son avantage de performance, indiquant que les gains ne sont pas uniquement dus à une capacité de modèle accrue.
Efficacité : Le PaPE introduit une augmentation modérée des ressources (7–20 % en VRAM et FLOPS pour $m=50$ ) mais reste compatible avec les implémentations d'attention efficaces standard.

Importance et affirmations

L'article affirme que le PaPE représente un encodage de position visuel général qui comble le fossé entre les encodages dérivés du langage et les besoins géométriques spécifiques de la vision.

Extrapolation : Les auteurs affirment que le PaPE offre une extrapolation « remarquable », améliorant les termes absolus d'au plus 10,5 % par rapport à la meilleure méthode suivante à des résolutions élevées, un facteur crucial pour réduire les coûts d'entraînement et permettre une inférence multi-résolutions robuste.
Conception raisonnée : En concevant explicitement pour l'invariance par translation, la décroissance de la distance, la directionnalité et la conscience du contexte, le PaPE aborde la couverture « incomplète » des caractéristiques visuelles dans les adaptations antérieures.
Polyvalence : Les résultats sur des modalités diverses (des images 2D aux nuages de points 3D et aux flux d'événements asynchrones) suggèrent que le PaPE fournit une solution unifiée et robuste pour les Transformers de vision, ouvrant une nouvelle voie pour la recherche sur l'encodage de position.

Les auteurs restent modestes concernant les limites, notant l'augmentation modérée des paramètres et de l'utilisation des ressources dépendante de l'hyperparamètre $m$ , et suggèrent que les travaux futurs pourraient se concentrer sur la réduction de $m$ ou l'intégration plus profonde du PaPE dans les noyaux efficaces.