🤖 machine learning

Native Multi-Dimensional Subquadratic Operators via Input Dependent Long Convolutions

Cet article présente HyenaND, un opérateur sous-quadratique et dépendant de l'entrée qui applique des convolutions globales directement aux structures de données multidimensionnelles natives afin de surmonter les limites des modèles d'attention et récurrents standards, atteignant une précision compétitive et des accélérations significatives grâce à une implémentation CUDA spécialisée.

Auteurs originaux : David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Pali

Publié 2026-07-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Paliwal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot super intelligent à comprendre le monde. Actuellement, les meilleurs robots utilisent un outil appelé « attention » pour tout regarder en même temps, comme un étudiant parcourant une page entière de texte pour trouver les mots les plus importants. Cela fonctionne très bien pour des histoires courtes, mais si vous donnez au robot une bibliothèque entière, un film en 3D ou une carte météorologique complexe, l'outil d'« attention » est submergé. Il doit comparer chaque donnée avec toutes les autres, ce qui prend tellement de temps et d'énergie que le robot plante ou doit regarder les données à travers un minuscule trou de serrure (un processus appelé « patchification ») pour survivre.

Pour corriger cela, les scientifiques ont essayé de construire des outils plus rapides. Une idée populaire est d'utiliser des modèles « récurrents », qui lisent les données comme une ligne de texte, un mot après l'autre. Mais c'est comme essayer de comprendre une sculpture en 3D en ne la regardant que sous un seul angle, puis en devinant le reste ; cela détruit la forme naturelle de l'objet. Une autre idée est d'utiliser des « convolutions », qui sont comme le glissement d'une loupe sur une image pour repérer des motifs. Elles sont rapides et préservent la forme 3D, mais elles agissent généralement comme un tampon rigide, appliquant exactement le même motif à chaque partie de l'image sans prêter attention à ce qui s'y trouve réellement. La grande question dans ce domaine de l'informatique est la suivante : pouvons-nous construire un outil assez rapide pour gérer des données 3D massives, qui conserve la forme naturelle de ces données, et qui soit assez intelligent pour adapter sa « loupe » en fonction de ce qu'il voit ?

Ce document présente un nouvel outil appelé HyenaND qui répond par l'affirmative. Considérez HyenaND comme une loupe magique capable de changer de forme, qui peut glisser sur un objet en 3D (comme un scanner médical ou une simulation météorologique) sans jamais le lisser en une ligne 1D. Contra contrairement aux tampons rigides du passé, cet outil peut d'abord regarder l'objet entier, décider quel type de motif il doit trouver, puis ajuster instantanément sa lentille pour correspondre. Il y parvient grâce à une astuce mathématique ingénieuse impliquant les « transformées de Fourier » (une façon de transformer des images en ondes sonores pour les traiter plus rapidement) qui maintient une vitesse extrêmement élevée, ne croissant que légèrement à mesure que les données s'agrandissent, plutôt que d'exploser en termes de coûts.

Les auteurs ont découvert que HyenaND change la donne pour la gestion de données multidimensionnelles complexes. Dans leurs tests, ils ont montré que HyenaND peut accomplir des tâches qui feraient planter les outils d'« attention » standards à cause des limites de mémoire, comme l'analyse d'images médicales 3D ou la simulation de la dynamique des fluides. Lorsqu'ils l'ont testé sur un jeu de « copie » où le robot devait se souvenir d'une couleur spécifique dans une grille 3D, HyenaND s'est révélé des milliers de fois plus précis que les anciennes méthodes. Ils ont également construit un moteur logiciel spécial appelé nSubQ pour s'assurer que cette astuce mathématique s'exécute à la vitesse de l'éclair sur de vraies puces informatiques, transformant la vitesse théorique en gains de temps réels.

Le document suggère que, bien qu'HyenaND soit incroyablement puissant seul, il fonctionne encore mieux lorsqu'il est associé aux anciens outils d'« attention » dans une équipe hybride. Dans des expériences avec des séquences d'ADN, de la vision par ordinateur (ImageNet) et de l'imagerie médicale, ces équipes hybrides ont battu à la fois les modèles d'attention pure et les autres modèles rapides qui tentent de lire les données sur une ligne. Les auteurs soutiennent que nous n'avons plus besoin de choisir entre vitesse et intelligence ; nous pouvons avoir un outil qui respecte la géométrie 3D de nos données, qui passe à l'échelle pour des tailles massives, et qui continue de prêter une attention particulière aux détails. Ils concluent que cette approche élimine un goulot d'étranglement majeur, permettant à l'IA future de enfin « voir » le monde dans sa gloire 3D native et haute résolution, sans avoir à regarder à travers un minuscule trou de serrure.

Résumé Technique : HyenaND et nSubQ

Énoncé du Problème
Les modèles d'apprentissage profond traitent de plus en plus de données multidimensionnelles (ND) de grande taille, telles que des images à haute résolution, des volumes médicaux 3D et des champs physiques. L'architecture Transformer standard, bien qu'elle soit nativement multidimensionnelle, souffre d'une complexité computationnelle quadratique ( $O(L^2)$ ) par rapport à la longueur de la séquence, ce qui entrave son application aux tâches à haute résolution ou à contexte long. Le contournement habituel, la patchification (découpage en patchs), sacrifie la performance au profit de la tractabilité ; cependant, réduire la taille des patchs pour récupérer la structure fine augmente le nombre de tokens, réimposant ainsi le goulot d'étranglement quadratique.

Les alternatives subquadratiques existantes font face à des limitations significatives lorsqu'elles sont appliquées aux données ND :

Modèles Récurrents (ex. Mamba) : Ils sont intrinsèquement 1D et causaux. Pour traiter des données ND, ils nécessitent de « rasteriser » l'entrée selon des ordres de balayage 1D ad hoc, ce qui détruit la structure spatiale et les biais inductifs géométriques des données. De plus, leur dépendance à l'entrée est généralement au niveau du token, ce qui est sous-optimal pour des signaux qui sont approximativement invariants dans le temps et l'espace (LTI) et disponibles dans leur intégralité (environnements non autoregressifs).
Convolutions Standards : Bien qu'elles préservent la structure ND et offrent des voies rapides basées sur la FFT, les convolutions longues traditionnelles manquent de dépendance à l'entrée, ce qui limite leur expressivité par rapport aux mécanismes d'attention.

Méthodologie : HyenaND
Les auteurs introduisent HyenaND, un opérateur subquadratique, global et dépendant de l'entrée, conçu pour agir directement sur la géométrie native des données multidimensionnelles sans rasterisation.

Recadrage Architectural : L'article distingue deux branches distinctes dans le paysage des modèles d'espace d'état (SSM) :
- Récurrence Généralisée : Adaptée aux données 1D non-LTI (ex. texte).
- Convolution Généralisée : Adaptée aux données multidimensionnelles approximativement LTI. HyenaND appartient à cette branche.
Convolution ND Native : HyenaND effectue des convolutions directement sur des grilles $N$ -dimensionnelles ( $L_1 \times \dots \times L_N$ ). Il utilise un noyau $K$ global et implicitement paramétré, évalué via des transformées de Fourier rapides (FFT) $N$ -dimensionnelles, atteignant une complexité de $O(L \log L)$ .
Noyaux Dépendants de l'Entrée via des Registres et FiLM : Pour surmonter l'absence de dépendance à l'entrée des convolutions standards, HyenaND conditionne le noyau sur l'ensemble de l'échantillon d'entrée plutôt que sur des tokens individuels.
- Registres : $R$ tokens registres apprenables sont prépendés à la grille d'entrée. Ils sont traités conjointement pour intégrer l'information globale.
- Conditionnement FiLM : Une variable de contrôle $z(x)$ est dérivée des activations des registres via une moyenne pondérée par softmax. Cette variable module un MLP SIREN (Sinusoidal Representation Networks) basé sur les coordonnées $f_\theta$ en utilisant la modulation linéaire par caractéristique (FiLM).
- Synthèse du Noyau : Le noyau final est $K(x) = w(c) \odot f_\theta(c; z(x))$ , où $w$ est une fenêtre gaussienne apprenable. Cela permet au noyau de s'adapter à l'instance d'entrée spécifique tout en maintenant le chemin FFT global unique.
Paramétrage du Noyau : Le noyau est défini sur une grille de coordonnées continues à l'aide d'un SIREN, permettant une indépendance de résolution. Les auteurs introduisent une « initialisation multi-fréquence bloc-diagonale » pour le facteur d'échelle de fréquence $\omega_0$ du SIREN afin de garantir que le noyau puisse résoudre à la fois le contenu basse et haute fréquence à travers différents canaux.
Gestion des Limites : L'implémentation prend en charge les convolutions circulaires (pour les systèmes physiques périodiques) et les convolutions non-circulaires (pour les images/volumes naturels) en effectuant un padding par zéro des entrées pour doubler la taille de la grille avant la FFT, évitant ainsi les fuites de bord artificielles.

Implémentation : nSubQ
Pour combler l'écart entre la complexité asymptotique et la performance réelle (wall-clock), les auteurs ont développé nSubQ, une bibliothèque CUDA sensible aux entrées/sorties (IO-aware).

Noyaux Fusionnés : nSubQ fusionne la FFT directe, la modulation spectrale (application du noyau dépendant de l'entrée), la FFT inverse et la segmentation de sortie dans un seul noyau CUDA.
Efficacité Mémoire : En conservant les représentations intermédiaires dans la mémoire partagée sur puce (on-chip shared memory), il minimise le trafic vers la mémoire HBM (High Bandwidth Memory).
Performance : Cette fusion transforme l'avantage théorique de $O(L \log L)$ en accélérations pratiques, particulièrement pour les séquences longues où les mécanismes d'attention souffrent de goulots d'étranglement de bande passante mémoire.

Contributions Clés

Recadrage Conceptuel : Une séparation claire des opérateurs subquadratiques en familles récurrentes (1D) et convolutionnelles généralisées (ND), arguant que ces dernières sont le primitif naturel pour les données multidimensionnelles et LTI.
Opérateur HyenaND : Un opérateur ND natif, dépendant de l'échantillon, subquadratique, qui préserve les biais inductifs LTI et évite la rasterisation.
Bibliothèque nSubQ : Une implémentation CUDA haute performance qui atteint des accélérations réelles pour les convolutions FFT ND.
Validation Empirique : Évaluation complète à travers 1D (génomique), 2D (ImageNet), 3D (imagerie médicale) et la modélisation de PDE.

Résultats

Rappel Spatial Contrôlé : HyenaND surpasse significativement l'attention et Mamba bidirectionnel sur les tâches de « copie simple » 3D (MSE inférieure de 3 à 4 ordres de grandeur) grâce à son a priori d'équivariance par translation. Il maintient une résolution 3D native, là où l'attention échoue (OOM - Out Of Memory) ou nécessite une patchification agressive.
Contexte Long en Génomique (1D) : Sur OpenGenome2, les modèles hybrides HyenaND-attention (spécifiquement H2 avec 2 couches MHA) ont obtenu la perplexité la plus basse, surpassant les Transformers complets et les configurations Hyena pures. HyenaND a démontré un débit stable montant jusqu'à des contextes de 10 millions de tokens.
Vision par Ordinateur (ImageNet-1K) : Un HyenaND pur (backbone ViT-5-Small) a atteint 81,5 % de précision top-1, égalant la baseline d'attention. Les configurations hybrides (ex. $(H A) \times 6$ ) ont surpassé à la fois l'attention pure et les hybrides basés sur la récurrence (Mamba), atteignant 82,1 % de précision avec beaucoup moins de FLOPs (jusqu'à 8⁻² d'économie à de petites tailles de patchs).
Modélisation de PDE (The Well) : HyenaND a obtenu le plus bas VRMSE (Variance-Normalized RMSE) sur les cinq jeux de données (dynamique des fluides, MHD, etc.), surpassant à la fois les U-Nets ConvNeXt à pleine résolution et les baselines d'attention. Les gains de performance par rapport à l'attention augmentent avec la longueur de la séquence.
Segmentation Médicale 3D (PanTS) : Les modèles hybrides HyenaND-attention ont obtenu les scores Dice moyens les plus élevés (0,7559), dépassant les variantes d'attention pure et de Hyena pure. Les variantes HyenaND ont également réduit l'allocation de mémoire GPU de pointe d'environ 10,8 % par rapport à la baseline d'attention.

Signification et Revendications
L'article affirme que HyenaND et nSubQ répondent à la contrainte fondamentale qui force les modèles de fondation à dépendre de la patchification, laquelle érode l'information structurelle fine. En fournissant un opérateur ND natif, dépendant de l'échantillon et subquadratique, les auteurs permettent aux modèles d'ingérer les données à leur géométrie intrinsèque et à leur résolution native.

Les auteurs positionnent HyenaND non pas comme un remplacement universel de l'attention, mais comme un spécialiste complémentaire. Les empilements de HyenaND pur égalent les fortes baselines d'attention, tandis que les configurations hybrides (entrelaçant HyenaND et l'attention) surpassent systématiquement l'attention pure et les hybrides basés sur la récurrence. Cela suggère que la branche convolutionnelle (pour la structure globale et LTI) et la branche d'attention (pour la sélectivité fine) sont mieux utilisées de concert pour les modèles de fondation multimodaux. Le travail rend publiques à la fois l'architecture HyenaND et la bibliothèque nSubQ pour faciliter ce changement de conception architecturale.

Articles similaires