🤖 machine learning

Native Multi-Dimensional Subquadratic Operators via Input Dependent Long Convolutions

Dit artikel introduceert HyenaND, een subkwadratische, input-afhankelijke operator die globale convoluties direct toepast op natuurlijke multidimensionale datastructuren om de beperkingen van standaard aandacht en recurrente modellen te overwinnen, waarbij competitieve nauwkeurigheid en significante versnellingen worden bereikt door middel van een gespecialiseerde CUDA-implementatie.

Oorspronkelijke auteurs: David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Pali

Gepubliceerd 2026-07-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Paliwal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren de wereld te begrijpen. Op dit moment gebruiken de beste robots een hulpmiddel genaamd "attention" om alles tegelijk te bekijken, zoals een student die een hele pagina tekst scant om de belangrijkste woorden te vinden. Dit werkt geweldig voor korte verhalen, maar als je de robot een hele bibliotheek, een 3D-film of een complexe weerkaart geeft, raakt het "attention"-hulpmiddel overweldigd. Het moet elk stukje data met elk ander stukje data vergelijken, wat zoveel tijd en energie kost dat de robot crasht of de data door een piepklein kijkgat moet bekijken (een proces dat "patchification" wordt genoemd) om te overleven.

Om dit op te lossen, proberen wetenschappers snellere hulpmiddelen te bouwen. Een populair idee is om "recurrent" modellen te gebruiken, die data lezen zoals een regel tekst, één woord na het andere. Maar dit is alsof je probeert een 3D-beeldhouwwerk te begrijpen door er slechts vanuit één hoek naar te kijken en de rest te raden; dit vernietigt de natuurlijke vorm van het object. Een ander idee is het gebruik van "convolutions", die zijn als het over een afbeelding schuiven met een vergrootglas om patronen te ontdekken. Deze zijn snel en houden de 3D-vorm intact, maar ze werken meestal als een rigide stempel, waarbij ze exact hetzelfde patroon op elk deel van de afbeelding toepassen zonder aandacht te besteden aan wat er daadwerkelijk te zien is. De grote vraag in deze hoek van de informatica is: Kunnen we een hulpmiddel bouwen dat snel genoeg is om enorme 3D-data aan te kunnen, de natuurlijke vorm van die data behoudt, en slim genoeg is om zijn "vergrootglas" aan te passen op basis van wat het ziet?

Dit artikel introduceert een nieuw hulpmiddel genaamd HyenaND dat "ja" zegt. Denk aan HyenaND als een magisch, vormveranderend vergrootglas dat over een 3D-object kan glijden (zoals een medische scan of een weersimulatie) zonder het ooit plat te drukken tot een 1D-lijn. In tegen tegenstelling tot de rigide stempels uit het verleden, kan dit hulpmiddel eerst naar het hele object kijken, beslissen welk type patroon het moet vinden, en vervolgens direct zijn lens aanpassen om erbij te passen. Dit doet het met een slimme wiskundige truc die gebruikmaakt van "Fourier-transformaties" (een manier om afbeeldingen om te zetten in geluidsgolven om ze sneller te verwerken) die de snelheid superhoog houdt, waarbij de kosten slechts lichtjes toenemen naarmate de data groter wordt, in plaats van dat ze explosief stijgen.

De auteurs ontdekten dat HyenaND een gamechanger is voor het verwerken van complexe, meerdimensionale data. In hun tests lieten ze zien dat HyenaND taken kan uitvoeren die standaard "attention"-hulpmiddelen zouden laten crashen vanwege geheugenlimieten, zoals het analyseren van 3D medische beelden of het simuleren van vloeistofdynamica. Toen ze het testten op een "kopieerspel" waarbij de robot een specifieke kleur uit een 3D-raster moest onthouden, was HyenaND duizenden keren nauwkeuriger dan de oude methoden. Ze bouwden ook een speciale software-engine genaamd nSubQ om ervoor te zorgen dat deze wiskundige truc razendsnel draait op echte computerchips, waardoor theoretische snelheid wordt omgezet in werkelijke tijdwinst.

Het artikel suggereert dat hoewel HyenaND op zichzelf al ongelooflijk krachtig is, het nog beter werkt wanneer het wordt gecombineerd met de oude "attention"-hulpmiddelen in een hybride team. In experimenten met DNA-sequenties, computer vision (ImageNet) en medische beeldvorming versloegen deze hybride teams zowel pure attention-modellen als andere snelle modellen die proberen data in een lijn te lezen. De auteurs stellen dat we niet langer hoeven te kiezen tussen snelheid en intelligentie; we kunnen een hulpmiddel hebben dat de 3D-geometrie van onze data respecteert, schaalt naar enorme formaten, en toch nauwgezet op de details let. Ze concluderen dat deze aanpak een belangrijke flessenhals wegneemt, waardoor toekomstige AI eindelijk de wereld in haar natuurlijke, hoogresolutie 3D-pracht kan "zien" zonder door een piepklein kijkgat te hoeven turen.

Technische Samenvatting: HyenaND en nSubQ

Probleemstelling
Deep learning-modellen verwerken steeds vaker grote, meerdimensionale (ND) data, zoals hoogresolutiebeelden, 3D medische volumes en fysieke velden. De standaard Transformer-architectuur, hoewel van nature meerdimensionaal, lijdt onder een kwadratische computationele complexiteit ( $O(L^2)$ ) ten opzichte van de sequentielengte, wat de toepassing op hoogresolutie- of lang-contexttaken belemmert. De gebruikelijke workaround, patchificatie, ruilt prestaties in voor hanteerbaarheid; echter, het verkleinen van patchgroottes om fijnmazige structuren te herstellen, verhoogt het aantal tokens, waardoor de kwadratische bottleneck opnieuw ontstaat.

Bestaande subkwadratische alternatieven kampen met aanzienlijke beperkingen bij de toepassing op ND-data:

Recurrente Modellen (bijv. Mamba): Deze zijn inherent 1D en causaal. Om ND-data te verwerken, vereisen ze "rasterisatie" naar ad-hoc 1D scanordes, wat de ruimtelijke structuur en geometrische inductieve biases van de data vernietigt. Bovendien is hun inputafhankelijkheid doorgaans op token-niveau, wat suboptimaal is voor signalen die ongeveer Lineair Tijd-Invariant (LTI) zijn en volledig beschikbaar zijn (niet-autoregressieve settings).
Standaard Convoluties: Hoewel ze de ND-structuur behouden en snelle FFT-gebaseerde paden bieden, missen traditionele lange convoluties inputafhankelijkheid, wat de expressiviteit beperkt in vergelijking met attention-mechanismen.

Methodologie: HyenaND
De auteurs introduceren HyenaND, een subkwadratische, globale, input-afhankelijke operator die ontworpen is om direct te werken op de natuurlijke geometrie van meerdimensionale data zonder rasterisatie.

Architecturale Herformulering: Het artikel ontleedt het "State-Space Model" (SSM) landschap in twee afzonderlijke takken:
- Gegeneraliseerde Recurrente: Geschikt voor 1D niet-LTI data (bijv. tekst).
- Gegeneraliseerde Convolutieve: Geschikt voor ongeveer LTI, meerdimensionale data. HyenaND behoort tot deze tak.
Natuurlijke ND-convolutie: HyenaND voert convoluties direct uit op $N$ -dimensionale roosters ( $L_1 \times \dots \times L_N$ ). Het maakt gebruik van een globale, impliciet geparametriseerde kernel $K$ die wordt geëvalueerd via $N$ -dimensionale Fast Fourier Transforms (FFTs), waarmee een complexiteit van $O(L \log L)$ wordt bereikt.
Input-afhankelijke Kernels via Registers en FiLM: Om het gebrek aan inputafhankelijkheid in standaard convoluties te overwinnen, conditioneert HyenaND de kernel op de gehele input-sample in plaats van op individuele tokens.
- Registers: $R$ leerbare register-tokens worden voorafgevoegd aan het input-rooster. Deze worden gezamenlijk verwerkt om globale informatie te integreren.
- FiLM-conditionering: Een controlevariabele $z(x)$ wordt afgeleid uit de register-activaties via een softmax-gewogen gemiddelde. Deze variabele moduleert een coördinaat-gebaseerde SIREN (Sinusoidal Representation Networks) MLP $f_\theta$ middels Feature-wise Linear Modulation (FiLM).
- Kernel Synthese: De uiteindelijke kernel is $K(x) = w(c) \odot f_\theta(c; z(x))$ , waarbij $w$ een leerbaar Gaussian window is. Dit stelt de kernel in staat om zich aan te passen aan de specifieke input-instantie terwijl de enkele globale FFT-pad behouden blijft.
Kernel Parameterisatie: De kernel is gedefinieerd op een continu coördinaatrooster met behulp van een SIREN, wat resolutie-onafhankelijkheid mogelijk maakt. De auteurs introduceren een "block-diagonal multi-frequency initialisatie" voor de SIREN's frequentieschaalfactor $\omega_0$ om ervoor te zorgen dat de kernel zowel laag- als hoogfrequente inhoud over verschillende kanalen kan oplossen.
Afhandeling van Grenzen: De implementatie ondersteunt zowel circulaire convoluties (voor periodieke fysische systemen) als niet-circulaire convoluties (voor natuurlijke beelden/volumes) door inputs te zero-paden tot het dubbele van de roostergrootte voordat de FFT wordt uitgevoerd, om kunstmatige grensafwijking (boundary leakage) te voorkomen.

Implementatie: nSubQ
Om de kloof tussen asymptotische complexiteit en wall-clock prestaties te overbruggen, hebben de auteurs nSubQ ontwikkeld, een IO-bewuste CUDA-bibliotheek.

Fused Kernels: nSubQ fuseert de forward FFT, spectrale modulatie (het toepassen van de input-afhankelijke kernel), inverse FFT en output-segmentatie in één enkele CUDA-kernel.
Geheugenefficiëntie: Door tussenliggende representaties in on-chip shared memory te houden, minimaliseert het het verkeer naar het High Bandwidth Memory (HBM).
Prestaties: Deze fusie zet het theoretische $O(L \log L)$ voordeel om in praktische versnellingen, vooral voor lange sequenties waar attention-mechanismen last hebben van geheugenbandbreedte-bottlenecks.

Belangrijkste Bijdragen

Conceptuele Herformulering: Een duidelijke scheiding van subkwadratische operatoren in recurrente (1D) en gegeneraliseerde convolutieve (ND) families, waarbij wordt beargumenteerd dat de laatste het natuurlijke primitief is voor meerdimensionale, LTI data.
HyenaND Operator: Een natuurlijke ND, sample-niveau input-afhankelijke, subkwadratische operator die LTI-inductieve biases behoudt en rasterisatie vermijdt.
nSubQ Library: Een hoogperformante CUDA-implementatie die wall-clock versnellingen bereikt voor ND FFT-convoluties.
Empirische Validatie: Uitgebreide evaluatie over 1D (genomica), 2D (ImageNet), 3D (medische beeldvorming) en PDE-modellering.

Resultaten

Gecontroleerde Ruimtelijke Recall: HyenaND presteert aanzienlijk beter dan attention en bidirectionele Mamba op 3D "simple copy" taken (lagere MSE met 3–4 ordes van grootte) vanwege de translation-equivariant prior. Het behoudt de natuurlijke 3D-resolutie, terwijl attention faalt (OOM) of agressieve patchificatie vereist.
Lang-Context Genomics (1D): Op OpenGenome2 bereikten hybride HyenaND-attention modellen (specifiek H2 met 2 MHA lagen) de laagste perplexiteit, waarbij ze volledige Transformers en pure Hyena-configuraties overtroffen. HyenaND demonstreerde stabiele throughput-scaling tot 10M token-contexten.
Computer Vision (ImageNet-1K): Pure HyenaND (ViT-5-Small backbone) bereikte 81,5% top-1 accuraatheid, wat overeenkomt met de attention baseline. Hybride configuraties (bijv. $(H A) \times 6$ ) presteerden beter dan zowel pure attention als recurrente Mamba-hybriden, met een 82,1% accuraatheid en aanzienlijk minder FLOPs (tot 82% besparing bij kleine patchgroottes).
PDE Modellering (The Well): HyenaND bereikte de laagste Variance-Normalized RMSE (VRMSE) op alle vijf de datasets (vloeistofdynamica, MHD, etc.), en presteerde beter dan zowel volledige resolutie ConvNeXt U-Nets als attention baselines. De prestatiewinst ten opzichte van attention nam toe met de sequentielengte.
3D Medische Segmentatie (PanTS): Hybride HyenaND-attention modellen bereikten de hoogste Mean Dice scores (0.7559), waarmee ze pure attention en pure Hyena varianten overtroffen. HyenaND varianten verminderden ook de piek GPU-geheugentoewijzing met ~10,8% vergeleken met de attention baseline.

Betekenis en Claims
Het artikel claimt dat HyenaND en nSubQ de fundamentele beperking aanpakken die foundation modellen dwingt om te vertrouwen op patchificatie, wat de fijnmazige structurele informatie erodeert. Door een natuurlijke ND, input-afhankelijke, subkwadratische operator te bieden, stellen de auteurs modellen in staat om data te consumeren op hun intrinsieke geometrie en natuurlijke resolutie.

De auteurs positioneren HyenaND niet als een universele vervanging voor attention, maar als een complementaire specialist. Pure HyenaND stacks matchen sterke attention baselines, terwijl hybride configuraties (het afwisselen van HyenaND en attention) consequent zowel pure attention als recurrente hybriden overtreffen. Dit sugggeert dat de convolutieve tak (voor globale, LTI structuur) en de attention tak (voor fijnmazige selectiviteit) het beste samen gebruikt kunnen worden voor multi-modale foundation modellen. Het werk brengt zowel de HyenaND architectuur als de nSubQ bibliotheek uit om deze verschuiving in architecturaal ontwerp te faciliteren.

Meer zoals dit