🤖 machine learning

Native Multi-Dimensional Subquadratic Operators via Input Dependent Long Convolutions

Questo articolo introduce HyenaND, un operatore subquadratico e dipendente dall'input che applica convoluzioni globali direttamente a strutture dati multidimensionali native per superare i limiti dei modelli standard di attenzione e ricorrenti, ottenendo un'accuratezza competitiva e significativi accelerazioni attraverso un'implementazione CUDA specializzata.

Autori originali: David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Pali

Pubblicato 2026-07-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Paliwal

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente a comprendere il mondo. In questo momento, i migliori robot utilizzano uno strumento chiamato "attenzione" per guardare tutto insieme, come uno studente che scansiona un'intera pagina di testo per trovare le parole più importanti. Questo funziona molto bene per i racconti brevi, ma se dai al robot una biblioteca intera, un film in 3D o una complessa mappa meteorologica, lo strumento di "attenzione" viene sopraffatto. Deve confrontare ogni singolo pezzo di dati con ogni altro pezzo, il che richiede così tanto tempo ed energia che il robot va in crash o deve socchiudere gli occhi per guardare i dati attraverso un minuscolo buco della serratura (un processo chiamato "patchification") solo per sopravvivere.

Per risolvere questo problema, gli scienziati hanno cercato di costruire strumenti più veloci. Un'idea popolare è quella di usare modelli "ricorrenti", che leggono i dati come una riga di testo, una parola dopo l'altra. Ma questo è come cercare di comprendere una scultura 3D guardandola solo da un'angolazione e poi indovinando il resto; distrugge la forma naturale dell'oggetto. Un'altra idea è quella di usare le "convoluzioni", che sono come far scorrere una lente d'ingrandimento su un'immagine per individuare dei pattern. Queste sono veloci e mantengono intatta la forma 3D, ma solitamente agiscono come un timbro rigido, applicando lo stesso identico schema a ogni parte dell'immagine senza prestare attenzione a ciò che vi è realmente presente. La grande domanda in questo angolo dell'informatica è: Possiamo costruire uno strumento che sia abbastanza veloce da gestire enormi dati 3D, che mantenga la forma naturale dei nostri dati e che sia abbastanza intelligente da cambiare la propria "lente d'ingrandimento" in base a ciò che vede?

Questo articolo introduce un nuovo strumento chiamato HyenaND che dice "sì". Pensa a HyenaND come a una lente d'ingrandimento magica e metamorfica che può scorrere su un oggetto 3D (come una scansione medica o una simulazione meteorologica) senza mai appiattirlo in una linea 1D. A differenza dei timbri rigidi del passato, questo strumento può guardare l'intero oggetto prima, decidere quale tipo di pattern deve cercare e poi regolare istantaneamente la sua lente per adattarsi. Lo fa usando un astuto trucco matematico che coinvolge le "trasformate di Fourier" (un modo per trasformare le immagini in onde sonore per elaborarle più velocemente) che mantiene la velocità altissima, crescendo solo leggermente man mano che i dati diventano più grandi, invece di esplodere nei costi.

Gli autori hanno scoperto che HyenaND è un punto di svolta per la gestione di dati multidimensionali complessi. Nei loro test, hanno dimostrato che HyenaND può gestire compiti che farebbero crashare i normali strumenti di "attenzione" a causa dei limiti di memoria, come l'analisi di immagini mediche 3D o la simulazione della dinamica dei fluidi. Quando lo hanno testato in un gioco di "copia" dove il robot doveva ricordare un colore specifico da una griglia 3D, HyenaND è stato migliaia di volte più accurato dei vecchi metodi. Hanno anche costruito un motore software speciale chiamato nSubQ per garantire che questo trucco matematico giri velocemente come il fulmine sui veri chip dei computer, trasformando la velocità teorica in risparmio di tempo effettivo.

L'articolo suggerisce che, sebbene HyenaND sia incredibilmente potente da solo, funziona ancora meglio quando accoppiato agli antichi strumenti di "attenzione" in un team ibrido. Negli esperimenti con sequenze di DNA, visione artificiale (ImageNet) e imaging medico, questi team ibridi hanno superato sia i modelli di pura attenzione che gli altri modelli veloci che tentano di leggere i dati in linea. Gli autori sostengono che non dobbiamo più scegliere tra velocità e intelligenza; possiamo avere uno strumento che rispetta la geometria 3D dei nostri dati, scala verso dimensioni massicce e riesce comunque a prestare molta attenzione ai dettagli. Concludono che questo approccio rimuove un importante collo di bottiglia, permettendo all'IA del futuro di poter finalmente "vedere" il mondo nel suo splendore 3D nativo e ad alta risoluzione, senza dover socchiudere gli occhi attraverso un minuscolo buco della serratura.

Sintesi Tecnica: HyenaND e nSubQ

Problematica
I modelli di deep learning elaborano sempre più dati multi-dimensionali (ND) di grandi dimensioni, come immagini ad alta risoluzione, volumi medici 3D e campi fisici. L'architettura standard Transformer, pur essendo nativamente multi-dimensionale, soffre di una complessità computazionale quadratica ( $O(L^2)$ ) rispetto alla lunghezza della sequenza, ostacolando la sua applicazione a compiti ad alta risoluzione o a lungo contesto. Il comune metodo di aggiramento, la "patchification", scambia le prestazioni per la trattabilità; tuttavia, ridurre le dimensioni delle patch per recuperare la struttura fine aumenta il numero di token, imponendo nuovamente il collo di bottiglia quadratico.

Le attuali alternative subquadratiche affrontano limitazioni significative quando applicate a dati ND:

Modelli Ricorrenti (es. Mamba): Sono intrinsecamente 1D e causali. Per elaborare dati ND, richiedono la "rasterizzazione" dell'input in ordini di scansione 1D ad hoc, il che distrugge la struttura spaziale e i bias induttivi geometrici dei dati. Inoltre, la loro dipendenza dall'input è tipicamente a livello di token, il che è subottimale per segnali che sono approssimativamente Lineari Tempo-Invarianti (LTI) e disponibili integralmente (in contesti non autoregressivi).
Convoluzioni Standard: Sebbene preservino la struttura ND e offrano percorsi veloci basati su FFT, le convoluzioni a lungo raggio tradizionali mancano di dipendenza dall'input, limitando la loro espressività rispetto ai meccanismi di attenzione.

Metodologia: HyenaND
Gli autori introducono HyenaND, un operatore subquadratico, globale e dipendente dall'input, progettato per operare direttamente sulla geometria nativa dei dati multi-dimensionali senza rasterizzazione.

Rifocalizzazione Architetturale: Il documento separa il panorama degli "State-Space Model" (SSM) in due rami distinti:
- Ricorrente Generalizzato: Adatto per dati 1D non LTI (es. testo).
- Convolutivo Generalizzato: Adatto per dati multi-dimensionali approssimativamente LTI. HyenaND appartiene a questo ramo.
Convoluzione ND Nativa: HyenaND esegue convoluzioni direttamente su griglie $N$ -dimensionali ( $L_1 \times \dots \times L_N$ ). Utilizza un kernel $K$ globale, parametrizzato implicitamente, valutato tramite FFT multi-dimensionali, raggiungendo una complessità di $O(L \log L)$ .
Kernel Dipendenti dall'Input tramite Register e FiLM: Per superare la mancanza di dipendenza dall'input delle convoluzioni standard, HyenaND condiziona il kernel sull'intero campione di input anziché sui singoli token.
- Register: $R$ token di registro apprendibili sono preposti alla griglia di input. Questi vengono elaborati congiuntamente per integrare l'informazione globale.
- Condizionamento FiLM: Una variabile di controllo $z(x)$ viene derivata dalle attivazioni del registro tramite una media pesata softmax. Questa variabile modula un MLP SIREN (Sinusoidal Representation Networks) basato su coordinate $f_\theta$ utilizzando la modulazione lineare per caratteristiche (FiLM).
- Sintesi del Kernel: Il kernel finale è $K(x) = w(c) \odot f_\theta(c; z(x))$ , dove $w$ è una finestra gaussiana apprendibile. Ciò consente al kernel di adattarsi alla specifica istanza di input mantenendo il singolo percorso FFT globale.
Parametrizzazione del Kernel: Il kernel è definito su una griglia di coordinate continua utilizzando una SIREN, permettendo l'indipendenza dalla risoluzione. Gli autori introducono una "inizializzazione multi-frequenza diagonale a blocchi" per il fattore di scala della frequenza $\omega_0$ della SIREN, per garantire che il kernel possa risolvere sia il contenuto a bassa che quello ad alta frequenza attraverso diversi canali.
Gestione dei Bordi: L'implementazione supporta sia convoluzioni circolari (per sistemi fisici periodici) che non circolari (per immagini/volumi naturali) mediante il padding con zeri dell'input per raddoppiare la dimensione della griglia prima della FFT, evitando perdite artificiali ai bordi.

Implementazione: nSubQ
Per colmare il divario tra complessità asintotica e prestazioni in termini di tempo di esecuzione (wall-clock), gli autori hanno sviluppato nSubQ, una libreria CUDA consapevole dell'IO.

Kernel Fusi: nSubQ fonde la FFT forward, la modulazione spettrale (applicazione del kernel dipendente dall'input), la FFT inversa e la segmentazione dell'output in un unico kernel CUDA.
Efficienza della Memoria: Mantenendo le rappresentazioni intermedie nella memoria condivisa on-chip, minimizza il traffico verso la memoria ad alta larghezza di banda (HBM).
Prestazioni: Questa fusione trasforma il vantaggio teorico $O(L \log L)$ in accelerazioni pratiche, particolarmente per sequenze lunghe dove i meccanismi di attenzione soffrono di colli di bottiglia nella larghezza di banda della memoria.

Contributi Chiave

Rifocalizzazione Concettuale: Una chiara separazione degli operatori subquadratici nelle famiglie ricorrenti (1D) e convolutive generalizzate (ND), sostenendo che queste ultime siano il primitivo naturale per i dati multi-dimensionali e LTI.
Operatore HyenaND: Un operatore ND nativo, dipendente dal campione, subquadratico, che preserva i bias induttivi LTI ed evita la rasterizzazione.
Libreria nSubQ: Un'implementazione CUDA ad alte prestazioni che raggiunge accelerazioni reali per le convoluzioni FFT ND.
Validazione Empirica: Valutazione completa attraverso 1D (genomica), 2D (ImageNet), 3D (imaging medico) e modellazione di PDE.

Risultati

Richiamo Spaziale Controllato: HyenaND supera significativamente l'attenzione e Mamba bidirezionale nei compiti 3D di "copia semplice" (MSE inferiore di 3–4 ordini di grandezza) grazie al suo prior di invarianza per traslazione. Mantiene la risoluzione 3D nativa, mentre l'attenzione fallisce (OOM) o richiede una patchification aggressiva.
Genomica a Lungo Contesto (1D): Su OpenGenome2, i modelli ibridi HyenaND-attention (specificamente H2 con 2 strati MHA) hanno ottenuto la perplexity più bassa, superando i Transformer completi e le configurazioni Hyena pure. HyenaND ha dimostrato uno scaling stabile del throughput fino a contesti di 10M di token.
Visione Artificiale (ImageNet-1K): HyenaND puro (backbone ViT-5-Small) ha raggiunto l'81,5% di accuratezza top-1, eguagliando la baseline di attenzione. Le configurazioni ibride (es. $(H A) \times 6$ ) hanno superato sia l'attenzione pura che gli ibridi basati sulla ricorrenza (Mamba), raggiungendo l'82,1% di accuratezza con molti meno FLOP (risparmio fino all'82% con piccole dimensioni delle patch).
Modellazione PDE (The Well): HyenaND ha ottenuto il valore più basso di Variance-Normalized RMSE (VRMSE) su tutti e cinque i dataset (dinamica dei fluidi, MHD, ecc.), superando sia i ConvNeXt U-Net a risoluzione completa che le baseline di attenzione. I guadagni di prestazione rispetto all'attenzione aumentano con la lunghezza della sequenza.
Segmentazione Medica 3D (PanTS): I modelli ibridi HyenaND-attention hanno ottenuto i punteggi Mean Dice più elevati (0,7559), superando le varianti pure di attenzione e Hyena. Anche le varianti HyenaND hanno ridotto l'allocazione di memoria GPU di picco di circa il 10,8% rispetto alla baseline di attenzione.

Significato e Rivendicazioni
Il documento afferma che HyenaND e nSubQ affrontano il vincolo fondamentale che costringe i modelli di fondazione a fare affidamento sulla patchification, la quale erode le informazioni strutturali fini. Fornendo un operatore ND nativo, dipendente dal campione e subquadratico, gli autori consentono ai modelli di ingerire i dati alla loro geometria intrinseca e alla loro risoluzione nativa.

Gli autori posizionano HyenaND non come un sostituto universale dell'attenzione, ma come uno specialista complementare. Gli stack di HyenaND puro eguagliano le forti baseline di attenzione, mentre le configurazioni ibride (intercalando HyenaND e attenzione) superano costantemente sia l'attenzione pura che gli ibridi basati sulla ricorrenza. Ciò suggerisce che il ramo convolutivo (per la struttura globale e LTI) e il ramo dell'attenzione (per la selettività fine) siano meglio utilizzati in tandem per i modelli di fondazione multi-modali. Il lavoro rilascia sia l'architettura HyenaND che la libreria nSubQ per facilitare questo passaggio nel design architettonico.

Articoli simili