🤖 machine learning

Native Multi-Dimensional Subquadratic Operators via Input Dependent Long Convolutions

Este artículo presenta HyenaND, un operador subcuadrático y dependiente de la entrada que aplica convoluciones globales directamente a estructuras de datos multidimensionales nativas para superar las limitaciones de los modelos estándar de atención y recurrentes, logrando una precisión competitiva y aceleraciones significativas mediante una implementación especializada en CUDA.

Autores originales: David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Pali

Publicado 2026-07-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Paliwal

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a entender el mundo. En este momento, los mejores robots utilizan una herramienta llamada "atención" para mirar todo a la vez, como un estudiante escaneando una página entera de texto para encontrar las palabras más importantes. Esto funciona de maravilla para historias cortas, pero si le das al robot una biblioteca entera, una película en 3D o un mapa meteorológico complejo, la herramienta de "atención" se siente abrumada. Tiene que comparar cada pieza de datos con cada otra pieza, lo que consume tanto tiempo y energía que el robot colapsa o tiene que mirar los datos a través de un pequeño ojo de cerradura (un proceso llamado "patchification" o parcheado) solo para sobrevivir.

Para solucionar esto, los científicos han estado intentando construir herramientas más rápidas. Una idea popular es usar modelos "recurrentes", que leen los datos como una línea de texto, palabra tras palabra. Pero esto es como intentar entender una escultura 3D mirando solo desde un ángulo y luego adivinando el resto; destruye la forma natural del objeto. Otra idea es usar "convoluciones", que son como deslizar una lupa sobre una imagen para detectar patrones. Estas son rápidas y mantienen intacta la forma 3D, pero suelen actuar como un sello rígido, aplicando exactamente el mismo patrón a cada parte de la imagen sin prestar atención a lo que realmente hay allí. La gran pregunta en este rincón de la informática es: ¿Podemos construir una herramienta que sea lo suficientemente rápida para manejar datos 3D masivos, que mantenga la forma natural de esos datos y que sea lo suficientemente inteligente como para cambiar su "lupa" basándose en lo que ve?

Este artículo presenta una nueva herramienta llamada HyenaND que dice "sí". Piensa en HyenaND como una lupa mágica que cambia de forma y puede deslizarse sobre un objeto 3D (como un escaneo médico o una simulación meteorológica) sin llegar a aplanarlo nunca en una línea 1D. A diferencia de los sellos rígidos del pasado, esta herramienta puede observar el objeto completo primero, decidir qué tipo de patrón necesita encontrar y luego ajustar instantáneamente su lente para que coincida. Lo logra mediante un truco matemático ingenioso que involucra "transformadas de Fourier" (una forma de convertir imágenes en ondas sonoras para procesarlas más rápido) que mantiene la velocidad superalta, creciendo solo ligeramente más lento a medida que los datos se agrandan, en lugar de que el costo explote.

Los autores descubrieron que HyenaND es un cambio de paradigma para el manejo de datos multidimensionales complejos. En sus pruebas, demostraron que HyenaND puede realizar tareas que harían que las herramientas de "atención" estándar colapsaran debido a los límites de memoria, como analizar imágenes médicas 3D o simular la dinámica de fluidos. Cuando lo probaron en un juego de "copiado" donde el robot tenía que recordar un color específico de una cuadrícula 3D, HyenaND fue miles de veces más preciso que los métodos antiguos. También construyeron un motor de software especial llamado nSubQ para asegurar que este truco matemático se ejecute a la velocidad del rayo en chips de computadora reales, convirtiendo la velocidad teórica en ahorros de tiempo reales.

El artículo sugiere que, aunque HyenaND es increíblemente poderoso por sí solo, funciona aún mejor cuando se combina con las antiguas herramientas de "atención" en un equipo híbrido. En experimentos con secuencias de ADN, visión computacional (ImageNet) e imágenes médicas, estos equipos híbridos superaron tanto a los modelos de atención pura como a otros modelos rápidos que intentan leer los datos en una línea. Los autores argumentan que ya no tenemos que elegir entre velocidad e inteligencia; podemos tener una herramienta que respete la geometría 3D de nuestros datos, que escale a tamaños masivos y que, además, preste mucha atención a los detalles. Concluyen que este enfoque elimina un cuello de botella importante, permitiendo que la IA del futuro finalmente "vea" el mundo en su gloria nativa de alta resolución en 3D sin tener que mirar a través de un pequeño ojo de cerradura.

Resumen Técnico: HyenaND y nSubQ

Planteamiento del Problema
Los modelos de aprendizaje profundo procesan cada vez más datos multidimensionales (ND) de gran tamaño, como imágenes de alta resolución, volúmenes médicos 3D y campos físicos. La arquitectura Transformer estándar, aunque es nativamente multidimensional, sufre una complejidad computacional cuadrática ( $O(L^2)$ ) en relación con la longitud de la secuencia, lo que dificulta su aplicación a tareas de alta resolución o de contexto largo. El método de solución común, la "patchificación" (fragmentación en parches), sacrifica el rendimiento en favor de la tractabilidad; sin embargo, reducir el tamaño de los parches para recuperar la estructura de grano fino aumenta el conteo de tokens, imponiendo nuevamente el cuello de botella cuadrático.

Las alternativas subcuadráticas existentes enfrentan limitaciones significativas cuando se aplican a datos ND:

Modelos Recurrentes (p. ej., Mamba): Son inherentemente 1D y causales. Para procesar datos ND, requieren "rasterizar" la entrada en órdenes de escaneo 1D ad-hoc, lo que destruye la estructura espacial y los sesgos inductivos geométricos de los datos. Además, su dependencia de la entrada es típicamente a nivel de token, lo cual es subóptimo para señales que son aproximadamente Invariantes en el Tiempo Lineal (LTI) y están disponibles en su totalidad (entornos no autoregresivos).
Convoluciones Estándar: Aunque preservan la estructura ND y ofrecen rutas rápidas basadas en FFT, las convoluciones largas tradicionales carecen de dependencia de la entrada, lo que limita su expresividad en comparación con los mecanismos de atención.

Metodología: HyenaND
Los autores introducen HyenaND, un operador subcuadrático, global e dependiente de la entrada, diseñado para actuar directamente sobre la geometría nativa de los datos multidimensionales sin rasterización.

Reencuadre Arquitectónico: El artículo desglosa el panorama de los "Modelos de Espacio de Estados" (SSM) en dos ramas distintas:
- Recurrencia Generalizada: Adecuada para datos 1D no LTI (p. ej., texto).
- Convolución Generalizada: Adecuada para datos multidimensionales aproximadamente LTI. HyenaND pertenece a esta rama.
Convolución ND Nativa: HyenaND realiza convoluciones directamente sobre rejillas $N$ -dimensionales ( $L_1 \times \dots \times L_N$ ). Utiliza un kernel $K$ global e implícitamente parametrizado, evaluado mediante Transformadas Rápidas de Fourier (FFT) $N$ -dimensionales, logrando una complejidad de $O(L \log L)$ .
Kernels Dependientes de la Entrada mediante Registros y FiLM: Para superar la falta de dependencia de la entrada de las convoluciones estándar, HyenaND condiciona el kernel basándose en la muestra de entrada completa en lugar de en tokens individuales.
- Registros: Se preponen $R$ tokens de registro aprendibles a la rejilla de entrada. Estos se procesan conjuntamente para integrar información global.
- Condicionamiento FiLM: Una variable de control $z(x)$ se deriva de las activaciones de los registros mediante un promedio ponderado por softmax. Esta variable modula un MLP de representación sinusoidal (SIREN) basado en coordenadas $f_\theta$ utilizando Modulación Lineal por Características (FiLM).
- Síntesis del Kernel: El kernel final es $K(x) = w(c) \odot f_\theta(c; z(x))$ , donde $w$ es una ventana Gaussiana aprendible. Esto permite que el kernel se adapte a la instancia específica de la entrada mientras mantiene la ruta única de FFT global.
Parametrización del Kernel: El kernel se define sobre una rejilla de coordenadas continua utilizando un SIREN, lo que permite la independencia de la resolución. Los autores introducen una "inicialización de multifrecuencia de bloque diagonal" para el factor de escala de frecuencia $\omega_0$ del SIREN, para asegurar que el kernel pueda resolver contenido tanto de baja como de alta frecuencia a través de diferentes canales.
Manejo de Fronteras: La implementación soporta tanto convoluciones circulares (para sistemas físicos periódicos) como convoluciones no circulares (para imágenes/volúmenes naturales) mediante el uso de zero-padding en las entradas para duplicar el tamaño de la rejilla, evitando la fuga artificial en los bordes.

Implementación: nSubQ
Para cerrar la brecha entre la complejidad asintótica y el rendimiento en tiempo real (wall-clock), los autores desarrollaron nSubQ, una librería CUDA sensible a la E/S (IO-aware).

Kernels Fusionados: nSubQ fusiona la FFT hacia adelante, la modulación espectral (aplicación del kernel dependiente de la entrada), la FFT inversa y la segmentación de salida en un único kernel de CUDA.
Eficiencia de Memoria: Al mantener las representaciones intermedias en la memoria compartida en el chip, minimiza el tráfico de la Memoria de Alto Ancho de Banda (HBM).
Rendimiento: Esta fusión convierte la ventaja teórica de $O(L \log L)$ en aceleraciones prácticas, particularmente para secuencias largas donde los mecanismos de atención sufren cuellos de botella de ancho de banda de memoria.

Contribuciones Clave

Reencuadre Conceptual: Una separación clara de los operadores subcuadráticos en familias recurrentes (1D) y de convolución generalizada (ND), argumentando que estas últimas son el primitivo natural para datos multidimensionales y LTI.
Operador HyenaND: Un operador ND nativo, dependiente de la muestra, subcuadrático, que preserva los sesgos inductivos LTI y evita la rasterización.
Librería nSubQ: Una implementación de alto rendimiento en CUDA que logra aceleraciones en tiempo real para convoluciones FFT ND.
Validación Empírica: Evaluación exhaustiva en 1D (genómica), 2D (ImageNet), 3D (imágenes médicas) y modelado de EDP (Ecuaciones en Derivadas Parciales).

Resultados

Recuerdo Espacial Controlado: HyenaND supera significativamente a la atención y a Mamba bidireccional en tareas de "copia simple" 3D (menor MSE en 3 a 4 órdenes de magnitud) debido a su sesgo de equivariancia de traslación. Mantiene la resolución 3D nativa, mientras que la atención falla (OOM - fuera de memoria) o requiere una fragmentación agresiva.
Contexto Largo en Genómica (1D): En OpenGenome2, los modelos híbridos HyenaND-atención (específicamente H2 con 2 capas de MHA) lograron la menor perplejidad, superando a los Transformers completos y a las configuraciones puras de Hyena. HyenaND demostró un escalado de rendimiento estable hasta contextos de 10M de tokens.
Visión Computacional (ImageNet-1K): El modelo puro HyenaND (backbone ViT-5-Small) alcanzó un 81.5% de precisión top-1, igualando la línea base de atención. Las configuraciones híbridas (p. ej., $(H A) \times 6$ ) superaron tanto a la atención pura como a los híbridos basados en recurrencia (Mamba), logrando un 82.1% de precisión con significativamente menos FLOPs (hasta un ahorro del 82% en tamaños de parche pequeños).
Modelado de EDP (The Well): HyenaND logró el menor VRMSE (Error Cuadrático Medio Normalizado por Varianza) en todos los cinco conjuntos de datos (dinámica de fluidos, MHD, etc.), superando tanto a las redes U-Net de ConvNeXt de resolución completa como a las líneas base de atención. Las ganancias de rendimiento sobre la atención aumentaron con la longitud de la secuencia.
Segmentación Médica 3D (PanTS): Los modelos híbridos HyenaND-atención lograron los puntajes de Dice medios más altos (0.7559), superando las variantes puras de atención y de Hyena. Las variantes de HyenaND también redujeron la asignación de memoria pico de la GPU en aproximadamente un 10.8% en comparación con la línea base de atención.

Significancia y Reivindicaciones
El artículo afirma que HyenaND y nSubQ abordan la restricción fundamental que obliga a los modelos fundacionales a depender de la fragmentación en parches (patchification), lo cual erosiona la información estructural de grano fino. Al proporcionar un operador nativo ND, dependiente de la entrada y subcuadrático, los autores permiten que los modelos ingieran datos en su geometría intrínseca y resolución nativa.

Los autores posicionan a HyenaND no como un reemplazo universal para la atención, sino como un especialista complementario. Las pilas puras de HyenaND igualan las bases de atención fuertes, mientras que las configuraciones híbridas (entrelazando HyenaND y atención) superan consistentemente tanto a la atención pura como a los híbridos basados en recurrencia. Esto sugiere que la rama convolucional (para la estructura global y LTI) y la rama de atención (para la selectividad de grano fino) se utilizan mejor en conjunto para modelos fundacionales multimodales. El trabajo libera tanto la arquitectura HyenaND como la librería nSubQ para facilitar este cambio en el diseño arquitectónico.

Más como este