🤖 machine learning

Native Multi-Dimensional Subquadratic Operators via Input Dependent Long Convolutions

Este artigo apresenta o HyenaND, um operador subquadrático e dependente da entrada que aplica convoluções globais diretamente a estruturas de dados multidimensionais nativas para superar as limitações dos modelos de atenção e recorrentes padrão, alcançando precisão competitiva e acelerações significativas por meio de uma implementação CUDA especializada.

Autores originais: David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Pali

Publicado 2026-07-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Paliwal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô superinteligente a entender o mundo. No momento, os melhores robôs usam uma ferramenta chamada "atenção" para olhar para tudo de uma vez, como um aluno percorrendo uma página inteira de texto para encontrar as palavras mais importantes. Isso funciona muito bem para histórias curtas, mas se você der ao robô uma biblioteca inteira, um filme em 3D ou um mapa meteorológico complexo, a ferramenta de "atenção" fica sobrecarregada. Ela tem que comparar cada pedaço de dado com todos os outros, o que leva tanto tempo e energia que o robô trava ou tem que espiar os dados através de um buraco de fechadura minúsculo (um processo chamado "patchificação").

Para consertar isso, cientistas têm tentado construir ferramentas mais rápidas. Uma ideia popular é usar modelos "recorrentes", que leem dados como uma linha de texto, uma palavra após a outra. Mas isso é como tentar entender uma escultura 3D olhando apenas para ela de um ângulo e depois adivinhando o resto; isso destrói a forma natural do objeto. Outra ideia é usar "convoluções", que são como deslizar uma lupa sobre uma imagem para detectar padrões. Elas são rápidas e mantêm a forma 3D intacta, mas geralmente agem como um carimbo rígido, aplicando o mesmo padrão exato em cada parte da imagem sem prestar atenção ao que realmente está lá. A grande questão neste canto da ciência da computação é: Podemos construir uma ferramenta que seja rápida o suficiente para lidar com dados 3D massivos, mantenha a forma natural desses dados e seja inteligente o suficiente para mudar sua "lupa" com base no que vê?

Este artigo apresenta uma nova ferramenta chamada HyenaND que diz "sim". Pense no HyenaND como uma lupa mágica e metamórfica que pode deslizar sobre um objeto 3D (como um exame médico ou uma simulação meteorológica) sem nunca achatá-lo em uma linha 1D. Ao contrário dos carimbos rígidos do passado, esta ferramenta pode olhar para o objeto inteiro primeiro, decidir que tipo de padrão precisa encontrar e, em seguida, ajustar instantaneamente sua lente para corresponder a ele. Ela faz isso usando um truque matemático inteligente envolvendo "transformadas de Fourier" (uma maneira de transformar imagens em ondas sonoras para processá-las mais rápido) que mantém a velocidade super alta, crescendo apenas ligeiramente mais devagar à medida que os dados aumentam, em vez de explodir em custo.

Os autores descobriram que o HyenaND é um divisor de águas para lidar com dados multidimensionais complexos. Em seus testes, eles mostraram que o HyenaND pode lidar com tarefas que fariam as ferramentas de "atenção" padrão travarem devido aos limites de memória, como analisar imagens médicas 3D ou simular a dinâmica de fluidos. Quando testaram em um jogo de "cópia" onde o robô tinha que lembrar de uma cor específica de uma grade 3D, o HyenaND foi milhares de vezes mais preciso que os métodos antigos. Eles também construíram um motor de software especial chamado nSubQ para garantir que esse truque matemático rode de forma extremamente rápida em chips de computador reais, transformando velocidade teórica em economia de tempo real.

O artigo sugere que, embora o HyenaND seja incrivelmente poderoso por si só, ele funciona ainda melhor quando pareado com as antigas ferramentas de "atenção" em uma equipe híbrida. Em experimentos com sequências de DNA, visão computacional (ImageNet) e imagens médicas, essas equipes híbridas superaram tanto os modelos de atenção pura quanto outros modelos rápidos que tentam ler os dados em uma linha. Os autores argumentam que não precisamos mais escolher entre velocidade e inteligência; podemos ter uma ferramenta que respeita a geometria 3D dos nossos dados, escala para tamanhos massivos e ainda presta muita atenção aos detalhes. Eles concluem que essa abordagem remove um grande gargalo, permitindo que a IA do futuro finalmente "veja" o mundo em sua glória nativa, de alta resolução e 3D, sem ter que espiar através de um pequeno buraco de fechadura.

Resumo Técnico: HyenaND e nSubQ

Definição do Problema
Modelos de aprendizado profundo processam cada vez mais dados multidimensionais (ND) de grande escala, como imagens de alta resolução, volumes médicos 3D e campos físicos. A arquitetura Transformer padrão, embora nativamente multidimensional, sofre de uma complexidade computacional quadrática ( $O(L^2)$ ) em relação ao comprimento da sequência, o que dificulta sua aplicação em tarefas de alta resolução ou de contexto longo. O contorno comum, a "patchificação" (divisão em patches), sacrifica o desempenho em prol da tratabilidade; no entanto, reduzir o tamanho dos patches para recuperar a estrutura de grão fino aumenta a contagem de tokens, reimpondo o gargalo quadrático.

As alternativas subquadráticas existentes enfrentam limitações significativas quando aplicadas a dados ND:

Modelos Recorrentes (ex: Mamba): São inerentemente 1D e causais. Para processar dados ND, exigem a "rasterização" da entrada em ordens de varredura 1D ad-hoc, o que destrói a estrutura espacial e os vieses indutivos geométricos dos dados. Além disso, sua dependência de entrada é tipicamente ao nível do token, o que é subótimo para sinais que são aproximadamente Invariantes no Tempo e no Espaço (LTI) e disponíveis na íntegra (em configurações não-autoregressivas).
Convoluções Padrão: Embora preservem a estrutura ND e ofereçam caminhos rápidos baseados em FFT, as convoluções longas tradicionais carecem de dependência de entrada, limitando sua expressividade em comparação aos mecanismos de atenção.

Metodologia: HyenaND
Os autores introduzem o HyenaND, um operador subquadrático, global e dependente da entrada, projetado para atuar diretamente na geometria nativa de dados multidimensionais sem rasterização.

Reenquadramento Arquitetural: O artigo desmembra o panorama dos "Modelos de Espaço de Estados" (SSM) em dois ramos distintos:
- Recorrência Generalizada: Adequada para dados 1D não-LTI (ex: texto).
- Convolução Generalizada: Adequada para dados multidimensionais aproximadamente LTI. O HyenaND pertence a este ramo.
Convolução ND Nativa: O HyenaND realiza convoluções diretamente em grades $N$ -dimensionais ( $L_1 \times \dots \times L_N$ ). Ele utiliza um kernel $K$ global e implicitamente parametrizado, avaliado via Transformadas Rápidas de Fourier (FFT) $N$ -dimensionais, alcançando complexidade $O(L \log L)$ .
Kernels Dependentes da Entrada via Registros e FiLM: Para superar a falta de dependência de entrada das convoluções padrão, o HyenaND condiciona o kernel em toda a amostra de entrada, em vez de em tokens individuais.
- Registros: $R$ tokens de registro aprendíveis são prefixados à grade de entrada. Eles são processados conjuntamente para integrar informações globais.
- Condicionamento FiLM: Uma variável de controle $z(x)$ é derivada das ativações do registro através de uma média ponderada por softmax. Esta variável modula um MLP SIREN (Redes de Representação Sinusoidal) baseado em coordenadas $f_\theta$ usando Modulação Linear por Características (FiLM).
- Síntese de Kernel: O kernel final é $K(x) = w(c) \odot f_\theta(c; z(x))$ , onde $w$ é uma janela Gaussiana aprendível. Isso permite que o kernel se adapte à instância específica de entrada enquanto mantém o caminho único de FFT global.
Parametrização do Kernel: O kernel é definido em uma grade de coordenadas contínua usando um SIREN, permitindo independência de resolução. Os autores introduzem uma "inicialização multifrequencial de bloco-diagonal" para o fator de escala de frequência $\omega_0$ do SIREN, garantindo que o kernel possa resolver conteúdos de baixa e alta frequência em diferentes canais.
Tratamento de Fronteiras: A implementação suporta tanto convoluções circulares (para sistemas físicos periódicos) quanto convoluções não-circulares (para imagens/volumes naturais) ao realizar o zero-padding das entradas para dobrar o tamanho da grade, evitando vazamentos artificiais de borda.

Implementação: nSubQ
Para preencher a lacuna entre a complexidade assintótica e o desempenho de tempo de execução (wall-clock), os autores desenvolveram a nSubQ, uma biblioteca CUDA ciente de IO.

Kernels Fundidos: A nSubQ funde o FFT direto, a modulação espectral (aplicação do kernel dependente da entrada), o IFFT e a segmentação de saída em um único kernel CUDA.
Eficiência de Memória: Ao manter as representações intermediárias na memória compartilhada on-chip, ela minimiza o tráfego de Memória de Alta Largura de Banda (HBM).
Desempenho: Esta fusão transforma a vantagem teórica de $O(L \log L)$ em acelerações práticas, particularmente para sequências longas onde os mecanismos de atenção sofrem com gargalos de largura de banda de memória.

Principais Contribuições

Reenquadramento Conceitual: Uma separação clara de operadores subquadráticos em famílias recorrentes (1D) e convolucionais generalizadas (ND), argumentando que estas últimas são o primitivo natural para dados multidimensionais e LTI.
Operador HyenaND: Um operador ND nativo, dependente da amostra, subquadrático, que preserva os vieses indutivos LTI e evita a rasterização.
Biblioteca nSubQ: Uma implementação CUDA de alto desempenho que alcança acelerações de tempo de execução para convoluções FFT ND.
Validação Empírica: Avaliação abrangente em 1D (genômica), 2D (ImageNet), 3D (imagem médica) e modelagem de EDP (Equações Diferenciais Parciais).

Resultos

Recall Espacial Controlado: O HyenaND supera significativamente a atenção e o Mamba bidirecional em tarefas de "cópia simples" 3D (MSE inferior em 3 a 4 ordens de magnitude) devido ao seu prior de equivariância de translação. Ele mantém a resolução 3D nativa, enquanto a atenção falha (OOM - Out of Memory) ou exige uma patchificação agressiva.
Contexto Longo em Genômica (1D): No OpenGenome2, modelos híbridos HyenaND-atenção (especificamente H2 com 2 camadas de MHA) alcançaram a menor perplexidade, superando Transformers completos e configurações puras de Hyena. O HyenaND demonstrou escalonamento de throughput estável até contextos de 10M de tokens.
Visão Computacional (ImageNet-1K): O HyenaND puro (backbone ViT-5-Small) alcançou 81,5% de acurácia top-1, igualando a linha de base de atenção. Configurações híbridas (ex: $(H A) \times 6$ ) superaram tanto a atenção pura quanto os híbridos baseados em recorrência (Mamba), atingindo 82,1% de acurácia com significativamente menos FLOPs (até 82% de economia em pequenos tamanhos de patch).
Modelagem de EDP (The Well): O HyenaND alcançou o menor VRMSE (Erro Quadrático Médio Normalizado pela Variância) em todos os cinco conjuntos de dados, superando as bases de ConvNeXt U-Nets de resolução total e de atenção. Os ganhos de desempenho sobre a atenção aumentaram com o comprimento da sequência.
Segmentação Médica 3D (PanTS): Modelos híbridos HyenaND-atenção alcançaram os maiores escores de Dice Médio (0.7559), superando variantes puras de atenção e de Hyena. As variantes HyenaND também reduziram a alocação de pico de memória da GPU em cerca de 10,8% em comparação com a linha de base de atenção.

Significância e Alegações
O artigo afirma que o HyenaND e a nSubQ abordam a restrição fundamental que força os modelos de fundação a depender da patchificação, o que corrói a informação estrutural de grão fino. Ao fornecer um operador ND nativo, dependente da entrada e subquadrático, os autores permitem que os modelos ingiram dados em sua geometria intrínseca e resolução nativa.

Os autores posicionam o HyenaND não como um substituto universal para a atenção, mas como um especialista complementar. Pilhas de HyenaND puro igualam fortes linhas de base de atenção, enquanto configurações híbridas (intercalando HyenaND e atenção) consistentem superando tanto a atenção pura quanto os híbridos baseados em recorrência. Isso sugere que o ramo convolucional (para estrutura global e LTI) e o ramo de atenção (para seletividade de grão fino) são melhor utilizados em conjunto para modelos de fundação multimodais. O trabalho disponibiliza tanto a arquitetura HyenaND quanto a biblioteca nSubQ para facilitar essa mudança no design arquitetural.

Mais como este