🤖 machine learning

Native Multi-Dimensional Subquadratic Operators via Input Dependent Long Convolutions

이 논문은 표준 어텐션 및 순환 모델의 한계를 극복하기 위해 네이티브 다차원 데이터 구조에 직접 전역 컨볼루션을 적용하는 아임계(subquadratic) 입력 의존적 연산자인 HyenaND를 소개하며, 특화된 CUDA 구현을 통해 경쟁력 있는 정확도와 상당한 속도 향상을 달성한다.

원저자: David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Pali

게시일 2026-07-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: David R. Wessels, Farhad Ramezanghorbani, David W. Romero, Alireza Moradzadeh, Olivia Viessmann, Maksim Zhdanov, John St. John, Ken Janik, David M Knigge, Yucheng Tang, Erik J Bekkers, Saee Gopal Paliwal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 현재 최고의 로봇들은 '어텐션(attention)'이라는 도구를 사용하여 모든 것을 한꺼번에 훑어봅니다. 마치 학생이 가장 중요한 단어를 찾기 위해 페이지 전체를 스캔하는 것과 같습니다. 이 방식은 짧은 이야기에는 아주 잘 작동하지만, 만약 당신이 로봇에게 도서관 전체, 3D 영화, 또는 복잡한 기상 지도와 같은 데이터를 준다면, 이 '어텐션' 도구는 과부하가 걸립니다. 이 도구는 모든 데이터 조각을 다른 모든 조각과 일일이 비교해야 하는데, 이 과정은 너무 많은 시간과 에너지를 소모하여 로봇을 다운시키거나, 로봇이 살아남기 위해 아주 작은 열쇠구멍을 통해 데이터를 간신히 들여다보게 만듭니다(이를 '패치화(patchification)'라고 부릅니다).

이를 해결하기 위해 과학자들은 더 빠른 도구를 만들기 위해 노력해 왔습니다. 한 가지 인기 있는 아이디어는 데이터를 텍-스트처럼 한 단어씩 차례대로 읽는 '순환(recurrent)' 모델을 사용하는 것입니다. 하지만 이는 3D 조각상을 단 하나의 각도에서만 보고 나머지를 추측하려는 것과 같으며, 그 과정에서 물체의 자연스러운 형태를 파괴합니다. 또 다른 아이디어는 이미지를 따라 돋보기를 미끄러뜨리며 패턴을 찾아내는 '컨볼루션(convolution)'입니다. 이 방식은 빠르고 3D 형태를 온전히 유지하지만, 대개 고정된 도장처럼 이미지의 모든 부분에 똑같은 패턴을 적용하며, 실제로 무엇이 있는지에는 주의를 기울이지 않습니다. 컴퓨터 과학의 이 구석진 곳에서의 큰 질문은 이것입니다. 거대한 3D 데이터를 처리할 만큼 충분히 빠르면서도, 데이터의 자연스러운 형태를 유지하고, 자신이 보는 것에 따라 '돋보기'를 바꿀 수 있을 만큼 영리한 도구를 만들 수 있을까요?

이 논문은 "그렇다"라고 답하는 HyenaND라는 새로운 도구를 소개합니다. HyenaND를 3D 물체(의료 스캔이나 기상 시뮬레이션 등) 위를 미끄러지듯 움직이되, 결코 1차원 선으로 평면화하지 않는 마법 같고 형태가 변하는 돋보기라고 생각해보세요. 과거의 경직된 도장들과 달리, 이 도구는 먼저 전체 물체를 살펴본 다음 어떤 종류의 패턴을 찾아야 할지 결정하고, 그 후 즉시 렌즈를 조정하여 그에 맞춥니다. 이 도구는 '푸리에 변환(Fourier transforms, 이미지를 소리 파동으로 바꾸어 더 빠르게 처리하는 방법)'을 이용한 영리한 수학적 트릭을 사용하여, 데이터가 커짐에 따라 비용이 폭발적으로 증가하는 대신 아주 약간만 느려지면서도 매우 높은 속도를 유지합니다.

저자들은 HyenaND가 복잡한 다차원 데이터를 처리하는 데 있어 게임 체인저라는 것을 발견했습니다. 테스트 결과, HyenaND는 표준적인 '어텐션' 도구들이 메모리 제한 때문에 멈춰버릴 법한 작업들, 예를 들어 3D 의료 영상 분석이나 유체 역학 시뮬레이션 등을 처리할 수 있음을 보여주었습니다. 또한 로봇이 3D 격자 내의 특정 색상을 기억해야 하는 '복사하기' 게임을 테스트했을 때, HyenaND는 기존 방식들보다 수천 배 더 정확했습니다. 그들은 또한 이 수학적 트릭이 실제 컴퓨터 칩 위에서 번개처럼 빠르게 실행되도록 보장하기 위해 nSubQ라는 특별한 소프트웨어 엔진을 구축하여, 이론적인 속도를 실제적인 시간 절감으로 전환했습니다.

논문은 HyeneND가 단독으로도 매우 강력하지만, 기존의 '어텐션' 도구들과 결합된 하이브리드 팀이 될 때 훨씬 더 효과적이라고 제안합니다. DNA 서열, 컴퓨터 비전(ImageNet), 그리고 의료 영상 실험에서 이 하이브리드 팀은 순수 어텐션 모델과 데이터를 한 줄로 읽으려는 다른 빠른 모델들을 모두 이겼습니다. 저자들은 우리가 더 이상 속도와 지능 사이에서 하나를 선택할 필요가 없다고 주장합니다. 우리는 데이터의 3D 기하학적 구조를 존중하면서도, 거대한 규모로 확장 가능하며, 여전히 세부 사항에 깊은 주의를 기울일 수 있는 도구를 가질 수 있습니다. 그들은 이 접근 방식이 주요 병목 현상을 제거하여, 미래의 AI가 작은 열쇠구멍을 통해 억지로 엿보는 대신, 마침내 고해상도의 본래 모습 그대로인 3D 세계를 "볼" 수 있게 해준다고 결론짓습니다.

기술 요약: HyenaND 및 nSubQ

문제 정의
딥러닝 모델은 고해상도 이미지, 3D 의료 볼륨, 물리적 장(field)과 같은 대규모 다차원(ND) 데이터를 점점 더 많이 처리하고 있습니다. 표준 트랜스포머(Transformer) 아키텍처는 본래 다차원적이지만, 시퀀스 길이에 대해 이차 복잡도( $O(L^2)$ )를 갖는 문제로 인해 고해상도 또는 긴 컨텍스트 작업에 적용하는 데 한계가 있습니다. 흔히 사용되는 해결책인 패치화(patchification)는 성능을 희생하여 실행 가능성을 확보하지만, 미세한 구조를 복구하기 위해 패치 크기를 줄이면 토큰 수가 다시 증가하여 이차 복잡도의 병목 현상이 재발합니다.

기존의 서브쿼드라틱(subquadratic) 대안들은 ND 데이터에 적용될 때 상당한 제한을 겪습니다:

순환 모델 (예: Mamba): 이들은 본질적으로 1D이며 인과적(causal)입니다. ND 데이터를 처리하려면 입력을 임의의 1D 스캔 순서로 "래스터화(rasterizing)"해야 하며, 이는 데이터의 공간적 구조와 기하학적 귀납 편향(inductive bias)을 파괴합니다. 또한, 이들의 입력 의존성은 일반적으로 토큰 수준에 국한되어 있어, 근사적으로 선형 시불변(LTI) 시스템이며 전체 데이터가 가용할 때(비자기회적 설정) 최적이 아닙니다.
표준 합성곱 (Standard Convolutions): ND 구조를 보존하고 빠른 FFT 기반 경로를 제공하지만, 전통적인 장기 합성곱은 입력 의존성이 부족하여 어텐션 메커니즘에 비해 표현력이 제한적입니다.

방법론: HyenaND
저자들은 래스터화 없이 다차원 데이터의 고유한 기하학 구조에서 직접 작동하도록 설계된 서브쿼드라틱, 글로벌, 입력 의존적 연산자인 HyenaND를 소개합니다.

아키텍처 재구성: 본 논문은 "상태 공간 모델(SSM)" 지형을 두 개의 뚜렷한 분기로 구분합니다:
- 일반화된 순환 (Generalized Recurrent): 1D 비-LTI 데이터(예: 텍스트)에 적합합니다.
- 일반화된 합성곱 (Generalized Convolutional): 근사적으로 LTI이며 다차원인 데이터에 적합합니다. HyenaND는 이 분파에 속합니다.
네이티브 ND 합성곱: HyenaND는 $N$ 차원 그리드( $L_1 \times \dots \times L_N$ )에서 직접 합성곱을 수행합니다. 이는 $N$ 차원 고속 푸리에 변환(FFT)을 통해 평가되는 글로벌하고 암시적으로 매개변수화된 커널 $K$ 를 활용하며, $O(L \log L)$ 복잡도를 달성합니다.
레지스터 및 FiLM을 통한 입력 의존적 커널: 표준 합성곱의 입력 의존성 결여를 극복하기 위해, HyenaND는 개별 토큰이 아닌 전체 입력 샘플에 커널을 조건화합니다.
- 레지스터 (Registers): $R$ 개의 학습 가능한 레지스터 토큰이 입력 그리드 앞에 추가됩니다. 이들은 전역 정보를 통합하기 위해 공동으로 처리됩니다.
- FiLM 조건화: 제어 변수 $z(x)$ 는 소프트맥스 가중 평균을 통해 레지스터 활성화로부터 도출됩니다. 이 변수는 좌표 기반 SIREN(Sinusoidal Representation Networks) MLP $f_\theta$ 를 FiLM(Feature-wise Linear Modulation)을 사용하여 조절합니다.
- 커널 합성: 최종 커널은 $K(x) = w(c) \odot f_\theta(c; z(x))$ 이며, 여기서 $w$ 는 학습 가능한 가우시안 윈도우입니다. 이를 통해 커널은 단일 글로벌 FFT 경로를 유지하면서도 특정 입력 인스턴스에 적응할 수 있습니다.
커널 매개변수화: 커널은 SIREN을 사용하여 연속적인 좌표 그리드 상에 정의되므로 해상도 독립성을 가집니다. 저자들은 다양한 채널에 걸쳐 저주파 및 고주파 콘텐츠를 모두 해상할 수 있도록 SIREN의 주파수 스케일링 인자 $\omega_0$ 를 위한 "블록 대각선 다중 주파수 초기화"를 도입했습니다.
경계 처리: 구현은 주기적 물리 시스템을 위한 원형 합성곱(circular convolutions)과 자연 이미지/볼륨을 위한 비원형 합성곱(non-circular convolutions)을 모두 지원하며, FFT 전 입력의 크기를 두 배로 늘리기 위해 제로 패딩을 수행하여 인공적인 경계 누출을 방ไซ합니다.

구현: nSubQ
점근적 복잡도와 실제 실행 시간(wall-clock) 성능 사이의 간극을 메우기 위해, 저자들은 IO 인식형 CUDA 라이브러리인 nSubQ를 개발했습니다.

퓨즈드 커널 (Fused Kernels): nSubQ는 순방향 FFT, 스펙트럼 변조(입력 의존적 커널 적용), 역 FFT, 그리고 출력 세그멘테이션을 단일 CUDA 커널로 융합합니다.
메모리 효율성: 중간 표현을 온칩 공유 메모리(on-chip shared memory)에 유지함으로써 고대역폭 메모리(HBM) 트래픽을 최소화합니다.
성능: 이러한 융합은 이론적인 $O(L \log L)$ 이점을 실제적인 속도 향상으로 전환하며, 특히 어텐션 메커니즘이 메모리 대역폭 병목 현상을 겪는 긴 시퀀스에서 효과적입니다.

핵심 기여

개념적 재구성: 서브쿼드라틱 연산자를 순환(1D) 및 일반화된 합성곱(ND) 패밀리로 명확히 구분하여, 후자가 다차원 LTI 데이터의 자연스러운 프리미티브임을 주장했습니다.
HyenaND 연산자: 래스터화를 피하고 LTI 귀납 편향을 유지하는 네이티브 ND, 샘플 수준 입력 의존적, 서브쿼드라틱 연산자를 제공합니다.
nSubQ 라이브러리: ND FFT 합성곱에 대해 실제 실행 시간 속도 향상을 달고하는 고성능 CUDA 구현체입니다.
실증적 검증: 1D(유전체학), 2D(ImageNet), 3D(의료 영상) 및 PDE 모델링에 걸친 포괄적인 평가를 수행했습니다.

결과

제어된 공간 회상 (Controlled Spatial-Recall): HyenaND는 번역 불변성(translation-equivariance) 우선순위 덕분에 3D "단순 복사(simple copy)" 작업에서 어텐션 및 양방향 Mamba보다 크게 앞섰습니다 (MSE 기준 3~4 자릿수 낮음). 어텐션이 OOM(메모리 부족)을 겪거나 공격적인 패치화를 요구하는 반면, HyenaND는 네이티브 3D 해상도를 유지합니다.
장기 컨텍스트 유전체학 (1D): OpenGenome2에서 하이브리드 HyenaND-attention 모델(특히 2개의 MHA 레이어를 가진 H2)은 전체 트랜스포머 및 순수 Hyene 구성을 능가하는 가장 낮은 퍼플렉시티(perplexity)를 달축했습니다. HyeneND는 10M 토큰 컨텍스트까지 안정적인 처리량 스케일링을 보여주었습니다.
컴퓨터 비전 (ImageNet-1K): 순수 HyenaND (ViT-5-Small 백본)는 81.5%의 top-1 정확도를 달성하여 어텐션 베이스라인과 일치했습니다. 하이브리드 구성(예: $(H A) \times 6$ )은 순수 어텐션 및 순환 기반 Mamba 하이브리드 모두를 능가하여, 훨씬 적은 FLOPs(작은 패치 크기에서 최대 82% 절감)로 82.1%의 정확도를 달성했습니다.
PDE 모델링 (The Well): HyenaND는 다섯 가지 데이터셋(유체 역학, MHD 등) 모두에서 가장 낮은 VRMSE를 기록하며, 전체 해상도 ConvNeXt U-Net 및 어텐션 베이스라인을 능가했습니다. 어텐션 대비 성능 이득은 시퀀스 길이가 길어질수록 증가했습니다.
3D 의료 세그멘테이션 (PanTS): 하이브리드 HyenaND-attention 모델은 가장 높은 Mean Dice 점수(0.7559)를 기록하며 순수 어텐션 및 순수 Hyena 변형을 넘어섰습니다. HyenaND 변형 또한 어텐션 베이스라인에 비해 피크 GPU 메모리 할당량을 약 10.8% 감소시켰습니다.

의의 및 주장
본 논문은 HyenaND와 nSubQ가 파운데이션 모델이 미세한 구조적 정보를 침식하는 패치화에 의존하게 만드는 근본적인 제약을 해결한다고 주장합니다. 네이티브 ND, 입력 의존적, 서브쿼드라틱 연산자를 제공함으로써, 저자들은 모델이 데이터의 고유한 기하학 및 네이티브 해상도로 데이터를 수용할 수 있게 합니다.

저자들은 HyenaND를 범용적인 어텐션 대체재가 아니라 보완적인 전문가로 위치시킵니다. 순수 HyenaND 스택은 강력한 어텐션 베이스라인과 대등한 수준을 보이며, 하이브리드 구성(HyenaND와 어텐션을 교차 배치)은 순수 어텐션 및 순환 기반 하이브리드 모두를 지속적으로 능가합니다. 이는 합성곱 분파(글로벌 LTI 구조용)와 어텐션 분파(미세한 선택성용)가 다중 모달 파운데이션 모델을 위해 함께 사용될 때 최적임을 시사합니다. 이 연구는 아키텍처 설계의 전환을 촉진하기 위해 HyenaND 아키텍처와 nSubQ 라이브러리를 모두 공개합니다.

기술 요약: HyenaND 및 nSubQ

유사한 논문