💬 NLP

ResonatorLM: Causal Resonant Field Mixing for Efficient Long-Context Language Modelin

이 논문은 표준 트랜스포머와 비교하여 긴 문맥 언어 모델링에서 상당한 속도 향상과 정확도 개선을 달성하기 위해 셀프 어텐션을 물리 기반의 인과적 공진 함수(causal resonator functions)로 대체한 새로운 아키텍처인 ResonatorLM을 소개한다.

원저자: Archie Chaudhury

게시일 2026-07-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Archie Chaudhury

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 긴 책을 읽으려고 한다고 상상해 보세요. 하지만 페이지를 한 장씩 넘기며 읽는 대신, 다음 문장을 이해하기 위해 지금까지 읽은 모든 단어를 머릿속에 계속 담아두어야 합니다.

이것이 현재의 AI 모델(트랜스포머라고 불리는)이 직면한 문제입니다. 이들은 "셀프 어텐션(self-attention)"이라는 방법을 사용하는데, 이는 마치 책의 모든 단어를 다른 모든 단어와 일일이 비교하여 연결 고리를 찾는 것과 같습니다. 짧은 이야기라면 빠르겠지만, 32,000단어짜리 소설이라면 매 초마다 점점 더 커지는 건더기 더미에서 특정 바늘을 찾는 것과 같아집니다. 이는 느려지고, 비용이 많이 들며, 엉망이 됩니다.

ResonatorLM의 등장: "음악적 현(Musical String)" 솔루션

이 논문의 저자인 Axionic Labs의 Archie Chaudhury는 긴 텍스트를 처리하는 새로운 방법을 제안합니다. 텍스트를 탐정처럼 하나하나 비교하는 대신, 텍스트를 음악적 현 또는 진동하는 줄처럼 취급하는 것입니다.

이것이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. 기존 방식: "도서관 검색" (트랜스포머)

당신이 방금 말한 단어가 언급되었는지 확인하기 위해 서가에 있는 모든 책으로 달려가야 하는 사서를 상상해 보세요.

짧은 텍스트: 선반이 작습니다. 사서는 빠르게 달릴 수 있습니다.
긴 텍스트: 선반이 수 마일이나 됩니다. 사서는 지치고, 시간이 부족해지며, 과정이 매우 느려집니다. 이것이 현재의 AI가 매우 긴 문맥을 다루기 힘들어하는 이유입니다.

2. 새로운 방식: "진동하는 현" (ResonatorLM)

ResonatorLM은 텍스트를 기타 줄처럼 취급합니다. 당신이 줄을 튕기면(단어를 입력하면), 그 진동이 줄을 따라 이동합니다.

물리학: 이 모델은 "감쇠 공진기(damped resonators)"를 사용합니다. 이것을 각기 다른 속도로 진동하도록 조율된 기타의 여러 줄이라고 생각하세요. 어떤 줄은 빠르게 진동하며(마지막 몇 단어를 기억함), 어떤 줄은 느리게 진동합니다(이야기의 시작 부분을 기억함).
마법: 모든 책을 확인하러 다시 달려가는 대신, 모델은 "현"이 어떻게 진동하고 있는지 그 소리를 듣습니다. 진동은 자연스럽게 정보를 앞으로 전달합니다. 만약 10,000단계 전에 음이 연주되었다면, 현은 여전히 그 음의 희미한 메아리를 간직하고 있어, 모델이 방대한 단어 목록을 저장할 필요 없이도 이를 "기억"할 수 있게 해줍니다.

3. 두 가지 작동 모드

이 논문은 이 모델이 수행하는 작업에 따라 기어를 바꿀 수 있을 만큼 똑똑하다는 점을 강조합니다.

학습 (책을 배우는 단계): 모델이 학습할 때는 한 장(chapter)을 한꺼번에 읽는 것처럼 전체 텍스트를 한 번에 봅니다. 모델은 전체 "진동"을 매우 빠르게 처리하기 위해 수학적 기법(FFT)을 사용합니다.
디코딩 (다음 단어를 쓰는 단계): 모델이 이야기를 단어별로 써 내려갈 때, 도서관 전체를 머릿속에 담아둘 필요가 없습니다. 그저 현재의 진동을 담고 있는 아주 작은, 고정된 크기의 "메모리 상태(tuning fork/소리굽쇠와 같은 상태)"만을 유지합니다. 이 상태는 이야기가 길어진다고 해서 커지지 않습니다.

결과: 더 빠르고 더 똑똑하게

저자들은 WikiText-2라는 데이터셋을 사용하여 6백만 파라미터 규모의 설정에서 이 새로운 "음악적 현" 모델을 표준 "도서관 검색" 모델과 비교 테스트했습니다.

정확도: 새로운 모델은 실제로 다음 단어를 예측하는 데 있어 더 뛰어났습니다. 기존 모델의 정확도가 55.32%였던 반면, 새 모델은 61.31%의 정확도를 기록했습니다. 즉, 텍스트를 더 깊이 이해했습니다.
속도 (가장 큰 승리):
- 짧은 텍스트의 경우, 새 모델은 약간 더 느렸습니다(교통 체증에 갇힌 스포츠카처럼).
- 하지만 텍스트가 길어질수록, 새 모델이 앞서 나갔습니다.
- 32,000 토큰(매우 긴 문맥)에 도달했을 때, 새 모델은 표준 모델보다 다음 단어를 생성하는 속도가 6.47배 더 빨랐습니다.
- 순수 수학적 계산(다른 컴퓨터 오버헤드 제외)에서는 32,000 토큰에서 575배 이상 더 빨랐습니다.

핵심 요약

이 논문은 "도서관 검색(attention)"을 "물리학 기반의 진동(resonant fields)"으로 대체함으로써, 다음과 같은 시스템을 만들었다고 주장합니다:

멈추지 않고 긴 문맥을 기억합니다.
텍스트가 길어질 때 현저히 빠르게 실행됩니다.
텍스트를 이해하는 데 있어 더 정확합니다.

저자들은 이것이 기초적인 시연임을 주의 깊게 밝히고 있습니다. 그들은 상대적으로 작은 모델 크기로 특정 데이터셋(WikiText 및 TinyStories)에서 테스트를 진행했습니다. 이 모델이 내일 당장 세상의 모든 AI를 대체할 준비가 되었다고 주장하는 것이 아니라, "물리학에서 영감을 받은" 접근 방식이 길고 효율적인 읽기와 쓰기에 있어 현재의 표준을 이길 수 있음을 증명했다는 것입니다.

기술 요약: ResonatorLM

문제 정의

현대의 언어 모델은 트랜스포머(Transformer) 아키텍처가 지배하고 있으며, 이는 다양한 모달리티 전반에서 병렬화된 학습과 효과적인 모델링을 가능하게 하는 셀프 어텐션(self-attention) 메커니즘에 의존합니다. 그러나 트랜스포머와 그 이전 모델들(RNN, CNN)은 긴 컨텍스트를 처리할 때 상당한 효율성 문제를 겪습니다. 표준 어텐션의 핵심 계산 프로필은 프리필(prefilling) 단계에서의 이차 복잡도(quadratic complexity)와 디코딩 중 발생하는 컨텍스트 길이에 비례하는 선형 메모리 병목 현상으로 인해, 컨텍스트 길이가 증가함에 따라 비효율적이고 비용이 많이 드는 상태로 남게 됩니다. 최근의 대안들(예: 선형 어텐션, Mamba와 같은 상태 공간 모델)은 어텐션을 근사하거나 암시적 컨볼루션을 사용하려고 시도하지만, 이들은 종기 기존의 어텐션 기반 패러다임에서 파생되었거나 병렬 학습과 효율적인 자기회귀(autoregressive) 디코딩 사이의 균형을 맞추는 데 어려움을 겪는 경우가 많습니다.

방법론: ResonatorLM

본 논문은 셀프 어텐션을 물리 법칙에서 유도된 인과적 공명장 혼합(causal resonant field mixing) 메커니즘으로 대체하는 언어 모델 아키텍처인 ResonatorLM을 소개합니다.

핵심 설계

ResonatorLM은 토큰 시퀀스를 토큰 간의 점곱(dot product) 집합이 아니라, 하나의 구동되는 1차원 잠재장(latent field)으로 취급합니다. 컨텍스트는 어텐션 행렬 대신 학습된 공명 커널(resonant kernels)을 통해 위치 간에 전달됩니다. 이 아키텍처는 학습 및 프리필 단계에서는 병렬 계산을 유지하도록 설계되었으며, 디코딩 시에는 압축된 순환 상태(recurrent states)를 활용하여 효율적인 디코딩을 수행합니다.

주요 구성 요소

공명 커널 파라미터화 (Resonant Kernel Parameterization):
각 헤드 $h$ 에 대해, 믹서 커널은 다음과 같은 감쇠 진동 함수로 정의됩니다:
$k_h[t] = \exp(-\alpha_h t) \cos(\omega_h t + \phi_h)$
여기서 $\alpha_h$ 는 감쇠(damping)를 제어하고, $\omega_h$ 는 각진동수(angular frequency), $\phi_h$ 는 위상 오프셋(phase offset)을 나타냅니다. 파라미터는 서로 다른 타임스케일을 점유할 수 있도록 로그 간격의 반감기(half-lives)와 진동수로 초기화됩니다.
이중 실행 모드 (Dual Execution Modes):
- 학습 및 프리필 (Training & Prefill): $O(T \log T)$ 복잡도로 믹싱 경로를 계산하기 위해 **인과적 FFT 컨볼루션(causal FFT convolution)**을 사용합니다. 드라이브 텐서(drive tensor)는 FFT(다음 2의 거듭제곱으로 제로 패딩됨)를 사용하여 커널과 컨볼루션됩니다.
- 자기회귀 디코딩 (Autoregressive Decoding): 헤드당 고정 크기 순환 상태 업데이트를 사용합니다. 키-값(KV) 캐시를 늘리는 대신, 모델은 복소수 상태 $s_t = a_t + i b_t$ 를 유지하며, 이는 $s_{t+1} = \lambda_h s_t + u_t$ 로 업데이트됩니다(여기서 $\lambda_h$ 는 감쇠 및 진동수 파라미터로부터 유도됨). 이를 통해 시퀀스 길이에 관계없이 일정한 메모리 사용량을 보장합니다.
아키텍처 추가 요소:
- 국소 렉시컬 경로 (Local Lexical Path): 선택적인 인과적 심층 컨볼루션(depthwise convolution)은 글로벌 믹서에서 손실될 수 있는 단거리 렉시컬 정밀도를 보존합니다.
- 헤드 결합 (Head Coupling): 학습된 결합 행 matrix는 공명 채널 간의 정보 공유를 허용하지만, 절제 연구(ablation studies)에 따르면 이 기능 없이도 모델이 잘 작동함을 보여줍니다.
- 표준 스택 (Standard Stack): 공명 믹서는 표준 트랜스포머 유사 블록(RMSNorm, 잔차 연결, SwiGLU MLP) 내에 통합되며, 시퀀스 믹싱 연산자만을 변경합니다.

주요 기여

물리 유도 대안 제시: 감쇠 진동 역학에 기반한 비-어텐션(non-attention) 아키텍처를 제안하여, 이차 복잡도 어텐션에 대한 원칙적인 대안을 제공합니다.
효율적인 롱 컨텍스트 디코딩: KV 캐시를 고정 크기 순환 상태로 대체함으로써 디코딩 시 일정한 메모리 복잡도를 달 achieve 하여, 롱 컨텍스트 추론의 주요 병목 현상을 해결합니다.
이중 모드 구현: FFT를 통한 $O(T \log T)$ 학습/프리필과 선형 시간 순환 디코딩을 단일 커널 패밀리 내에서 성공적으로 통합했습니다.
물리적 검증: 임펄스 응답, 반감기, 스펙트럼 분해, 인과성 테스트 등의 진단 도구를 도입하여, 학습된 모드가 인과적 구조를 준수하고 광범위한 타임스케일(2 ~ 2048 토큰)을 점유하는지 검증했습니다.

실험 결과

저자들은 WikiText-2 문자 데이터셋에 대해 매칭된 6M 파라미터 트랜스포머 베이스라인과 ResonatorLM을 비교 평가하였으며, 더 넓은 벤치마크(WikiText-103, TinyStories)에서도 평가를 진행했습니다.

품질 및 정확도

WikiText-2 (6M 파라미터): ResonatorLM은 테스트 퍼플렉시티(perplexity) 3.764(트랜스포머 4.617 대비)와 테스트 정확도 61.31%(트랜스포머 55.32% 대비)를 달성했습니다. 이는 퍼플렉시티의 약 18.5% 상대적 감소와 정확도의 약 6 퍼센트 포인트 상승을 의미합니다.
강건성: 절제 연구 결과, 헤드 결합이나 국소 렉시컬 경로를 제거하더라도 성능 변화가 미미하여, 이러한 이점이 취약한 하이퍼파라미터에 의존하지 않음을 보여주었습니다.
범용성: 모델은 다양한 토큰화 방식(char/byte), 데이터셋(WikiText-103, TinyStories), 그리고 다양한 컨텍스트 길이(512, 1024 토인)에서 베이스라인을 지속적으로 능가했으며, 작업이 어려워질수록 품질 격차가 벌어졌습니다.

효율성 및 속도

학습 처리량 (Training Throughput): 트랜스포머 베이스라인이 학습 중에 더 빨랐으며(262k tok/s vs 172k tok/s), 이는 ResonatorLM의 품질 이득이 단순한 처리량 우위에서 오는 것이 아님을 나타냅니다.
디코딩 속도:
- 짧은 컨텍스트(2048 토큰)에서는 ResonatorLM이 어텐션보다 느렸습니다.
- 4K와 8K 토큰 사이에서 교차 지점(crossover)이 발생했습니다.
- 32K 토큰에서 ResonatorLM은 최적화된 트랜스포머 베이스라인 대비 6.47배의 디코딩 속도 향상을 달성했습니다(0.6228 ms/tok vs 4.0296 ms/tok).
커널-테일 벤치마크 (Kernel-Tail Benchmark): 믹서를 제외한 나머지 오버헤드를 분리했을 때, 공명 커널은 이차 인과적 참조 모델 대비 8K 토큰에서 440.29배, 32K 토근에서 575.86배의 이론적 점근적(asymptotic) 속도 향상을 보여주었습니다.

의의 및 주장

본 논문은 ResonatorLM을 확정적인 프로덕션용 교체 모델이라기보다 **기초적인 입증(foundational demonstration)**으로 포지셔닝합니다. 저자들의 주장은 다음과 같습니다:

물리에서 유도된 어텐션의 대안은 롱 컨텍스트 알고리즘 효율성을 크게 개선하면서도 언어 품질 면에서 경쟁력을 가질 수 있습니다.
시퀀스 연산자에 물리적 역학(감쇠 진동자)을 삽입함으로써, 모델링 능력을 희생하지 않고도 계산 구조와 효율성을 유지할 수 있습니다.
이 아키텍처는 병렬 학습과 효율적인 자기회귀 디코딩 사이의 간극을 성공적으로 메우며, 특히 표준 어텐션이 지나치게 비용이 많이 드는 롱 컨텍스트 시나리오에서 탁월한 성능을 발휘합니다.

저자들은 소규모 모델 크기(6M 파라미터)와 제한된 벤치마크 세트를 포함한 한계점을 명시적으로 언급했습니다. 이들은 더 큰 규모, 더 복잡한 작업, 그리고 새로운 아키텍처 및 시스템 레벨 최적화에 대해 이 접근 방식을 테스트하기 위한 후속 연구가 필요하다고 밝혔습니다. 본 연구는 어텐션의 물리 유도 대안으로서의 생존 가능성을 보여주는 개념 증명(proof of concept)으로 제시되었습니다.