🤖 AI

MoNe: Modular Neural Memory for Efficient Long Context Inference

MoNe은 고정된 트랜스포머에 부착되어 추론 비용을 컨텍스트 길이로부터 분리함으로써, 재학습 없이 상수 쿼리 복잡도와 현저히 감소된 메모리 사용량을 달성하여 효율적인 장문 컨텍스트 추론을 가능하게 하는 경량화되고 모듈화된 신경 메모리 시스템이다.

원저자: Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능는 책 한 권 전체를 읽거나, 수년간의 채팅 로그를 분석하거나, 방대한 법률 계약서를 한 번에 소화할 수 있는 지점에 도달했습니다. 이를 위해 이 시스템들은 현재의 질문을 이해하기 위해 방금 처리한 모든 내용을 되돌아볼 수 있게 해주는 메커니즘에 의존합니다. 하지만 이러한 능력에는 가혹한 대가가 따릅니다. 텍스트의 양이 늘어남에 따라, 이를 처리하는 데 필요한 에너지와 컴퓨터 메모리는 단순히 증가하는 것이 아니라 폭발적으로 늘어납니다. 지금 읽고 있는 단어 하나하나를 지금까지 읽은 모든 단어와 일일이 비교하며 도서관 전체를 읽으려고 노력하는 상황을 상상해 보십시오. 필요한 노력은 매우 빠르게 증가하여, 휴대폰이나 노트북에서 발견되는 일반적인 컴퓨터들이 수천 단어 이상을 처리하는 것을 불가능하게 만듭니다. 이러한 한계로 인해 현재의 시스템들은 긴 이야기의 앞부분을 잊어버리거나, 특정 사실을 찾기 위해 외부 도구에 의존해야 하며, 이 과정에서 흩어진 세부 사항들을 연결하는 더 큰 그림을 놓치곤 합니다.

퀄컴 AI 리서치(Qualcomm AI Research)의 연구진은 MoNe라고 불리는 새로운 접근 방식을 개발했는데, 이는 인공지능 모델이 재학습을 하거나 하드웨어에 과부하를 주지 않고도 방대한 양의 정보를 처리할 수 있게 해줍니다. 모델이 대화나 문서의 전체 이력을 매번 다시 읽도록 강요하는 대신, MoNe는 모델이 읽으면서 기록하는 특화된 노트처럼 작동합니다. 이 시스템은 긴 텍스트를 작고 관리 가능한 덩어리로 나누어 처리합니다. 각 덩어리를 읽을 때마다, 모델은 이 내부 노트를 업데이트하며 필수적인 정보를 압축된 형태로 추출합니다. 전체 텍스트를 다 읽고 노트가 채워지면, 모델은 오직 그 노트의 내용만을 사용하여 질문에 답할 수 있습니다. 결정적으로, 모델은 원본의 긴 텍스트를 다시 돌아볼 필요가 전혀 없습니다. 이러한 설계 덕분에, 질문에 답하는 데 드는 비용은 원본 문서가 짧은 이메일이든 10만 단어짜리 소설이든 상관없이 동일하게 유지됩니다.

연구진은 모델이 거대한 텍스트 더미 속에 숨겨진 특정 사실을 찾아낼 수 있는지 확인하기 위해 설계된 표준적인 도전 과제들, 즉 흔히 '건초더미에서 바늘 찾기'라고 불리는 작업을 통해 이 방법을 테스트했습니다. 또한 자주 언급되는 단어를 추출하는 능력과, 텍스트 전반에 흩어져 있는 여러 조각의 정보를 연결해야 하는 문제를 해결하는 능력도 테스트했습니다. 텍스트 길이가 모델의 원래 학습 범위를 벗어나지 않았을 때, 이 새로운 방식은 모든 것을 한꺼번에 읽으려는 표준적인 방식보다 뛰어난 성능을 보이며 거의 완벽하게 수행되었습니다. 더욱 인상적인 점은, 연구진이 시스템이 설계된 원래 범위를 훨씬 초과하여 최대 12만 8천 토큰까지 텍스트 길이를 밀어붙였을 때도, 이 새로운 방식은 높은 정확도를 유지하며 계속 작동했다는 것입니다. 반면, 텍스트 전체를 한꺼번에 읽으려고 시도하는 표준적인 방식은 텍스트가 길어짐에 따라 완전히 실패하며 정확도가 거의 제로에 가깝게 떨어졌습니다. 관련 텍스트 조각을 검색하려고 시도하는 흔한 대안적 방법 역시, 여러 가지 흩어진 사실들을 종합해야 하는 답변을 요구할 때는 어려움을 겪었습니다.

이 새로운 방식의 효율성 이점은 상당합니다. 가장 긴 텍스트 길이를 테스트했을 때, 연구진은 이 접근 방식이 표준 방식에 비해 필요한 컴퓨터 전력을 약 80% 감소시킨다는 것을 발견했습니다. 또한 피크 메모리 요구량도 같은 비율로 줄였습니다. 이는 강력한 긴 문맥 추론 기능이 결국 거대하고 비싼 서버가 아닌, 자원이 제한된 기기에서도 실행될 수 있음을 의미하기 때문에 매우 중요한 개선입니다. 이 시스템은 내부 노트의 크기가 텍스트가 길어진다고 해서 커지지 않도록 메모리 점유율을 일정하게 유지함으로써 이를 달성합니다. 연구진은 이 시스템을 핵심 구조를 변경하지 않고도 기존의 사전 학습된 모델에 부착할 수 있으며, 약간의 추가 데이터 저장 공간만을 더하면 된다는 것을 입증했습니다. 또한, 텍록을 고정된 크기의 세그먼트로 나누어 단계별로 내부 상태를 업데이트함으로써, 시스템이 학습한 것보다 32배 더 긴 텍스트 길이에도 일반화될 수 있음을 보여주었습니다.

현재의 실험은 특정 모델 크기를 사용한 특정 검색 작업에 집중되었지만, 결과는 인공지능이 실세계의 긴 형태의 정보를 처리하는 데 있어 더 유능해질 수 있는 실행 가능한 경로를 제시합니다. 이 방법은 완전히 새로운 유형의 컴퓨터 두뇌를 처음부터 만들 필요도 없고, 모델을 거대한 새로운 데이터셋으로 재학습시킬 필요도 없습니다. 대신, 정보를 실시간으로 압축하는 법을 배우는 가볍고 모듈화된 기능을 도입합니다. 이를 통해 시스템은 과거에 대한 명확하고 일정한 기억을 유지하면서도, 현재를 생각하는 데 드는 비용을 낮게 유지할 수 있습니다. 몇 시간 동안의 대화나 수천 페이지의 문서를 바탕으로 추론할 수 있는 인공지능에 대한 수요가 계속 증가함에 따라, 이 접근 방식은 그러한 시스템이 빠르고 효율적이며, 자신이 탐색하도록 요청받은 세상의 전체 맥락을 이해할 수 있도록 유지하는 실질적인 방법을 제공합니다.

기술 요약: MoNe – 효율적인 긴 문맥 추론을 위한 모듈형 신경 메모리 (Modular Neural Memory)

1. 문제 정의

긴 문맥(Long-context) 처리는 개인화된 어시스턴트, 문서 질의응답(QA), 에이전트 시스템과 같은 애플리케이션에 필수적입니다. 그러나 지배적인 방식인 인컨텍스트 학습(In-Context Learning, ICL)은 문맥 길이 $N$ 에 대해 연산량(FLOPs)은 이차적( $O(N^2)$ )으로, KV-캐시 메모리는 선형적( $O(N)$ )으로 증가합니다. 이는 자원이 제한된 하드웨어(예: 모바일 기기)에서 긴 문맥 추론을 지나치게 비싸게 만들며, 작은 모델들이 고유의 문맥 창 안에서도 신뢰할 수 있는 정보 추출에 어려움을 겪게 만듭니다.

대안적인 접근 방식들은 상당한 한계에 직면해 있습니다:

검색 증강 생성 (RAG): 어텐션 비용을 줄여주기는 하지만, RAG는 독립적인 청크(chunk)에 대한 임베딩 기반 검색에 의존합니다. 이는 여러 곳에 흩어져 있고 서로 의존적인 사실들을 합성해야 하는 작업(개별적으로는 특징적이지 않은 사실들)에서는 실패합니다.
순환/선형 모델 (예: Mamba, TTT, Titans): 이들은 선형 복잡도를 달하지만, 완전히 새로운 아키텍처를 처음부터 학습시켜야 하므로 기존의 동결된(frozen) 사전 학습 트랜스포머와 매끄럽게 통합하는 것이 불가능합니다.

2. 방법론: MoNe

MoNe(Modular Neural Memory)는 백본(backbone) 가중치를 수정하지 않고도 효율적인 긴 문맥 추론을 가능하게 하기 위해, 모든 동결된 사전 학습 트랜스포머에 부착할 수 있도록 설계된 경량 플러그인 모듈입니다. 이 아키텍처는 두 가지 별개의 단계로 작동합니다.

2.1. 아키텍처

MoNe는 백본의 각 디코더 레이어 $l$ 에 빠른 가중치(fast-weight) 신경 메모리 네트워크를 부착합니다.

메모리 모듈: 각 레이어는 빠른 가중치 파라미터( $W_{in}, W_{gate}, W_{out}$ )를 가진 SwiGLU MLP를 활용합니다. 선형 맵과 달리, 이 비선형 네트워크는 더 풍부한 연상 구조(associative structures)를 인코딩하기 위해 표현력을 높입니다.
통합: 추론 중에 쿼리 토큰은 동결된 백본의 $W_q$ 를 통해 투영되며, 캐시된 빠른 가중치 상태로부터 읽힙니다. 결과물인 메모리 토큰은 동결된 $W_k$ 및 $W_v$ 를 사용하여 키-값(key-value) 공간으로 투영된 후 표준 어텐션 엔트리와 결합됩니다.
파라미터 효율성: 이 모듈은 저계수 어댑터(LoRA)를 통해 동결된 가중치에 단 6.4%의 오버헤드만을 추가합니다.

2.2. 2단계 작동 방식

단계 1: 테스트 타임 학습 (전처리)

$N$ 개의 토큰으로 구성된 문맥 $C$ 를 고정된 크기 $T=512$ 의 세그먼트로 분할합니다.
세그먼트들은 순차적으로 처리됩니다. 각 세그먼트에 대해, 각 레이어의 빠른 가중치는 **레이어 국소적 그래디언트 업데이트(layer-localized gradient updates)**를 통해 업데이트됩니다.
연상 메모리 손실 (Associative Memory Loss): 메모리 모듈은 메모리 출력과 타겟 값(동결된 $W_k$ 및 $W_v$ 로부터 유도됨) 사이의 내적을 최대화하도록 최적화됩니다. 이 과정은 전체 백본에 대한 역전파나 예측 오차를 요구하지 않고, $k \to v$ 의 연상을 빠른 가중치에 "각인(imprint)"시킵니다.
위치 인코딩: 세그먼트 로컬 RoPE가 사용되어, 로컬 위치 $p_{local} = j \mod T$ 를 할당합니다. 이는 전체 문맥 길이에 관계없이 위치 인덱스를 $[0, T)$ 범위 내로 제한하여, 보간(interpolation) 없이도 임의의 길이에 대한 일반화를 가능하게 합니다.

단계 2: 추론

쿼리 토큰은 업데이트된 빠른 가중치 상태로부터 생성된 메모리 토큰에만 어텐션을 수행합니다.
문맥 토큰을 다시 읽거나 문맥 토큰에 직접 어텐션을 수행하지 않습니다.
복잡도: 이는 추론 비용을 문맥 길이로부터 분리하여, $O(N)$ 의 전처리와 $O(1)$ 의 쿼리 비용을 달성하며, 피크 GPU 메모리는 $N$ 에 관계없이 일정하게 유지됩니다.

3. 주요 기여

모듈형 아키텍처: 백본 수정 없이 6.4%의 파라미터 오버헤드만으로 모든 동결된 사전 학습 트랜스포머에 통합 가능한 플러그인입니다.
테스트 타임 학습 절차: 레이어 국소적 그래디언트 업데이트를 사용하는 방법으로, 빠른 가중치 신경 메모리 네트워크을 적응시킵니다. 이는 ICL의 $O(N^2)$ 비용과 대조되는 $O(N)$ 전처리 및 $O(1)$ 쿼리 비용을 가능하게 합니다. 또한 점진적인 문맥 확장과 멀티 쿼리 재사용을 네이티브하게 지원합니다.
일반화: 훈련 문맥(최대 4K 토큰)에서 평가 문맥(128K 토큰)으로의 일반화 능력을 입증했습니다(32배 외삽). 추가 학습이나 위치 보간 없이도 128K까지 성공적으로 확장되었습니다.

4. 실험 결과

실험은 Qwen2.5-0.5B-Instruct 백본을 사용하여 RULER 벤치마크(S-NIAH, MK-NIAH, Frequent Word Extraction)에서 수행되었습니다.

성능:
- 고유 윈도우 내 (4K–32K): MoNe는 거의 완벽한 성능(0.99–1.00 Sub-EM)을 달성하여, ICL(0.41–0.98) 및 RAG(0.58–0.93)를 크게 앞질렀습니다.
- 고유 윈도우 초과 (48K–128K): ICL 성능이 붕괴(예: 128K에서 S-NIAH의 경우 0.28로 하락)하고 RAG가 정체(분산된 사실 처리에 어려움)되는 동안, MoNe는 강력한 정확도를 유지했습니다 (128K에서 S-NIAH 0.96, MK-NIAH 0.94, Frequent Word Extraction 0.96).
효율성:
- 128K 토큰에서 MoNe는 ICL 대비 총 FLOPs를 약 81% 감소시켰고, 피크 GPU 메모리를 80% 감소시켰습니다.
- MoNe의 피크 GPU 메모리는 문맥 길이에 관계없이 1.41 GB로 일정하게 유지된 반로, ICL은 128K에서 7.07 GB가 필요했습니다.
절제 연구 (Ablation Studies):
- 레이어 커버리지: MoNe를 24개 모든 디코더 레이어에 부착했을 때 최상의 결과를 얻었습니다. 마지막 8개 레이어에만 제한했을 경우 32K 이후 성능이 급격히 무너졌습니다.
- 세그먼트 크기: 세그gment 크기 $T=512$ 가 가장 좋은 트레이드오프를 제공하여 128K까지 효과적으로 일반화되었으나, 더 작은 세그먼트( $T=128, 256$ )는 16K를 지나면서 빠르게 성능이 저하되었습니다.

5. 의의 및 주장

본 논문은 MoNe가 계산 비용을 문맥 길이로부터 분리함으로써 자원이 제한된 환경에서의 긴 문맥 추론을 위한 실질적인 해결책을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

효율성: 일정한 메모리 풋프린트와 선형적 전처리를 달려, KV-캐시 비용이 과도한 엣지 디바이스에서도 긴 문맥 추론을 가능하게 합니다.
호환성: 값비싼 전체 파인튜닝이나 아키텍처 재설계 없이도 기존의 동결된 모델에 긴 문맥 능력을 부여합니다.
강건성: 길이 증가에 따라 성능이 저하되는 표준 ICL 및 분산된 추론에 취약한 RAG보다 우수한 성능을 보여줍니다.

저자들은 현재 검증이 0.5B 백본과 통제된 검색 작업에 국한되어 있지만, 플러그인 설계가 더 큰 모델과 자연스러운 워크로드(예: 다중 문서 QA, 대화 기록)로 확장될 수 있음을 언급했습니다. 이러한 환경에서는 상수 메모리 추론의 효율성 이점이 더욱 두드러질 것으로 기대됩니다.