🤖 machine learning

Structured Memory for Edge Language Models: Persistent Context and Corpus Retrieval via O(1) SSM State Injection

이 논문은 문서 코퍼스를 고정된 크기의 은닉 상태로 사전 인코딩하여 $O(1)$ 의 컨텍스트 주입을 달성함으로써, 기존 트랜스포머 기반 RAG보다 훨씬 빠른 속도로 대규모 언어 모델의 인터랙티브한 엣지 구현을 가능하게 하는 상태 공간 모델(State-Space Models)을 위한 검색 증강 생성 시스템인 PRECOG와 SMC를 소개한다.

원저자: Anusha Madan Gopal, Aras Pirbadian, Kristofor D. Carlson, M Anthony Lewis, Jonathan Tapson

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anusha Madan Gopal, Aras Pirbadian, Kristofor D. Carlson, M Anthony Lewis, Jonathan Tapson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 방대한 책 도서관을 먹여서 질문에 답하는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 이 작업을 수행하는 가장 대중적인 방법은 로봇에게 종이 뭉치를 건네며 이렇게 말하는 것과 같습니다. "내 질문에 답하기 전에 이 종이들에 적힌 모든 단어를 하나도 빠짐없이 다 읽어." 이 방식은 작동은 하지만, 매우 느립니다. 만약 종이 뭉치가 거대하다면, 로봇은 "안녕"이라고 말하기도 전에 문맥을 읽는 데에만 아주 긴 시간을 소비해야 합니다. 게os 더군다나 로봇은 방금 읽은 모든 단어를 기억해야 하는데, 이는 마치 대화를 나누는 동안 머릿속에 백과사전 한 권을 통째로 담아두려는 것과 같이 많은 메모리를 차지합니다.

과학자들은 특히 메모리가 제한적이고 속도가 생명인 휴대폰이나 스마트 가전 같은 작은 기기에서 작동하는 로봇을 위해, 이 과정을 더 빠르고 가볍게 만드는 방법을 찾아왔습니다. 그들은 "상태 공간 모델(State-Space Model, SSM)"이라는 다른 종류의 뇌 구조를 탐구하고 있습니다. SSM을 생각할 때, 이것을 책을 페이지 단위로 읽으며 모든 단어를 암기하는 로봇이 아니라, 책을 읽은 후 그 전체 이야기를 하나의 작고 마법 같은 '요약 카드'로 즉시 압축하는 로봇이라고 생각해 보세요. 이 카드는 읽은 내용의 '의미'를 담고 있지만, 단어 자체를 담고 있지는 않으며, 이야기의 내용이 책의 어느 부분에서 일어났는지는 중요하지 않습니다. 연구자들이 던지는 핵심 질문은 이것입니다. "우리가 이 '요약 카드' 기술을 사용해 느린 읽기 과정을 통째로 건너뛸 수 있을까?" 만약 가능하다면, 우리는 클라우드의 거대한 컴퓨터 없이도 작은 기기에서 즉각적으로 질문에 답하는 AI를 만들 수 있습니다.

이 논문은 PRECOG(사전 계산된 문맥 주입, Pre-Computed Context Injection)라는 영리한 기술을 소개하며 "그렇다, 가능하다"라고 답합니다. 저자들은 TENNs-LLM이라는 특정 유형의 AI 모델을 활용하여, 텍스트 덩어리를 한 번 실행하여 그 '요약 카드'(숨겨진 상태)를 만들어 저장하는 방법을 알아냈습니다. 나중에 사용자가 질문을 하면, 시스템은 AI가 텍스트를 다시 읽게 만드는 대신, 저장된 요약 카드를 꺼내어 AI의 뇌 속에 직접 떨어뜨려 놓습니다. 이는 시험 공부를 마친 학생에게 다시 읽으라고 하는 대신, 이미 공부했던 준비된 노트를 건네주는 것과 같습니다.

결과는 놀라울 정도로 빠릅니다. 연구팀이 테스트한 특정 엣지 하드웨어에서, 기존의 방식으로 문맥을 "읽는" 데에는 첫 번째 답변을 얻기까지 약 27초가 걸렸습니다. 하지만 PRECOG를 사용하면 이 시간이 6밀리초(ms) 미만으로 줄어들었습니다. 이는 약 4,500배의 속도 향상으로, 사용 불가능했던 프로세스를 즉각적이고 상호작용이 가능한 수준으로 바꾸어 놓았습니다. 논문은 이 지름길이 AI를 "멍청하게" 만들지 않는다는 것을 수학적으로 증명했습니다. 이 특정 유형의 AI가 작동하는 방식 덕분에 요약 카드가 텍스트의 완벽한 대체제가 될 수 있기 때문에, 답변의 질은 텍스트를 한 단어씩 읽었을 때와 동일합니다.

또한 이 논문은 SMC(구조화된 메모리 통합, Structured Memory Consolidation)라는 두 번째 기능을 소개합니다. 만약 PRECOG가 도서관의 책들을 기억하는 것에 관한 것이라면, SMC는 한 사람의 인생을 기억하는 것에 관한 것입니다. 이것은 AI의 장기 기억(예: 당신의 취향이나 과거의 대화)을 "감정", "사실", "장소"와 같이 서로 다른 "폴더"나 클러스터로 조직합니다. 그리고 대화를 시작할 때 적절한 폴더를 AI의 뇌에 즉시 로드할 수 있어, 매번 다시 알려주지 않아도 AI가 당신이 누구인지, 무엇을 좋아하는지 기억하게 합니다. 이 전체 시스템은 저전력 소형 기기에서 작동하도록 설계되었으며, 이를 통해 당신의 주머니 속에 강력한 메모리를 가진 초스마트 AI 비서를 넣고 다닐 수 있게 합니다.

저자들은 자신들의 수학적 근거에 매우 확신을 가지고 있습니다. 그들은 이 특정 유형의 AI에 대해, "요약 카드" 방식이 근사치나 추측이 아니라 텍스트를 읽는 것과 수학적으로 동일하다는 것을 증명했습니다. 그러나 이 기술은 오직 이 특정 유형의 AI 구조에서만 작동한다는 점 또한 지적합니다. 더 흔히 쓰이는 AI 모델들(트랜스포머라고 불리는 모델들)은 다르게 구축되어 있습니다. 그들은 단어의 순서와 복잡하게 얽혀 있기 때문에, 요약 카드를 단순히 갈아 끼울 수 없습니다. 그런 모델들의 경우, 여전히 매번 텍스트를 읽어야 합니다. 하지만 미래의 작고 빠르며 엣지 기반인 AI를 향한 길에 있어서, 이 논문은 느린 읽기라는 무거운 짐 없이도 강력한 기억력을 가질 수 있는 경로를 제시합니다.

기술 요약: O(1) SSM 상태 주입을 통한 엣지 언어 모델용 구조적 메모리

1. 문제 정의

현재 엣지 디바이스에서 검색 증강 생성(RAG)을 실용적으로 배포하는 것은 지배적인 트랜스포머(Transformer) 아키텍처의 두 가지 구조적 제한으로 인해 제약을 받고 있습니다:

선형 프리필 비용(Linear Prefill Cost): 인컨텍스트(In-context) RAG는 검색된 컨텍스트 토큰을 프리필 단계에서 토큰 단위로 다시 인제스션(ingestion)해야 합니다. 이는 컨텍스트 길이에 비례하는( $O(L_{context})$ ) 지연 시간과 에너지 비용을 발생시키며, 대역폭이 제한된 엣지 하드웨어에서는 매우 부담스럽습니다.
위치 결합형 KV 캐시(Position-Entangled KV Caches): 트랜스포머의 키-값(KV) 캐시는 위치 인코딩(회전형 또는 절대적 위치 인코딩)을 포함하므로, 서로 다른 컨텍스트나 위치에서 재사용할 수 없습니다. 또한, 캐시 크기가 컨텍스트 길이에 따라 선형적으로 증가하여 코퍼스 규모가 커질수록 저장 공간의 병목 현상을 초래합니다.

상태 공간 모델(SSM)은 고정된 크기의 위치 불가지론적(position-agnostic) 순환 은닉 상태로 이전 컨텍스트를 압축함으로써 이론적인 대안을 제시합니다. 그러나 기존의 RAG 구현은 여전히 토큰 단위의 인제스션에 의존하고 있으며, 프리필 비용을 완전히 제거할 수 있는 SSM의 고유한 대수적 특성을 활용하지 못하고 있습니다.

2. 방법론

본 논문은 컨텍스트 인제스션을 우회하기 위해 SSM의 시간 병진 불변성(time-translation invariance)을 활용하는 두 가지 메커니즘인 **PRECOG (Pre-Computed Context Injection)**와 **SMC (Structured Memory Consolidation)**를 소개합니다.

PRECOG: 사전 계산된 컨텍스트 주입

PRECOG는 검색된 문서의 은닉 상태를 오프라인에서 미리 계산하여 쿼리 시점에 직접 주입하는 방식으로 RAG를 재정의합니다.

오프라인 인덱싱: 문서 코퍼스는 청크(chunk) 단위로 분할됩니다. SSM 언어 모델은 각 청크를 처리하여 모든 레이어에 대한 최종 은닉 상태( $\bar{h}^{(i)}$ )를 포착합니다. 이 고정 크기 상태(1.2B 파라미터 모델 기준 192 KB)는 경량 문장 인코더 키와 함께 페어링되어 플래시 스토리지에 저장됩니다.
쿼리 시점 주 injection: 쿼리가 수신되면 시스템은 키를 통해 매칭되는 상위- $k$ 개의 청크를 검색합니다. 텍스트를 다시 인제스션하는 대신, 시스템은 해당하는 사전 계산된 은 은닉 상태를 로드하여 모델의 초기 순환 상태( $\bar{h}_{init}$ )로 주입합니다. 이후 모델은 오직 쿼리 토큰만을 처리합니다.
이론적 보장 (정리 1): 본 논문은 임의의 초기 상태 $h_0$ , 컨텍스트 $c$ , 쿼리 $q$ 에 대하여, 상태 궤적 $S(h_0, c \oplus q)$ 가 $S(S(h_0, c), q)$ 와 대수적으로 동일함을 증명합니다. SSM 업데이트는 절대적 위치가 아닌 현재 상태와 토큰에만 의존하므로, 사전 계산된 상태를 주입하는 것은 컨텍스트 토큰을 순차적으로 처리한 것과 수학적으로 동일합니다. 이는 PRECOG가 양자화 노이즈를 제외하고 인컨텍스트 RAG의 답변 품질과 정확히 일치함을 보장합니다.

SMC: 구조적 메모리 통합

SMC는 상태 주입 메커니즘을 사용자 선호도, 상호작용 기록 및 로그를 축적하기 위한 지속 가능한 온디바이스 메모리로 확장합니다.

계층적 클러스터링: 상호작용 청크는 인지 도메인 클러스터(예: 정서적, 시간적, 공간적, 사실적)로 라우팅되며, 회상 패턴(일화적 vs 의미적)에 따라 하위 클러스터로 더 세분화됩니다.
충실도-저장 용량 다이얼 (Fidelity-Storage Dial): 파라미터 $K$ $K$ 는 청크당 상태 유지 수를 제어합니다:
- $K=N_c$ : 손실 없는 일화적 메모리 (모든 상태 유지).
- $K=1$ : 의미적 메모리 (최종 상태만 유지, PRECOG 청크와 동일).
O(1) 세션 초기화: 세션 시작 시, 시스템은 지배적인 도메인을 식별하고 그에 상응하는 통합된 의미적 상태를 SSM에 직접 주입합니다. 이를 통해 누적된 상호작용의 길이와 관계없이 $O(1)$ 지연 시간을 유지하며 모델을 초기화합니다.

3. 주요 기여

RAG의 알고적 리팩토링: 본 논문은 PRECOG를 통해 컨텍스트 인제스션 비용을 $O(L_{context})$ 에서 $O(1)$ 로 줄일 수 있음을 보여줍니다. 이는 위치 결합성 때문에 트랜스포머의 KV 캐시로는 구조적으로 불가능한 메커니즘입니다.
정확한 등가성 증명: 정리 1은 PRECOG가 인컨텍스트 RAG와 동일한 상태 궤적을 생성한다는 공식적인 보장을 제공하여, 속도 향상이 답변 품질의 저하를 초래하지 않음을 입증합니다.
통합 메모리 기질: 동일한 상태 주입 프리미티브를 통해 정적 코퍼스 검색(PRECOG)과 동적 지속 메모리(SMC)를 통합하여, 엣지 모델이 검색된 지식과 사용자 이력을 단일 쿼리 단계에서 융합할 수 있게 합니다.
엣지 배포 타당성: TENNs-LLM(총 192 KB의 은닉 상태를 가진 1.2B 파라미터 게이트형 SSM)에 이 방법들을 구현함으로써, 상태 레벨의 검색이 온칩 메모리 제약 조건 내에 들어오는 뉴로모픽 엣지 하드웨어에서 실용적임을 입증했습니다.

4. 결과

시스템은 1.2B 파라미터 TENNs-LLM 백본을 사용하여 SQuAD v1.1 개발 세트에서 평가되었습니다.

품질: PRECOG(top-1 주입)는 EM 58.0, F1 73.4를 달성하여, 인컨텍스트 RAG 베이스라인(EM 58.2, F1 73.6)과 FP16 양자화 노이즈 범위 내에서 일치하는 성능을 보였습니다. 이는 이론적 등가성을 경험적으로 검증합니다.
지연 시간: 엣지 하드웨어(시뮬레이션된 뉴로모픽 프로세서)에서 PRECOG는 512-토큰 청크의 인컨텍스트 인제스션에 필요한 ~27초의 프리필 지연 시간을 검색 및 주입 오버헤드 <6 ms로 단축합니다. 쿼리 토큰을 인제스션하는 시간을 포함한 전체 첫 토큰 생성 시간(TTFT)은 약 585 ms입니다. 논문에서 언급된 ~4,500배의 속도 향상은 전체 쿼리 지연 시간이 아니라, 약 27초에 달하는 컨텍스트 인제스션 단계의 제거를 구체적으로 지칭합니다.
저장 효율성: 512-토큰 청크에 대해 PRECOG 상태는 192 KB를 요구하는 반면, 유사한 트랜스포머 KV 캐시는 ~16 MB를 요구합니다(85배 감소). 10,000개 청크의 코퍼스의 경우, PRECOG는 1.9 GB의 저장 공간이 필요하지만, 가상의 KV-캐시 방식은 160 GB가 필요하여 소비자용 기기에서는 실행이 불가능합니다.
절제 실험 (Ablations):
- 주입 깊이: 하위 12개 레이어(96 KB)만 주입했을 때 전체 레이어 F1 점수의 99%를 유지하였으며, 이는 추가적인 저장 용량 최적화 가능성을 시사합니다.
- 청크 길이: 청크 길이에 대해 인컨텍스트 RAG와 성능이 일치합니다(모델의 유효 메모리 지평인 ~600 토큰까지). 이 범위를 넘어서면 SSM이 먼 거리의 토큰을 자연스럽게 망각함에 따라 PRECOG 역시 성능이 점진적으로 저하되며, 이는 동일한 백본을 가진 인컨텍스트 RAG의 동작과 일치합니다.

5. 의의 및 주장

본 논문은 PRECOG와 SMC가 엣지 언어 모델을 위한 검색 및 메모리 처리 방식의 근본적인 변화를 나타낸다고 주장합니다. 그 의의는 다음과 같습니다:

아키텍처 독점성: 이 메커니즘은 SSM의 시간 병진 불변성에 의존하며, 이는 트랜스포머 KV-캐시로는 "구조적으로 불가능"합니다.
엣지 생존력: 대역폭이 제한된 디바이스에서 상호작용형 RAG를 가로막는 "프리필 병목 현상"을 해결하여, 클라우드 의존적 추론에서 온디바이스의 저지연 상호작용으로의 전환을 가능하게 합니다.
설계 원칙: 저자들은 SSM이 트랜스포머와의 품질 격차를 좁힘에 따라, 그 구조적 특성(고정 크기, 위치 불가지론적 상태)이 어텐션 기반 아키텍처에서는 접근할 수 없는 새로운 클래스의 검색, 캐싱 및 메모리 확장 알고리즘을 가능하게 할 것이라고 상정합니다.

본 논문은 PRECOG가 SSM의 유한한 메모리 지평을 물려받는다는 점(백본이 망각할 정보를 복구할 수 없음)과 top- $k$ 구성 휴리스틱(멀티 청크 검색을 위한)이 정확한 등가성 보장이 없는 근사치라는 점을 인정하며 한계점에 대해 겸허한 태도를 유지합니다. 또한, 뉴로모픽 배포 수치는 물리적 테이프-아웃 검증을 기다리는 중인 FPGA 측정값 및 12nm 전력 시뮬레이션에 기반하고 있습니다.