🤖 machine learning

Proteus: Incremental Memory Activation for Long-Context Sequence Modeling

본 논문은 초기 토큰 간섭을 완화하고 유지력을 향상시키기 위해 유효 메모리 용량을 점진적으로 확장하는 새로운 증분적 메모리 활성화 패러다임인 Proteus를 소개하며, 다양한 최첨단 롱 컨텍스트 모델 전반에 걸쳐 일관된 성능 향상을 입증한다.

원저자: Reza Bayat, Ali Behrouz, Vahab Mirrokni, Aaron Courville

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Reza Bayat, Ali Behrouz, Vahab Mirrokni, Aaron Courville

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 광활한 풍경 속에서, 기계가 무엇을 기억할 수 있는지에 대한 한계를 오랫동안 정의해 온 지속적인 과제가 있었습니다. 수년 동안 가장 강력한 시스템들은 자신이 접하는 모든 정보에 대해 동일한 가중치를 부여하며, 지금까지 읽은 모든 것에 대한 완전하고 변하지 않는 기록을 저장하는 메커니즘에 의존해 왔습니다. 이러한 접근 방식은 특정 세부 사항을 회상하는 데 놀라운 정밀함을 허용했지만, 그에는 가혹한 대가가 따랐습니다. 시스템이 처리하는 정보가 많아질수록 계산 비용이 기하급수적으로 늘어났고, 결국 긴 이야기나 복잡한 문서를 마주했을 때 속도가 느려져 거의 멈추는 지경에 이르렀습니다. 이를 해결하기 위해 연구자들은 다른 전략을 택했습니다. 역사를 하나의 고정된 크기의 요약본으로 압축하도록 모델을 설계한 것입니다. 이는 모델을 빠르고 효율적으로 만들었지만, 새로운 문제를 야겨왔습니다. 메모리 공간이 처음부터 항상 완전히 열려 있었기 때문에, 시스템은 초기에 접한 정보들로 공간을 채워버리는 경향이 있었고, 이로 인해 나중에 도착하는 새로운 정보를 위한 공간이 거의 남지 않게 되었습니다. 그 결과, 대화의 시작 부분은 완벽하게 기억하지만 끝부분을 붙잡는 데는 어려움을 겪는 기계가 탄생했습니다.

이제 한 연구팀이 이 불균형에 대한 해결책을 제시하며, '점진적 메모리 활성화(incremental memory activation)'라고 부르는 방법을 도입했습니다. 이들의 접근 방식은 정보의 시퀀스가 성장함에 따라 메모리를 점진적으로 잠금 해제합니다. 서가가 처음에 잠겨 있어 사서가 처음 몇 권의 책을 작고 조밀한 공간에 요약해야만 하는 도서관을 상상해 보십시오. 더 많은 책이 도착함에 따라 새로운 서가가 잠금 해제되어, 이전의 요약본들을 지우지 않고도 나중에 도착한 이야기들을 위한 신선한 공간을 제공합니다. 이러한 타이밍의 단순한 변화는 시스템이 초기 맥락을 효과적으로 압축하도록 강제하는 동시에, 후속 정보가 이전의 것들과 간섭하지 않고 저장될 수 있는 공간을 확보해 줍니다. 연구진은 이 아이디어를 현재 존재하는 가장 진보된 메모리 기반 모델들에 적용하여 테스트했으며, 이것이 긴 텍스트를 이해하고 그 깊숙한 곳에서 특정 세부 사항을 검색하는 능력을 일관되게 향상시킨다는 것을 발견했습니다.

이 연구의 핵심은 기계가 학습하는 방식에 나타나는 특정한 실패 모드를 다룹니다. 모델이 즉시 전체 메모리 용량을 사용할 수 있게 되면, 모델이 처음 접하는 정보들은 공간을 차지하기 위한 경쟁을 겪지 않습니다. 이들은 메모리 상태를 '오염'시키며 불균ymmetrically 많은 주의를 독점할 수 있습니다. 나중에 정보가 도착할 때쯤이면 메모리는 이미 포화 상태가 되어, 새로운 세부 사항은 끼어들 자리를 찾아 헤매야 하며, 종종 이전의 데이터를 덮어쓰거나 왜곡하게 됩니다. 연구진은 이러한 정적인 접근 방식이 최적이 아니라고 주장합니다. 그들의 새로운 패러다임인 프로테우스(Proteus)는 메모리의 유효 용량이 고정된 것이 아니라 입력의 길이에 맞춰 성장하는 동적인 스케줄을 도입합니다. 시퀀스의 시작 단계에서 시스템은 제한된 하위 집합만을 사용하도록 강제되며, 이는 초기 맥락을 상세히 기억하기보다는 요약하고 압축하도록 유도하는 병목 현상 역할을 합니다. 시퀀스가 계속됨에 따라 추가적인 메모리 블록이 점진적으로 잠금 해제되어 새로운 정보를 위한 신선한 용량을 제공합니다. 이를 통해 후속 토큰들이 초기 토큰들과 공간을 두고 싸울 필요가 없게 만들어, 간섭을 줄이고 가장 최근의 맥락을 유지하는 능력을 높입니다.

이 개념을 테스트하기 위해, 연구팀은 SWLA, Comba, Titans, Hope-Attention과 같이 알려진 최첨단 모델들을 포함한 다양한 모델에 프로테우스 메커즘을 적용했습니다. 이 모델들은 수십억 단어를 포함하는 방대한 데이터셋으로 학습되었으며, 연구진은 새로운 게이팅 시스템이 있을 때와 없을 때의 성능을 비교했습니다. 결과는 명확하고 일관된 패턴을 보여주었습니다. 프로테우스를 추가하는 것은 전반적으로 모델의 성능을 향상시켰습니다. 표준 언어 작업에서 모델은 더 정확한 예측과 더 나은 추론 점수를 생성했습니다. 개선 사항은 특히 긴 맥락 시나리오에서 두드러졌습니다. 매우 긴 문서 속에 숨겨진 특정 정보를 찾아내는 작업(흔히 '건더미 속의 바늘 찾기'라고 불리는 작업)을 수행할 때, 프로테우스를 사용하는 모델은 텍스트 길이가 길어짐에 따라 표준 모델보다 훨씬 더 잘 정확도를 유지했습니다. 예를 들어, 최대 16,000 단어 길이의 문서를 다루는 작업에서, 점진적 활성화 스케줄을 사용하는 모델은 올바른 정보를 찾는 데 상당한 이득을 보인 반면, 베이스라인 모델들은 성능이 급격히 저하되었습니다.

또한 이 연구는 이 원리가 단순히 모델의 메모리 상태를 넘어, 모델의 내부 파라미터 자체에도 적용될 수 있는지 탐구했습니다. 모델의 내부 계층이 학습하는 과정을 일종의 메모리로 취급함으로써, 연구진은 동일한 스케줄링 로직을 모델이 자신의 지식을 업데이트하는 방식에 적용했습니다. 이러한 확장은 이 방법이 전통적인 순환 메모리 상태에 의존하지 않는 구조에서도 사용될 수 있음을 보여주며, 접근 방식의 유연성을 더욱 입증했습니다. 모든 실험에 걸쳐, 이 방법은 추가적인 메모리 저장 공간이나 추가적인 계산 비용을 요구하지 않았습니다. 그것은 단지 서로 다른 시스템의 부분이 학습과 검색에 참여할 수 있는 '타이밍'을 변경했을 뿐입니다. 연구 결과는 용량이 시간에 따라 어떻게 할당되는지가 아키텍처 자체만큼이나 중요하다는 것을 시사합니다. 메모리를 정적인 자원이 아니라 맥락과 함께 진화하는 스케줄로 취급함으로써, 연구진은 기계가 긴 시퀀스를 더 효과적으로 관리할 수 있도록 돕는 단순하고 폭넓게 적용 가능한 도구를 제공했으며, 때로는 모든 것을 기억하는 가장 좋은 방법이 문을 천천히 여는 것임을 증명했습니다.

기술 요약: Proteus: 긴 컨텍스트 시퀀스 모델링을 위한 점진적 메모리 활성화 (Incremental Memory Activation)

문제 정의

어텐션 기반 트랜스포머의 이차 복잡도(quadratic computational cost) 문제는 메모리 기반 모델(예: 현대적 RNN) 연구를 촉진해 왔습니다. 이러한 모델은 컨텍스트를 고정된 크기의 상태로 압축합니다. 그러나 기존의 메모리 모델은 일반적으로 전체 시퀀스 동안 **정적 메모리 용량(static memory capacity)**을 노출한다는 특징이 있습니다. 이 설계는 두 가지 주요 실패 모드를 초래합니다:

초기 과소 압축(Early Under-Compression): 시퀀스 초기에 토큰이 도착할 때 메모리 상태는 거의 비어 있는 상태입니다. 용량에 대한 경쟁이 없는 상황에서, 초기 토큰들은 압축을 강제받지 않은 채 메모리의 자유도(degrees of freedom) 중 불균형적으로 많은 부분을 차지하여, 결과적으로 상태를 "오염(polluting)"시킵니다.
후기 간섭(Later Interference): 시퀀스가 진행됨에 따라, 후기 토큰들은 남은 용량 안으로 밀어 넣어져야 합니다. 이는 새로운 정보가 이전에 저장된 콘텐츠를 덮어쓰거나 간섭하게 만들어, 모델이 후기 컨텍스트를 유지하는 능력을 저하시킵니다.

저자들은 정적 용량이 최적이 아니라고 주장합니다. 왜냐하면 "적절한" 용량의 양은 시퀀스의 시작과 끝 사이에서 서로 다르기 때문입니다. 초기 입력은 압축을 강제하기 위한 병목(bottleneck)이 필요하며, 후기 입력은 이전 콘텐츠의 덮어쓰기를 피하기 위해 신선한 용량이 필요합니다.

방법론: 점적적 메모리 활성화 (Incremental Memory Activation)

본 논문은 메모리의 유효 용량을 컨텍스트 길이에 따른 함수로서 스케줄링하는 점진적 메모리 활성화라는 새로운 패러다임을 제안합니다. 이 패러다임은 두 가지 상호 보완적인 메커즘을 통해 위에서 언급한 실패 모드들을 해결합니다:

초기 병목 (Early Bottleneck): 시퀀스 시작 부분에서 활성 메모리 서브셋을 제한함으로써, 모델이 초기 컨텍스트를 단순히 암기하는 것이 아니라 요약(압축)하도록 강제합니다.
신선한 용량 (Fresh Capacity): 컨텍스트가 성장함에 따라, 이전에 잠겨 있던 메모리 블록들이 점진적으로 해제됩니다. 이는 새로운 정보를 위한 신선한 자유도를 제공하여, 초기 저장된 콘텐츠와의 간섭을 줄여줍니다.

Proteus 메커니즘

저자들은 이 패러다임을 Proteus라는 방식으로 구현했습니다. 이는 추가적인 파라미터 비용 없이 광범위한 연상 메모리 아키텍처(선형 RNN 및 MLP 기반 메모리를 가진 모델 포함)에 적용 가능한 가볍고 블록 단위인 게이팅(block-wise gating) 방식입니다.

핵심 구성 요소:

블록 분할 (Block Partitioning): 메모리 파라미터(예: 행렬 $M \in \mathbb{R}^{d_k \times d_v}$ )를 $E$ 개의 동일한 크기의 연속된 블록으로 분할합니다.
결정론적 스케줄 (Deterministic Schedule): 단순하고 균등한 스케줄을 사용하여 단계 $t$ $t$ 에서의 활성 블록 수 $k(t)$ $k (t)$ 를 결정합니다. 활성 비율은 컨텍스트 길이 $N$ $N$ 에 걸쳐 균등한 증분으로 성장합니다.
- $[1, \Delta]$ 구간의 토큰은 메모리의 첫 $1/E$ 부분과만 상호작용합니다.
- $t$ 가 증가함에 따라, 추가적인 블록들이 해제되어 전체 메모리를 사용할 수 있게 됩니다.
게이팅 연산 (Gated Operations):
- 쓰기 (Write): 업데이트 규칙(예: 경사 하강법)은 현재 활성화된 블록에 대해서만 적용됩니다. 잠긴 블록은 고정된 상태를 유지하며 업데이트를 받지 않습니다.
- 읽기 (Read): 검색 연산은 활성 서브셋으로부터만 정보를 읽어옵니다.
- 수학적 공식: 메모리 상태 $M_{t-1}$ 과 활성화 마스크 $g_t$ 에 대하여, 업데이트는 다음과 같습니다:
  $M_t = M_{t-1} - \theta_t (g_t \odot \nabla \tilde{L}(M^{(g)}_{t-1}; k_t, v_t))$
  여기서 $M^{(g)}_{t-1}$ 은 활성 서브셋이며, $\odot$ 는 원소별 곱(element-wise multiplication)을 나타냅니다.

모델 파라미터로의 확장 (중첩 학습, Nested Learning):
MLP 블록을 연상 메모리로 간주하는 "중첩 학습(Nested Learning)" 관점(Behrouz et al., 2025d)을 활용하여, Proteus는 이 스케줄링 원칙을 모델의 파라미터 자체로 확장합니다. Hope-Attention과 같은 아키텍처에서, MLP 블록 파라미터의 업데이트는 동일한 스케줄에 의해 게이팅되며, 이를 통해 초기 학습 샘플이 후기 샘플이 도착하기 전에 전체 파라미터 공간에 과적합되는 것을 방지합니다.

주요 기여

점진적 메모리 활성화 패러다임: 컨텍스트 흐름에 따라 모델의 유효 용량을 제어하는 새로운 접근 방식으로, 초기 압축을 장려하고 후기 덮어쓰기/간섭을 줄입니다.
Proteus 메커니즘: 메모리 읽기/쓰기 및 중첩 학습을 통한 MLP 파라미터 모두에 점진적 활성화를 적용하는 범용적이고 드롭인(drop-in) 가능한 블록 단위 게이팅 스킴입니다. 이는 추가적인 파라미터나 메모리 오버헤드를 요구하지 않습니다.
실증적 검증: 다양한 벤치마크에서 여러 모델 제품군(SWLA, Comba, Titans, Hope-Attention)에 대해 Proteus가 일관되게 성능을 개선함을 입증했습니다.

실험 결과

저자들은 760M 및 1.3B 파라미터 규모의 네 가지 모델 제품군(Hope-Attention, SWLA, Comba, Titans)에 대해 각각 50B 및 100B 토큰으로 Proteus를 평가했습니다.

언어 모델링 및 상식 추론: Proteus는 Wikitext에서 퍼플렉시티(perplexity)를 일관되게 낮추었으며, 7개의 상식 벤치마크(PIQA, HellaSwag 등)에서 제로샷 정확도를 향상시켰습니다. 이러한 이득은 모든 백본에서 관찰되었으며, Titans+Proteus가 가장 우수한 종합 성능(예: 1.3B에서 평균 정확도 58.00)을 달성했습니다.
Needle-in-a-Haystack (NIAH): 성능 향상은 더 긴 컨텍스트 길이(16K)와 더 어려운 변형(예: UUID 검색)에서 가장 두드러졌습니다. 예를 들어, Proteus는 16K 환경의 S-NIAH-3에서 Titans의 성능을 21.4%에서 29.8%로 개선했습니다. 이미 포화 상태인 짧은 컨텍스트에서는 중립적인 결과를 보였습니다.
긴 컨텍스트 검색 및 이해: SWDE, SQuAD, FDA와 같은 작업에서 Proteus는 견고성과 길이 외삽(length extrapolation) 능력을 향상시켰으며, 특히 급격한 정확도 저하를 겪던 모델들(Comba, Titans)에서 효과적이었습니다. LongBench 벤치마크에서도 Proteus는 평가된 세 가지 백본 모두에서 평균 점수를 개선했습니다.

주요 관찰: 성능 이득은 일반적으로 컨텍스트 길이에 따라 증가하며, 이는 이 메커니즘이 특히 긴 컨텍스트 유지 및 외삽에 도움이 됨을 확인시켜 줍니다.

의의 및 주장

본 논문은 정적 메모리가 긴 컨텍스트 시퀀스 모델링에 있어 최적이 아니다라고 주장합니다. 메모리 용량을 정적인 자원으로 취급함으로써, 모델은 초기 압축의 필요성과 후기 유지의 필요성 사이에서 균형을 잡는 데 실패합니다.

Proteus의 의의는 그 단순함과 폭넓은 적용 가능성에 있습니다:

이는 근본적인 메모리 아키텍처, 업데이트 규칙, 또는 내부 목적 함수를 변경하지 않는 단순한 스케줄링 도구입니다.
선형 RNN부터 복잡한 메모리 증강 네트워크에 이르기까지 다양한 모델을 개선하는 아키텍처 불가지론적(architecture-agnostic) 특성을 가집니다.
이는 유효 용량을 스케줄링하는 것이 긴 컨텍스트 성능을 향상시키는 근본적인 레버임을 보여주며, 모델 크기나 메모리 복잡성을 늘리는 것에 대한 실질적인 대안을 제시합니다.

저자들은 현재의 스케줄이 고정되어 있고 수동으로 설계되었다는 점과, MLP 블록으로의 확장이 개념 증명(proof of concept) 단계라는 점을 언급하며 겸허한 태도를 유지했습니다. 이들은 향후 연구에서 데이터 의존적인 활성화 정책을 학습하거나, 성장하는 메모리 아키텍처와 점진적 활성화를 결합하는 방향을 탐구할 수 있다고 제안했습니다.