$\delta$-mem: Efficient Online Memory for Large Language Models

$\delta$-mem 기술 요약: 대규모 언어 모델을 위한 효율적인 온라인 메모리

1. 문제 제기

대규모 언어 모델 (LLM) 이 장기 보조 도구 및 에이전트 시스템에 배포됨에 따라, 그들은 장기적인 상호작용을 통해 역사적 정보를 축적, 업데이트 및 재사용해야 한다는 치명적인 과제에 직면합니다. 현재 전략들은 종종 입력 컨텍스트 창을 단순히 확장하는 데 의존합니다. 그러나 이 접근 방식은 컨텍스트 길이에 대한 표준 어텐션의 2 차 비용으로 인해 계산적으로 비용이 많이 듭니다. 더 나아가, 단순히 창 크기를 늘리는 것이 효과적인 활용을 보장하지는 않습니다. 모델들은 매우 긴 시퀀스를 처리할 때 종종 "컨텍스트 저하" 또는 "컨텍스트 부패"를 겪으며, 이는 수백만 토큰의 창이 근본적으로 메모리 문제를 해결하지 못함을 시사합니다.

기존 메모리 메커니즘은 각각 한계가 있는 세 가지 패러다임으로 분류됩니다:

• 텍스트 메모리 메커니즘 (TMMs): 메모리를 입력 컨텍스트에 주입된 텍스트로 저장합니다. 유연하지만 컨텍스트 창 한계, 검색 노이즈 및 압축 손실을 겪습니다.
• 외부 채널 메모리 메커니즘 (OMMs): 메모리를 검색을 통해 접근하는 외부 모듈에 보관합니다. 이는 오버헤드, 통합 복잡성 및 백본과의 잠재적 불일치를 초래합니다.
• 매개변수 메모리 메커니즘 (PMMs): 메모리를 프리픽스 또는 어댑터로 인코딩합니다. 동결된 백본에는 효율적이지만, 정적인 특성으로 인해 역동적으로 진화하는 정보에 대한 적응이 제한됩니다.

전체 파인튜닝이나 명시적 컨텍스트 확장을 요구하지 않으면서도, 컴팩트하고 역동적으로 진화하는 메모리 상태를 유지하고 내부 어텐션 계산과 긴밀하게 정렬된 경로를 통해 백본을 조종하는 메커니즘이 필요합니다.

2. 방법론: $\delta$-mem

저자들은 동결된 풀-어텐션 백본을 컴팩트한 온라인 연관 메모리 상태 (OSAM) 로 보강하는 경량 메모리 메커니즘인 $\delta$-mem을 제안합니다. 핵심 설계는 각 위치에서 "읽기 - 조종 - 쓰기" 사이클을 따르며, 백본 매개변수는 동결된 상태로 둡니다.

A. 온라인 연관 메모리 상태 (OSAM)
모든 역사적 토큰을 저장하는 대신, $\delta$-mem 은 과거 정보를 고정된 크기의 상태 행렬 $S \in \mathbb{R}^{r \times r}$ (실험에서는 구체적으로 $8 \times 8$ 행렬) 로 압축합니다. 이 상태는 역사적 컨텍스트의 키 - 값 연관 ($k \to v$) 을 저장합니다.

• 업데이트 규칙: 상태는 온라인 회귀에서 영감을 받은 델타 규칙 학습 접근법을 사용하여 순차적으로 업데이트됩니다. 메모리 키 $k_t$와 값 $v_t$가 주어지면, 상태는 $\hat{v}_t = S_{t-1}k_t$를 예측합니다. 업데이트는 잔차 오차를 최소화합니다:
  $$S_t = \lambda_t S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$$
  여기서 $\lambda_t$(포기 게이트) 는 이전 메모리의 유지 정도를 제어하고, $\beta_t$(쓰기 게이트) 는 잔차 업데이트의 강도를 제어합니다. 이를 통해 상태는 안정적인 역사적 정보를 유지하면서 예측 오차를 역동적으로 수정할 수 있습니다.

B. 메모리 투영
동결된 백본의 숨겨진 상태 $x_t$는 메모리 상태를 위한 쿼리 ($q^m_t$), 키 ($k^m_t$), 값 ($v^m_t$) 벡터를 생성하기 위해 저차원 메모리 공간 ($r$ 차원) 으로 투영됩니다. 긴 시퀀스 재귀 중 불안정성을 줄이기 위해 $q^m_t$와 $k^m_t$에 정규화가 적용됩니다.

C. 저랭크 보정을 통한 조종
생성 중, $\delta$-mem 은 현재 쿼리 $q^m_t$를 사용하여 이전 상태 $S_{t-1}$에서 읽어서 읽기 벡터 $r_t = S_{t-1}q^m_t$를 생성합니다. 이 벡터는 텍스트 토큰을 검색하지 않고도 백본의 어텐션을 조종하는 컨텍스트 관련 신호를 제공합니다.

• 읽기 신호는 어텐션 메커니즘의 쿼리 ($\Delta q_t$) 및 출력 ($\Delta o_t$) 측에 대한 저랭크 보정으로 변환됩니다:
  $$\tilde{q}_t = q^0_t + \alpha \Delta q_t, \quad \tilde{y}_t = a_t + \alpha \Delta o_t$$
  여기서 $q^0_t$는 원래 쿼리이고 $a_t$는 표준 어텐션 출력입니다. 이러한 보정을 통해 연관 메모리가 순방향 계산에 직접 참여할 수 있습니다.

D. 쓰기 세분성 전략
이 논문은 상태를 업데이트하기 위한 세 가지 전략을 조사합니다:

1. 토큰 - 상태 쓰기 (TSW): 모든 토큰에서 상태를 업데이트합니다. 세분화된 세부 정보를 보존하지만 노이즈에 민감합니다.
2. 시퀀스 - 상태 쓰기 (SSW): 업데이트 전에 메시지/세그먼트 내 숨겨진 상태를 평균화합니다. 중복을 줄이고 진화를 부드럽게 합니다.
3. 멀티 - 상태 쓰기 (MSW): 간섭을 줄이기 위해 여러 개의 병렬 하위 상태를 유지합니다 (예: 사실, 선호도, 작업 진행 상황용) 그리고 이들의 판독값을 집계합니다.

E. 학습
$\delta$-mem 은 표준 지도 파인튜닝 (SFT) 손실을 사용하여 학습됩니다. 컨텍스트 토큰은 온라인 상태에 쓰이지만, 상태 자체 (원시 컨텍스트 토큰이 아닌) 가 응답 예측 중 동결된 백본을 조종합니다.

3. 주요 기여

1. 새로운 메커니즘: 동결된 백본의 어텐션 계산과 직접 결합된 컴팩트하고 역동적으로 업데이트되는 온라인 상태를 제안하여, 전체 파인튜닝이나 백본 교체를 피하는 $\delta$-mem 을 제안합니다.
2. 컴팩트한 효율성: 극도로 작은 메모리 상태 ($8 \times 8$ 행렬) 가 명시적 역사가 제거된 경우에도 유용한 역사적 신호를 유지하고 컨텍스트 관련 정보를 복구하는 데 충분함을 입증합니다.
3. 성능 향상: 명시적 컨텍스트 확장이나 무거운 외부 검색 모듈에 의존하지 않으면서 일반 능력을 유지하는 동시에 메모리 집약적 벤치마크에서 상당한 개선을 보여줍니다.

4. 실험 결과

이 방법은 Qwen3-4B-Instruct, Qwen3-8B, SmolLM3-3B 백본을 사용하여 일반 능력 벤치마크 (IFEval, GPQA-Diamond, HotpotQA) 와 메모리 집약적 벤치마크 (LoCoMo, MemoryAgentBench) 에서 평가되었습니다.

• 전체 성능: $\delta$-mem 은 동결된 백본 대비 평균 점수를 1.10$\times$ 향상시켰으며, 가장 강력한 비-$\delta$-mem 메모리 베이스라인 (Context2LoRA) 대비 1.15$\times$ 향상시켰습니다.
• 메모리 집약적 작업:
  • MemoryAgentBench: 1.31$\times$ 향상 (평균 29.54% 에서 38.85% 로).
  • LoCoMo: 1.20$\times$ 향상 (평균 40.79% 에서 49.12% 로).
  • TTL 하위 작업: 점수가 26.14 에서 50.50 으로 거의 두 배가 되었습니다.
• 백본 변형:
  • Qwen3-4B에서 TSW 변형이 가장 좋은 평균 (51.66%) 을 달성했습니다.
  • Qwen3-8B에서 SSW 가 가장 잘 수행되었습니다 (50.86%), 이는 세그먼트 수준 쓰기가 더 강력한 모델의 노이즈를 완화함을 시사합니다.
  • SmolLM3-3B에서 MSW 가 상당한 도약 (26.08% 에서 36.96%) 을 이끌었으며, 이는 더 작은 모델들이 간섭을 최소화하기 위해 메모리 유형을 분리하는 데서 혜택을 받음을 나타냅니다.
• 컨텍스트 복구: "컨텍스트 없음" 설정 (명시적 역사가 제거됨) 에서 $\delta$-mem 은 상당한 성능을 복구하여 HotpotQA EM 을 0.08% 에서 6.48% 로, LoCoMo 평균을 3.49% 에서 8.05% 로 증가시켜 상태가 재사용 가능한 신호를 저장함을 증명했습니다.
• 결손 연구:
  • 헤드: 쿼리 및 출력 브랜치 모두 ($qo$) 에 보정을 주입하는 것이 성능과 매개변수 간의 가장 좋은 균형을 제공했습니다.
  • 깊이: 모든 레이어에 보정을 적용하는 것이 가장 좋은 결과를 낳았으며, 이는 메모리 신호가 전체 표현 계층에 유익함을 나타냅니다.

5. 중요성 및 주장

이 논문은 LLM 을 위한 효과적인 메모리가 어텐션 계산과 직접 결합된 컴팩트한 온라인 상태를 통해 실현될 수 있다고 주장합니다. $\delta$-mem 의 중요성은 다음과 같은 능력에 있습니다:

• 프롬프트 재삽입과 메모리 유지의 분리: 텍스트 메모리와 달리, 압축된 역사를 토큰 공간을 통해 다시 라우팅하지 않아 컨텍스트 창 한계와 검색 노이즈를 피합니다.
• 역동적 진화 가능: 매개변수 메모리와 달리, 상태는 델타 규칙 학습을 통해 시퀀스와 함께 연속적으로 진화하여 이산적 편집 단계 없이 새로운 상호작용에 적응합니다.
• 효율성 유지: 고정된 극히 작은 상태 크기 ($8 \times 8$) 로 이러한 이점을 달성하며 백본 아키텍처를 수정하지 않아, 동결된 트랜스포머를 위한 테스트 시간 메모리에 확장 가능한 인터페이스를 제공합니다.

저자들은 이 접근 방식이 컨텍스트 확장에 대한 견고한 대안을 제공하며, 모델이 긴 컨텍스트 처리의 계산적 부담이나 외부 검색 시스템의 복잡성 없이 역사적 정보를 효과적으로 활용할 수 있게 한다고 결론지었습니다.