기술 요약: 엔그램으로서의 사용자 (User as Engram)

1. 문제 정의

본 논문은 사용자의 특정 기억을 개인화하기 위한 현재의 거대언어모델(LLM) 방법론들이 가진 근본적인 구조적 결함을 지적한다. 개인의 기억은 두 가지 뚜렷한 구성 요소로 이루어진다: 콘텐츠(사용자에 관한 구체적인 사실, 예: "나의 주치의는 바스케스 박사이다")와 추론 능력(이러한 사실들을 종합하여 답변을 생성하는 능력).

현재의 접근 방식들은 이 둘을 혼용하고 있다:

• 비매개변수적 방법(In-Context Learning, RAG)은 사실을 가중치 외부에 유지한다. 이는 모델의 오염은 피할 수 있으나, 높은 컨텍스트 토큰 비용을 발생시키며, 지식 베이스가 커짐에 따라 성능이 저하되는 검색 정확도에 의존하게 된다.
• 매개변수적 방법(사용자별 LoRA 어댑터)은 모델 가중치에 직접 사실을 기록한다. 그러나 LoRA 편집은 전역적(전체 모델의 Q/K/V/O 행렬에 영향을 미침)이기 때문에, 구조적 오염(architectural contamination) 문제를 겪는다. 사용자의 사실을 LoRA 델타로 기록하면 모델의 함수를 전역적으로 왜곡하여, 해당 사용자와 관련 없는 텍스트에 대한 성능을 저하시키고, 저장된 사실에 대해 간접적으로 추론하는 모델의 능력을 손상시키는 경우가 많다.

핵심 과제는 관련 없는 텍스트를 오염시키거나 공유된 추론 능력을 희생하지 않으면서, 사용자의 사실을 모델의 가중치 내부로 내재화하는 것이다.

2. 방법론: 엔그램으로서의 사용자 (User as Engram)

저자들은 콘텐츠 저장과 추론 능력을 분리하는 계층형 구조인 User as Engram을 제안한다. 이는 뇌의 상보적 학습 시스템(에피소드 흔적을 위한 해마와 공유된 기술을 위한 신피질)을 모방한 것이다.

A. 엔그램 메모리 테이블 (콘텐츠 레이어)

이 방법은 전역 가중치를 편집하는 대신, 표준 트랜스포머 레이어와 함께 콘텐츠 주소 지정 가능 메모리 테이블을 포함하는 엔그램 모델(Cheng et al., 2026에서 소개된 희소 구조)을 활용한다.

• 메커니즘: 특정 레이어에서, 모델은 최근 토큰의 접미사 N-gram을 해싱하여 대규모 임베딩 테이블($E$)의 결정론적 주소로 변환한다.
• 외과적 편집: 사용자의 사실은 가중치 델타가 아니라, 이 메모리 테이블의 **로컬 행 오버라이드(local row override)**로 기록된다.
  • 주소 지정: 트리거 문구(예: "나의 주치의는")는 특정 행 세트($R_f$)로 해싱된다.
  • 기록: 시스템은 이 특정 행들에 값 벡터를 기록한다. 세 가지 전략이 사용된다:
    1. UNEMBED_P: 폐쇄형 해법 (빠름, <1ms).
    2. OPT: 사실당 그래디언트 단계 적용.
    3. Joint OPT: 간섭을 방지하기 위해 사용자의 모든 행을 동시에 최적화 (30개 이상의 사실이 있는 경우 기본값).
• 국소성: 이 편집은 "글래스 박스(glass box)"처럼 투명하다. 특정 트리거 N-gram이 존재할 때만 활성화된다. 그 외의 모든 텍스트에 대해서는 메모리 테이블이 변경되지 않으며, 잔차 연결(residual stream)은 마지막 비트까지 영향을 받지 않는다.

B. 공유 추론 어댑터 (기술 레이어)

추론 능력은 사용자의 사실으로부터 분리된다.

• 단일 공유 LoRA가 보유 집단(held-out population)의 사용자들을 대상으로 학습된다.
• 이 어댑터는 특정 사용자의 콘텐츠를 암기하는 것이 아니라, 사실에 대한 추론 패턴(예: "사실 X, Y, Z가 주어졌을 때, 질문 Q에 답하라")을 학습한다.
• 추론 시, 시스템은 공유 LoRA를 로드하고 특정 사용자의 엔그램 행 오버라이드를 교체(swap)한다.

C. 구성 및 서빙

• 가산적 구성(Additive Composition): 서로 다른 사용자의 사실은 메모리 테이블 내에서 서로 겹치지 않는 주소로 해싱되므로, 이들의 오버라이드는 가산적이며 손실이 없다. 여러 사용자가 결합기(combiner) 없이 단일 모델 인스턴스를 공유할 수 있다.
• EngramServer: 사용자별 오버라이드 맵을 CPU 메모리(DRAM)에서 관리하고, 순방향 패스(forward pass)를 위해 이를 GPU 메모리(HBM)로 스왑한 뒤 즉시 복구하는 경량 서빙 시스템(약 50줄의 코드)이다. 이는 무시할 만한 지연 시간(~0.03ms ~ 2ms)만을 발생시킨다.

3. 주요 결과

A. 오염 제거

• 관련 없는 텍스트: 사용자의 사실을 per-user LoRA로 기록하면 관련 없는 텍스트에 대한 검증 bpb(bits-per-byte)가 약 1.78 증가한다(베이스라인 대비 33,000배 이상의 손실 증가). 반면, 동일한 사실을 엔그램 행으로 기록하면 변화는 +0.00005 bpb에 불과하며, 사실상 제로에 가깝다.
• 추론 보존: 인스트럭션 튜닝된 베이스 모델에서, per-user LoRA는 종종 간접 추론을 저하시킨다(85%의 사용자가 약한 베이스 모델에서 더 낮은 성능을 보임). 계층형 엔그램 설계는 베이스의 추론 능력을 유지하며, 수정되지 않은 베이스보다 성능이 떨어지는 사용자는 단 한 명도 없었다.

B. 회상 및 추론 성능

• 직접 회상(Direct Recall): 계층형 설계(엔gram + 공유 LoRA)는 per-user LoRA와 일치하는 거의 완벽한 직접 회상(100%)을 달ernetes한다.
• 간접 추론(Indirect Reasoning): 계층형 설계는 간접 질문(사실에 기반한 추론)에서 per-user LoRA를 크게 압도한다. 정준 시드(canonical seed)에서, 이 방식은 per-user LoRA의 6%에 비해 44%의 간접 회상을 달성했다 (5.6배에서 7.4배의 개선).
• 검색(RAG)과의 비교:
  • 정확한 트리거 쿼리에 대해서는 RAG가 잘 작동하지만, 컨텍스트 토큰 비용을 지불해야 한다.
  • 의역된(paraphrased) 쿼리에 대해서는 인코더의 한계로 인해 RAG 성능이 크게 떨어지는 반면, 멀티 트리거 엔그램 삽입은 높은 회상률을 유지한다(RAG의 75% 대비 96.9%).
  • 확장성: 지식 베이스(KB)가 커짐에 따라 RAG의 회상력은 후보군 혼란으로 인해 저하된다. 계층형 설계의 정확도는 KB 크기에 관계없이 불변한다. 본 논문은 약 100개의 사실 지점에서 교차점을 확인했다. 이 지점을 넘어서면, 작은 모델의 계층형 설계가 2.5배 더 큰 모델의 RAG보다 우수한 성능을 보인다.

C. 효율성

• 저장 공간: 100개의 사실에 대해 사용자의 엔그램 테이블은 약 88 KB이다. per-user LoRA는 약 14.2 MB이다. 이는 사용자당 약 161배의 저장 공간 감소를 의미한다.
• 지연 시간: 오버라이드 적용은 1밀리초 미만이므로, 사용자 수에 관계없이 평탄하게 확장되는 높은 처리량(단일 GPU에서 232 req/s)을 제공한다.

4. 한계점

논문은 다음과 같은 제약 사항을 명시적으로 언급한다:

• 멀티홉 추론(Multi-hop Reasoning): 엔그램 메커니즘은 표면 트리거 키 방식이다. 단어는 매칭하지만 이를 조합하지는 못한다. 만약 질문이 두 사실을 연결해야 하는 경우("내 의사는 Patel이다; Patel은 Globex에서 근무한다; 내 의사는 어디서 근무하는가?")에는, 특정 체인이 명시적으로 저장되어 있거나 쿼리가 두 번째 사실의 트리거와 정확히 일치하지 않는 한 회상력이 붕괴된다.
• 사용자 내 밀도(Within-User Density): Joint OPT가 간섭를 완화하지만, 사용자당 동시 사실 수가 증가함에 따라 회상력이 저하된다(1,000개의 사실에서 ~35%로 하락). 이는 공통 활성 행들 사이의 순방향 패스 간섭 때문이다.
• 사전 학습 요구사항: 이 방법은 엔그램으로 사전 학습된 베이스 모델을 필요로 한다. 저자들은 타당성을 입증하기 위해 네 개의 Mini-Engram 모델(178M ~ 1.22B 파라미터)을 학습시켰으나, 실제 배포는 해당 가중치의 가용성에 달려 있다고 언급했다.

5. 의의 및 주장

본 논문은 User as Engram이 단순한 파라미터 공유가 아닌 구조적 분리를 통해 개인화의 "콘텐츠 vs 기술" 갈등을 해결한다고 주장한다.

• 구조적 혁신: 이는 로컬 매개변수 편집과 제로 컨텍스트 비용을 동시에 달성한 최초의 방법이다. 이는 로컬 편집을 수행하면서도 모델의 나머지 부분을 오염시키지 않는 독특한 설계 영역을 점유한다.
• 확장성: 이는 단일 모델 인스턴스에서 수백만 명의 사용자를 가산적이고 손실 없는 구성으로 서비스할 수 있게 하며, per-user LoRA의 저장 공간 폭발이나 RAG의 검색 저하 문제를 피한다.
• 생물학적 유추: 이 연구는 보완적 학습 시스템 이론의 계산적 구현을 검증한다. 즉, 빠르고 희소한 에피소드 흔적(엔그램 행)을 느리고 분산된 기술(공유 LoRA)로부터 분리함으로써, 파괴적 간섭를 방지하고 추론 능력을 보존할 수 있음을 보여준다.

저자들은 개인화의 "문제"가 단순히 어댑터의 문제가 아니라, 단일한 가중치 세트가 기억과 정신의 역할을 동시에 수행하도록 강요할 때 발생하는 본질적인 문제라고 결론짓는다. 각 사용자에게 공유된 기술 옆에 작고 사적인 흔적을 부여함으로써, 개인화는 그것이 실행되는 모델과 싸우는 것을 멈춘다.