🤖 machine learning

Memory as a Markov Matrix: Sample Efficient Knowledge Expansion via Token-to-Dictionary Mapping

본 논문은 메모리를 마르코프 전이 행렬로 표현하고 최소의 임베딩 업데이트를 통한 토큰-사전 매핑 전략을 활용하여 제로 재앙적 망각을 달성함으로써 대규모 언어 모델의 지속적 지식 확장을 위한 샘플 효율적 프레임워크를 제안한다.

원저자: Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

게시일 2026-05-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 언어 모델 (LLM) 을 이야기의 거대하고 매우 조직화된 도서관으로 상상해 보세요. 모델이 문장을 읽을 때마다, 그것은 사서가 마지막 단어를 보고 다음에 어떤 단어가 올지 추측하는 것과 같습니다.

보통, 이 사서에게 새로운 단어 (예: 새로운 과학 용어나 은어) 를 가르치고 싶다면 도서관 전체를 다시 훈련시켜야 합니다. 하지만 여기서 문제가 발생합니다: 새로운 단어를 배우기 위해 도서관 전체를 다시 훈련시키면, 사서는 종종 기존 이야기를 올바르게 전달하는 방법을 잊어버립니다. 이를 '파괴적 망각 (catastrophic forgetting)'이라고 합니다.

이 논문은 기존 것을 깨뜨리지 않고 새로운 단어를 추가하는 교묘하고 저노력 방식을 제안합니다. 간단한 비유를 사용하여 내용을 분해해 보겠습니다:

1. 도서관을 "교통 지도"로 보기 (마르코프 아이디어)

저자들은 복잡한 뇌가 아닌 언어 모델을 교통 지도로 봅니다.

노드: 사전의 모든 단어는 지도 위의 도시입니다.
도로: 단어 간의 연결은 도로입니다. "The"라는 도시에 있다면, "cat", "dog", "sun"으로 이어지는 특정 도로들이 있습니다.
기억: 모델의 "기억"은 바로 이 도로들의 지도일 뿐입니다. "The"는 특정 확률로 "cat"으로 이어진다는 것을 알고 있습니다.

2. 문제: 새로운 도시 추가하기

모델에게 새로운 단어 (예를 들어 "Zorp"라고 부르겠습니다) 를 가르치고 싶다면, 본질적으로 지도에 새로운 도시를 추가하는 것입니다.

옛 방식 (전체 미세 조정): "Zorp"를 포함시키기 위해 전체 지도를 다시 그리려고 시도합니다. 그렇게 하는 과정에서 실수로 기존 도시들 사이의 도로를 지우거나 변경합니다. 사서는 "The"가 "cat"으로 이어진다는 것을 잊고, 대신 "The"가 "Zorp"로 이어진다고 말하기 시작합니다.
이 논문의 방식: 전체 지도를 다시 그리는 대신, "Zorp"를 위한 표지판만 추가합니다. "이봐, 'Zorp'를 보거든 'The'나 'Cat'을 대하듯이 똑같이 대하라"고 말합니다.

3. 해결책: "토큰 - 사전" 지도

이 논문은 **토큰 - 사전 매핑 (Token-to-Dictionary Mapping)**이라는 전략을 제안합니다.

"Zorp"라는 새롭고 기이한 단어가 있다고 가정해 봅시다. "Zorp"의 의미를 처음부터 모델에게 가르치는 대신, 모델에게 이렇게 말합니다: "'Zorp'를 보거든 마치 그것이 'Star'라는 단어인 것처럼 생각하라."
모델은 "Zorp"를 위한 새로운 도로를 배울 필요가 없습니다. "Zorp"가 "Star"와 같은 목적지를 가리킨다는 것만 알면 됩니다.
모델은 기존 도로 (기존 단어 간의 전이 확률) 를 변경할 필요가 없기 때문에, 기존 이야기를 결코 잊지 않습니다.

4. "샘플 효율성" (왜 빠른가)

저자들은 이것이 놀라울 정도로 효율적임을 수학적으로 증명했습니다.

비유: 새로운 단어를 배우고 싶다면 도서관 전체를 다시 읽을 필요가 없습니다. 그 새로운 단어가 문장에서 어떻게 사용되는지 몇 가지 예시만 읽으면 됩니다.
수학: 필요한 예시의 수는 새로운 단어를 매핑하는 기존 단어의 수에 따라 결정됩니다. "Zorp"를 단지 5 개의 일반적인 단어에 매핑한다면, 그것을 배우기 위해 아주 적은 양의 데이터만 필요합니다. 도서관 전체의 크기 (10 만 개의 단어가 있을 수도 있음) 를 걱정할 필요가 없습니다.

5. 실험: 수학 가르치기와 가짜 단어

연구자들은 두 가지 시나리오로 이를 테스트했습니다:

마법 연산자: 그들은 "곱하기"를 의미하는 특수 기호 (예: ⟨spec⟩) 를 모델에게 가르쳤습니다.
- 결과: 모델은 새로운 기호를 사용하여 매우 빠르게 곱하기를 배웠습니다.
- 승리: 결정적으로 모델은 여전히 숫자를 더하는 방법을 알고 있었습니다. 다른 방법들에서는 새로운 기호를 배우는 것이 모델로 하여금 더하는 방법을 잊게 만들었습니다. 이 방법은 더하기 능력을 완벽하게 유지했습니다.
가짜 단어: 그들은 "glor"와 "zorp"와 같은 100 개의 말도 안 되는 단어를 만들어 문장에 넣었습니다.
- 결과: 모델은 영어를 말하는 방법을 잊지 않고 이러한 가짜 단어를 올바르게 사용하는 법을 배웠습니다.
- 비교: 다른 방법들 (표준 미세 조정 또는 LoRA 등) 은 모델이 가짜 단어를 배우면서 영어를 잊게 만들었습니다. 새로운 방법은 **완전한 망각 (zero forgetting)**을 일으켰습니다.

요약

이 방법을 기존 방들의 벽을 부수지 않고 집의 새로운 방을 추가하는 것으로 생각하세요.

옛 방식: 새로운 방을 추가하려면 기초를 모두 다시 세워야 합니다. 기존 방들은 갈라지고 무너집니다.
새로운 방식: 새로운 방을 짓고 기존 복도로 직접 이어지는 문을 부착합니다. 기존 복도는 그대로 유지되며, 새로운 방은 완벽하게 들어맞습니다.

이 논문은 이 방법이 매우 적은 데이터로 언어 모델의 어휘를 확장하고 이전 지식을 전혀 잃지 않는 수학적으로 증명된 방법이라고 주장합니다.

기술 요약: 마르코프 행렬로서의 기억

문제 정의

대규모 언어 모델 (LLM) 은 지속적 학습에서 새로운 지식 (예: 새로운 어휘, 개체 또는 도메인) 을 통합하면서도 **파괴적 망각 (catastrophic forgetting)**을 겪지 않는다는 데 있어 치명적인 과제에 직면해 있습니다. 전체 미세 조정 (full fine-tuning), 정규화, 또는 재생 기반 방법과 같은 기존 접근법들은 새로운 지식이 주입됨에 따라 이전에 학습된 행동들을 종종 저하시킵니다. 또한, 이러한 방법들은 대개 대규모 가중치 업데이트에 의존하는데, 이는 종종 되돌릴 수 없으며 계산적으로 비용이 많이 듭니다. 본 연구가 다루는 핵심 질문은 다음과 같습니다: LLM 은 파괴적 망각 없이 소량의 새로운 지식을 어떻게 통합할 수 있는가?

방법론

1. 언어 생성의 마르코프적 공식화

저자들은 토큰에 대한 자기회귀적 언어 생성을 마르코프 과정으로 모델링하는 원칙적인 프레임워크를 제안합니다.

상태 공간: 토큰은 마르코프 체인의 상태에 해당합니다.
전이 행렬: 모델의 기억은 마르코프 전이 행렬로 표현되며, 여기서 다음 토큰의 확률 $p_\theta(v | u)$ 는 토큰 $u$ 에서 $v$ 로의 전이 역학을 정의합니다.
지식 확장으로서의 상태 확장: 새로운 토큰 ( $U$ ) 을 통합하는 것은 상태 공간을 $V$ 에서 $V \cup U$ 로 확장하는 것으로 공식화됩니다.
망각 제로 조건: 망각을 방지하기 위해 기존 토큰들 간의 전이 확률 ( $V \times V$ ) 은 불변으로 유지되어야 합니다. 새로운 토큰들은 기존 어휘 $V$ 에 대한 전이 분포 ( $q(u)$ ) 를 정의함으로써 통합되는데, 이때 원래의 $V \to V$ 전이들은 변경되지 않습니다.

2. 토큰 - 사전 매핑

원래의 전이 구조를 수정하지 않고 이러한 확장을 실현하기 위해, 저자들은 토큰 - 사전 매핑 전략을 도입합니다:

개념: 새로운 토큰들은 고유한 전이 역학을 가진 독립적인 개체로서 학습되지 않습니다. 대신, 각 새로운 토큰 $u \in U$ 는 $V$ 내의 기존 토큰들의 희소 조합으로 매핑됩니다.
임베딩 튜닝: 이 매핑은 임베딩 튜닝 알고리즘을 통해 구현됩니다. 새로 도입된 토큰에 해당하는 임베딩 벡터만 업데이트 (또는 확장) 됩니다. 원래 토큰 임베딩과 모델의 전이 계산 그래프는 고정된 상태로 유지됩니다.
메커니즘: 새로운 토큰의 임베딩만 업데이트함으로써, 모델은 새로운 토큰을 기존 의미 구조 (임베딩) 의 선형 결합으로 표현하는 법을 학습하며, 이는 기본 어휘의 학습된 전이 역학을 효과적으로 재사용하게 합니다.

3. 이론적 분석

본 논문은 매핑 전략 하에서 이러한 새로운 토큰들을 학습하기 위한 표본 복잡도 경계를 확립합니다:

일대일 매핑: 새로운 토큰이 단일 기존 토큰과 동일하게 행동하는 경우, 표본 복잡도는 전체 어휘 크기 $T$ 와 무관하게 토큰 분포 간의 **KL 분리 마진 ( $\gamma$ )**에 비례합니다.
희소 조합: 새로운 토큰이 $s$ 개의 기존 토큰의 희소 조합인 더 일반적인 경우, 필요한 표본 수는 $\tilde{O}(s)$ 로 비례합니다. 핵심적으로, 이 복잡도는 전체 어휘 크기 ( $T$ ) 나 모델 차원이 아닌 표현의 희소성 ( $s$ ) 에 의존합니다.
고차 체인: 이 프레임워크는 상태 공간을 재구성함으로써 고차 마르코프 체인 (맥락 의존적 생성) 으로 확장되며, 이때 표본 복잡도는 어휘의 지수적 증가가 아닌 자연어의 유효 분기 계수에 의존합니다.

주요 기여

마르코프적 공식화: 본 논문은 언어 생성을 마르코프 과정으로 공식화하여 모델 기억을 전이 행렬로 해석합니다. 이는 망각을 제거하기 위해 원래 전이 역학을 보존하는 상태 공간 확장 문제로서 어휘 확장을 프레임합니다.
이론적 보장: 새로운 어휘 학습이 새로운 토큰들을 기존 토큰들로 희소하게 매핑할 수 있다면 효율적임을 보여주는 표본 복잡도 보장을 제공합니다. 비용은 전체 어휘 크기가 아닌 매핑된 토큰 수 ( $s$ ) 에 선형적으로 비례합니다.
임베딩 튜닝 알고리즘: 저자들은 새로운 토큰의 임베딩만 업데이트하는 실용적인 알고리즘을 제안합니다. 이 방법은 원래 토큰 간 전이 확률을 건드리지 않으므로 **구조적 망각 제로 (zero forgetting by construction)**를 유도합니다.
실증적 검증: 광범위한 실험은 세 가지 설정에서 이론을 검증합니다:
- 산술 연산자: 곱셈을 위한 새로운 토큰 학습에서 임베딩 튜닝은 최소한의 데이터로 높은 정확도를 달성하면서 덧셈 능력을 보존 (망각 제로) 한 반면, 전체 미세 조정은 덧셈에 대한 파괴적 망각을 초래했습니다.
- 합성 어휘: 합성 무의미 단어에 대해 임베딩 튜닝은 WikiText 벤치마크에서 망각 제로로 강력한 성능을 달성한 반면, LoRA 와 전체 미세 조정은 상당한 망각을 수반했습니다.
- 크로스링구얼 확장: 스페인어, 독일어, 아랍어 어휘 확장에서 임베딩 튜닝은 영어에 대해 거의 제로에 가까운 망각을 유지하면서 목표 언어 적응에서 최상의 성과를 달성했습니다.

결과 및 의의

본 논문은 소량의 새로운 지식을 습득하기 위해 대규모 가중치 업데이트가 불필요함을 입증합니다. 새로운 토큰들을 기존 임베딩 사전의 희소 확장으로 취급함으로써, 제안된 방법은 다음과 같은 성과를 달성합니다:

표본 효율성: 전체 미세 조정에 비해 훨씬 적은 학습 표본으로 높은 성능을 달성합니다.
망각 제로: 새로운 토큰 임베딩만 업데이트하는 것이 모델의 원래 능력을 완전히 보존한다는 이론적 및 실증적 증거가 확인됩니다.
확장성: 이 접근법은 계산적으로 효율적이며, 매개변수의 극히 일부 (새로운 토큰 임베딩) 만 업데이트하면 됩니다.

저자들은 이 연구가 이론적 표본 복잡도와 실용적 지속적 학습 간의 간극을 메꾼다고 주장합니다. LLM 을 마르코프 과정으로 모델링함으로써, 그들은 임베딩 튜닝이 망각을 방지하는 이유에 대한 형식적 정당성을 제공하며, 휴리스틱 기반의 매개변수 효율적 미세 조정 방법들에 대한 원칙적인 대안을 제시합니다. 이 프레임워크는 새로운 지식을 학습하는 '비용'이 모델의 sheer 크기 (단순한 크기) 가 아닌 기존 어휘에 대한 새로운 개념들의 의미적 희소성에 의해 지배됨을 시사합니다.