기술 요약: 언어 모델에게는 잠이 필요하다

1. 문제 정의

현재의 거대 언어 모델(LLM)은 지속적인 학습 능력에 있어 결정적인 한계를 보입니다. 이들은 인컨텍스트 학습(ICL)과 즉각적인 예측에는 뛰어나지만, 초기 배포 이후에는 대체로 정적인 상태를 유지합니다. 이는 모델이 비용이 많이 드는 재사전 학습(re-pretraining)이나 **파괴적 망각(Catastrophic Forgetting, CF)**의 위험이 있는 파라미터 업데이트 없이 새로운 사실이나 기술을 습득할 수 없는 "지식 컷오프(knowledge cutoff)" 취약성을 만듭니다.

기존의 지속 학습 접근 방식은 다음과 같은 딜레마에 직면해 있습니다:

• 재사전 학습(Re-pretraining): 빈번한 업데이트를 수행하기에는 계산 비용이 너무 많이 듭니다.
• 미세 조정/적응(Fine-tuning/Adaptation): 종종 파괴적 망각(CF)을 초래하며, 새로운 작업을 학습함에 따라 기존 작업에 대한 숙련도가 저하됩니다.
• 인컨텍스트 학습(In-Context Learning): 컨텍스트 창의 제한을 받으며, 지식은 취약하고 세션이 종료되면 소실됩니다.

본 논문은 인간의 전행성 건망증(anterograde amnesia) 비유를 사용합니다. 이는 단기 기억을 장기 저장소로 전달하지 못해 지식이 현재에만 국한되는 현상을 말합니다. 현재의 트랜스포머 구조는 이를 반영합니다: 어텐션 메커즘은 휘발성 있는 단기 기억(고주파 업데이트) 역할을 하는 반면, MLP 레이어는 정적인 장기 기억(제로 주파수 업데이트) 역할을 합니다. 핵심 과제는 LLM이 취약한 단기 인컨텍스트 지식을 어떻게 하면 기존 역량을 저해하지 않으면서 안정적인 장기 파라미터 지식으로 지속적으로 전이할 수 있게 하느냐는 것입니다.

2. 방법론: "잠(Sleep)" 패러다임

인간의 신경 가소성과 수면 단계(NREM은 공고화, REM은 꿈에 집중)의 구별된 역할에서 영감을 받아, 저자들은 지속 학습을 위한 **수면 패러다임(Sleep Paradigm)**을 제안합니다. 이 패러다임은 전통적인 "훈련/테스트" 분할을 활성(Wake) 시간과 수면(Sleep) 시간이라는 두 가지 교대 단계로 대체합니다.

단계 1: 기억 공고화 (오프라인)

이 단계는 비급속 안구 운동(NREM) 수면을 모방하며, 취약한 기억을 안정시키는 데 집중합니다.

• 주기적 파라미터 (비)활성화: 모델은 서로 다른 주파수($f_1 \geq \dots \geq f_c$)로 업데이트되는 **연속 메모리 시스템(Continuum Memory System, CMS)**을 활용합니다. 수면 중에 모델은 점진적인 파라미터 확장을 수행합니다. 새로운 저차원(low-rank) 전문가들이 더 느린(더 안정적인) 주파수 블록에 추가되어, 빠른(더 휘발적인) 블록으로부터 지식을 전달받습니다.
• 지식 시딩(Knowledge Seeding, 상향 증류): 지식 전이를 위한 핵심 메커니즘입니다. "더 작은" 버전의 모델(고주파, 휘발성 파라미터)이 교사 역할을 하여, "더 큰" 버전의 모델(확장된 저주파 파라미터)로 지식을 증류합니다.
  • 자기 지식 시딩(Self-Knowledge Seeding, SKS): 모델은 자신의 고주파 지식을 새로 확장된 저주파 파라미터로 증류합니다.
  • 모방 학습을 포함한 일반화된 지식 증류(GKD): 이 목적 함수는 온-폴리시(on-policy) 증류와 강화 학습(RL)을 결합합니다.
    • 증류: 학생 모델은 교사 모델의 로짓(logits)을 기반으로 자기 생성 시퀀스에 대해 토큰을 예측합니다.
    • 모방 학습: 학생은 교사의 샘플링 분포를 모방하도록 RL을 통해 보상을 받습니다. 보상은 의미적 유사성(동결된 보상 모델 사용)과 절대적 토큰 수준 유사성(레벤슈타인 거리) 모두에 기반합니다.
• 시냅스 가지치기(Synaptic Pruning): 공고화 후, 고주파 블록의 저차원 파라미터(지식을 전이한 파라미터)는 리셋되어, 안정적인 블록에 공고된 지식을 보존하면서 미래의 학습을 위한 용량을 확보합니다.

단계 2: 꿈꾸기 (자기 개선)

이 단계는 급속 안구 운동(REM) 수면을 모사하며, 자기 수정 및 새로운 연결 탐색에 집중합니다.

• 합성 데이터 생성: 모델은 현재 상태와 컨텍스트를 바탕으로 "꿈"(합성 데이터)을 생성합니다.
• 커리큘럼 선택: 모든 꿈이 사용되는 것은 아닙니다. 모델은 지도 미세 조정(SFT) 목적 함수의 그래디언트를 기준으로 각 꿈에 중요도 점수를 할당합니다. 모델은 가장 영향력 있는 상위-$k$개의 꿈을 선택하고, 다양성을 유지하기 위해 무작위 샘플을 추가합니다.
• 반복적 자기 개선: 모델은 선택된 고품질 합성 데이터를 사용하여 지도 미세 조정(LoRA 사용)을 거칩니다. 이 과정은 반복적인 자기 개선 루프에서 흔히 발생하는 파괴적 망실을 피하면서, 최근 습득한 지식에 대한 숙련도를 높이도록 설계되었습니다.

3. 주요 기여

1. 지속 학습을 위한 수면 패러다임: 정적인 훈련/테스트 단계에서 "활성" 및 "수면" 상태의 라이프사이클로의 개념적 전환을 제시하여 평생 적응을 가능하게 합니다.
2. 지식 시딩(Knowledge Seeding, KS): 더 작은 고주파 모델 버전이 확장된 더 큰 저주파 버전으로 지식을 증류하는 새로운 상향 증류 프로세스입니다. 이는 지속 학습의 용량 병목 현상을 해결합니다.
3. 모방 학습을 포함한 일반화된 증류: 학생이 지식뿐만 아니라 그 지식을 사용하는 방법(샘플링 행동)까지 학습하도록 온-폴리시 증류와 RL 기반 모방 학습을 결합한 새로운 목적 함수를 도입했습니다.
4. 주기적 파라미터 확장: 수면 중에 (저차원 전문가를 통해) 파라미터를 점진적으로 해제하고 확장하는 메커니즘을 통해, 기존의 안정적인 지식에 간섭하지 않고 가소성을 허용합니다.
5. 자기 개선을 위한 꿈꾸기: 그래디언트 기반 데이터 선택을 사용하여 합성 커리큘럼을 생성함으로써, 반복적 자기 학습의 위험을 완화하는 강력한 자기 개선 단계를 제공합니다.

4. 실험 결과

저자들은 네 가지 도전적인 다운스트림 태스크에서 수면 패러다임을 평가했습니다:

• 클래스 증분 학습(Class-Incremental Learning): CLINC, Banking, DBpedia 데이터셋에서 "Hope" 아키텍처(수면 기능이 추가된)는 ICL, EWC 및 외부 학습 방식(InCA)을 포함한 베이스라인들을 능가했습니다. 이는 프롬프트 수준의 적응을 지속적인 파라미터 메모리로 성공적으로 변환했습니다.
• 긴 컨텍스트 이해(Long-Context Understanding): LongHealth, QASPER, MK-NIAH(Needle-in-the-Haystack)에서 수면 기반 모델은 ICL 및 효율적인 어텐션 베이스라인(DuoAttention)보다 일관되게 우수한 성능을 보였습니다. 공고화 단계가 많아질수록 성능이 향상되었으며, 가장 안정적인 메모리(낮은 주파수)의 지속성을 높이는 것은 유지력과 적응성 사이의 트레이드오프 관계에 있음이 밝혀졌습니다.
• 지속 학습 (언어 습득): 두 가지 미학습 언어(만주어와 칼랑만어)를 순차적으로 학습해야 하는 작업에서, ICL은 급격한 성능 저하와 파괴적 망실을 겪었습니다. 반면 수면 기반 모델은 순차 학습 전반에 걸쳐 이득을 유지했으며, 공고화 단계가 많아질수록 성능이 단조 증가하며 향상되었습니다.
• 지식 통합 및 퓨샷 추론:
  • 지식 통합: SQuAD에서 수면 모델은 새로운 사실적 정보를 통합하는 데 있어 가장 높은 정확도를 달el했으며, SEAL 및 표준 미세 조정을 능가했습니다.
  • 수학적 추론: 수면 모델은 AIME 및 HMMT 벤치마크에서 추론 능력을 향상시켰으며, 베이스 모델, SFT 및 GRPO보다 우수한 성능을 보였습니다.
  • 퓨샷 학습 (ARC): 수면 모델은 ARC 벤치마크에서 80%의 성공률을 달성하여 ICL, TTT, SEAL을 크게 앞질렀습니다.
• 확장성(Scalability): BABILong 벤치마크에서 수면 모델은 1,000만 토큰까지 안정성을 유지한 반면, 다른 모델들은 128k~256k 토큰을 넘어서며 성능이 크게 저하되었습니다.

5. 의의 및 주장

본 논문은 수면 패러다임이 현재 LLM의 정적인 특성에 대한 근본적인 해결책을 제공한다고 주장합니다. 새로운 정보의 습득(활성/깨어 있음)과 그 정보의 공고화 및 자기 개선(수면)을 분리함으로써, 이 프레임워크는 다음을 가능하게 합니다:

• 강력한 지속 학습: 파괴적 망실 없이 점진적으로 학습할 수 있는 능력.
• 효율적인 지식 전이: "지식 시딩"을 통해 취약한 컨텍스트 기반 메모리에서 안정적인 파라미터 지식으로 이동.
• 자기 개선: 인간의 감독 없이도 합성 커리큘럼을 통해 역량적으로 스스로를 개선할 수 있는 능력.

저자들은 자신들의 접근 방식이 상향 증류(고정된 모델의 조건을 재설정하는 것이 아니라 용량을 확장하는 것)와 2단계 프로세스(공고화와 자기 개선을 분리)를 도입함으로써 최근의 온-폴리시 자기 증류(OPSD) 연구들과 차별화된다고 강조합니다. 이는 반복적인 자기 학습과 관련된 훈련 붕괴 및 역량 침식 문제를 방지합니다. 결과는 생물학적 수면 메커니즘을 통합하는 것이 차세대 적응형 평생 학습 시스템 구축에 필수적임을 시사합니다.