기술 요약: Autolearn – 놀라움을 통해 학습하고, 증거를 통해 기억하다

1. 문제 제기

현재의 대규모 언어 모델 (LLM) 은 배포 후 읽은 문서로부터 학습할 수 있는 능력이 부족합니다. 새로운 정보는 컨텍스트 창에 임시 버퍼로 들어오지만, 컨텍스트가 종료되면 폐기됩니다. 기존 솔루션들은 이러한 '학습' 격차를 효과적으로 해결하지 못합니다:

• 파인튜닝 (Fine-tuning) 은 무분별한 가중치 업데이트를 강요하여 기존 지식의 파국적 망각 (catastrophic forgetting) 을 초래합니다.
• 검색 증강 생성 (RAG) 은 가중치 업데이트를 피하지만, 정보를 장기 기억으로 통합하지 못해 컨텍스트 오염과 문서 간 추론 불가능에 시달립니다.
• 지식 편집 (Knowledge Editing) 과 연속 학습 (Continual Learning) 방법은 확장성이 없거나 외부 감독을 필요로 합니다.

핵심적인 어려움은 새로움 (novelty)(진짜 새로운 지식) 과 노이즈 (noise)(설득력 있는 거짓말이나 손상) 를 구분하는 것입니다. 둘 다 토큰당 손실 (surprisal) 이 비정상적으로 높게 나타납니다. 외부 검증 없이 손실이 높은 콘텐츠에 옵티마이저를 개방하면 모델 가중치가 손상될 위험이 있습니다. 또한, 원시 텍스트에 대한 표준 지도형 파인튜닝 (SFT) 은 모델이 정확한 단어 순서를 인코딩하기 때문에 토큰 시퀀스 암기를 초래하는 경우가 많으며, 이는 의미적 이해로 이어지지 않습니다.

2. 방법론: Autolearn 파이프라인

Autolearn 은 외부 감독 없이 모델이 문서로부터 학습할 수 있게 하는 자가 게이트형 사후 학습 프레임워크입니다. 이는 놀라움 감지, 자가 검증, 기억 통합의 인지 아키텍처를 모방하여 세 단계로 작동합니다.

1 단계: 탐지 및 근거 마련 (Surprise)

시스템은 슬라이딩 윈도우에 걸쳐 토큰당 손실 ($s_t = -\log p_\theta(x_t | x_{<t})$) 을 집계하여 패시지 수준의 놀라움 (passage-level surprisal)($S_i$) 을 계산합니다.

• 표시 (Flagging): $S_i > \tau$ (기존 콘텐츠에 맞춰 보정된 임계값) 인 패시지는 '놀라운' 것으로 표시됩니다.
• 근거 마련 (Grounding): 각 표시된 패시지에 대해 시스템은 $G_i = (P_i, S_i, d_i)$라는 근거 튜플을 기록합니다. 여기서 $d_i$는 놀라움의 감소 비율 (패시지 시작부터 끝까지의 놀라움 정규화 감소량) 입니다.
• 결과: 이 단계는 모델이 이미 잘 알고 있지 않은 콘텐츠를 필터링하지만, 진짜 새로움과 손상을 아직 구분하지는 못합니다.

2 단계: 검증, 등급 매기기 및 소화 (Self-Verification)

패시지를 수락하거나 거부하는 대신, 모델은 패시지의 주장에 관한 자신의 지식을 서술하기 위해 Q&A 체인을 생성합니다.

• 생성: 모델은 패시지의 놀라움에 비례하여 $N$개의 질문 - 답변 쌍을 생성합니다 ($N = \lceil S_i \cdot c \rceil$). 질문은 인식적 기원에 따라 태그가 지정됩니다:
  • [existing]: 패시지가 가정하는 배경 사실을 확인합니다.
  • [mechanism]: 패시지에서 제안된 특정 인과 단계를 탐구합니다 (예: "단백질 X 가 수용체 Y 와 결합합니까?").
  • [implication]: 결과가 알려진 사실과 충돌하는지 테스트합니다.
• 일관성 확인: 각 쌍은 모델의 기존 지식과 대조하여 검증됩니다.
  • [mechanism] 또는 [implication] 질문에서의 실패는 체인에서 '하드 브레이크 (hard break)'를 유발합니다.
  • [existing] 질문에서의 실패는 관대하게 처리됩니다.
• 확신 깊이 ($k$): 체인은 통과된 질문 수인 점수 $k$를 생성합니다. 이 $k$는 학습 강도를 결정합니다. 일찍 중단된 패시지는 약한 학습을 받고, 전체 체인을 완료한 패시지는 강력한 기억을 얻습니다.
• 이질성 기록 (Strangeness Records): 체인이 중단되면, 실패의 배경에 있는 추론이 불확실성 프레임의 학습 항목 ("패시지는 X 라고 주장하지만, 저는 불확실합니다...") 으로 변환되어 모델이 지식의 경계를 학습하도록 합니다.

3 단계: 게이트형 가중치 업데이트 (Consolidation)

학습은 검증된 Q&A 쌍과 이질성 기록에서 수행됩니다.

• 확신 비례 $\beta_2$ 조정: 프레임워크는 확신 깊이 $k$에 따라 AdamW 옵티마이저의 2 차 모멘트 파라미터 $\beta_2$를 조정합니다:
  $$\beta_2^{(k)} = 0.999 \cdot r^k$$
  여기서 $r \in (0, 1)$은 감쇠 인자입니다. 더 높은 $k$(강력한 검증) 는 $\beta_2$를 약간 낮춰, 잘 검증된 항목에 대해 기울기가 더 효율적으로 누적되도록 합니다.
• 학습 형식: 핵심적으로, 학습은 원시 텍스트가 아닌 Q&A 쌍에서 수행됩니다. 이는 모델이 토큰 시퀀스가 아닌 의미적 연관성 (질문 $\to$ 답변) 을 인코딩하도록 강제합니다.

3. 주요 기여

교란 간격 (Perturbation Gap) 지표

이 논문은 암기와 이해를 구분하는 지표로 교란 간격(개사 - 원본 퍼플렉시티 비율) 을 도입합니다.

• 암기: 모델이 토큰 시퀀스를 암기하면 원본 텍스트는 잘 예측하지만 개사본에서는 실패하여 간격이 커집니다 ($\gg$ 사전 학습 베이스라인).
• 이해: 모델이 의미적 연관성을 학습하면 원본과 개사본 텍스트를 유사하게 예측하여 간격이 사전 학습 베이스라인과 가까워집니다.
• 의의: 사전 학습 베이스라인 이하의 간격은 토큰 시퀀스 암기 없이 이해가 향상되는 '순수 의미 학습'을 나타냅니다.

자가 소멸 특성

시스템은 자가 제한적입니다. 모델이 패시지를 학습함에 따라 놀라움 ($S_i$) 이 감소합니다. $S_i$가 임계값 $\tau$ 아래로 떨어지면, 해당 패시지는 향후 만남에서 더 이상 표시되지 않습니다. 시스템은 문서 내의 '놀라운' 콘텐츠를 소진함에 따라 자연스럽게 표준 AdamW 동작으로 수렴합니다.

데이터 공간 게이트를 통한 선택적 학습

이전 연속 학습 방법들이 파라미터 공간 (예: EWC) 에서 게이트를 적용한 것과 달리, Autolearn 은 데이터 공간에서 게이트를 적용합니다. 이는 항목별 $\beta_2$ 조정을 통해 어떤 항목이 학습될지와 얼마나 강하게 학습될지를 제어하며, 이는 선택적 통합을 위해 이전에 제안된 바 없는 메커니즘입니다.

4. 실험 결과

실험은 60 개의 패시지 (20 개 기존, 20 개 신규, 20 개 손상) 코퍼스를 사용하여 Qwen3-14B 에서 수행되었으며 (Qwen3-8B/32B 및 Phi-4-14B 에서도 반복됨), 다음과 같은 결과를 얻었습니다.

암기 vs 이해

• Autolearn은 '서브 - 베이스라인 (sub-baseline)' 영역에 진입한 유일한 방법입니다.
  • 사전 학습 간격: 2.204.
  • Autolearn (최고): 2.098 ($\Delta = -0.106$, $>10\sigma$).
  • 표준 SFT (최고): 2.194 ($\Delta = -0.010$, $<1\sigma$, 노이즈 범위 내).
• 이는 Q&A 학습 형식이 토큰 시퀀스 암기를 억제하여 순수 의미 학습을 가능하게 함을 확인시켜 줍니다.

지식 획득

• 확률적 평가: 온도 0.7 샘플링을 사용하여 학습 후 올바른 신규 사실 생성 확률이 크게 상승했습니다 (예: 그래핀 기판 사실의 경우 **6% 에서 54%**로, $p < 10^{-4}$).
• 신규성 vs 손상: Autolearn 은 손상된 콘텐츠에 저항하는 데 있어 SFT 를 맞먹거나 능가했습니다 (예: $lr=5\times10^{-5}$에서 손상 - 직접 질문에 대한 정확도 50.5% 대 SFT 의 47.4%).
• 형식 우세: 제거 연구 (Ablation studies) 는 Q&A 형식이 암기 억제의 주된 동인임을 보여주었습니다. $\beta_2$를 조정하는 것 ($r=1.0$ 대 $r=0.999$ 비교) 은 거의 동일한 교란 간격을 생성하여, 현재 규모에서는 게이트가 아닌 형식이 주된 요인임을 시사합니다.

모델 간 일반화

이 패턴은 네 가지 모델 (Qwen3-8B, 14B, 32B; Phi-4-14B) 에서 일관되게 나타납니다. Autolearn 은 SFT 보다 낮은 교란 간격을 달성하며 서브 - 베이스라인 영역에 진입한 유일한 방법입니다.

5. 의의 및 주장

이 논문은 Autolearn 이 외부 감독 없이 LLM 에서 자율적 지식 획득을 위한 실현 가능한 경로를 보여준다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 신규성/노이즈 문제 해결: 자가 생성 Q&A 체인을 검증에 사용하여, 외부 오라클 없이도 내부 일관성에 기반하여 설득력 있는 거짓말과 진짜 새로움을 구분할 수 있습니다.
2. 암기 방지: 학습 데이터 형식 (Q&A 대 원시 텍스트) 이 학습이 의미적 이해로 이어질지 아니면 기계적 암기로 이어질지를 결정하는 결정적 요소임을 입증했습니다.
3. 자가 조절: 시스템은 '자가 소멸' 특성을 가지며, 패시지가 이해되면 학습 과정을 자동으로 중단하여 과적합과 무한 루프를 방지합니다.

저자들은 한계를 지적했는데, 검증에 모델의 기존 지식에 의존한다는 점 (일관된 오류를 검증할 수 있음) 과 현재는 신규성과 손상을 효과적으로 구분하기 위해 모델이 충분히 커야 한다는 점 (예: 3B 파라미터 이상) 입니다. 이 프레임워크는 생물학적 기억 통합 (해마 - 대뇌 피질 상호작용) 에 대한 계산적 유사체로 제시되며, LLM 이 읽은 것을 통해 '공부'할 수 있는 메커니즘을 제공합니다.