💻 computer science

SamatNext v0.2-B: An Exploratory Study of RMS-Normalized Hybrid Decoders for Curriculum Retention in Small Code Models

이 기술 보고서는 표준 트랜스포머와 비교하여 디퍼런셜 어텐션(Differential-Attention)과 델타넷(DeltaNet)에서 영감을 받은 레이어를 교차 배치함으로써 소규모 코드 모델의 커리큘럼 유지력을 크게 향상시킨 356M 파라미터 규모의 하이브리드 디코더인 SamatNext v0.2-B를 소개하며, 다만 이것이 장기적 관점의 파괴적 망각 문제를 완전히 해결하지는 못했다는 점을 밝힌다.

원저자: Samat Zharassov

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Samat Zharassov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 컴퓨터 코드를 쓰는 법을 가르치고 있다고 상상해 보세요. 당신은 단계별로 가르치고 싶습니다. 첫째, 기본적인 문법 규칙(구문)을 배우고, 둘째, 지시 사항을 이해하는 법(의미론)을 배우며, 마지막으로 복잡하고 전문적인 퍼즐을 해결하는 법을 배우는 것입니다.

표준적인 로봇(AI 모델)의 문제는 **"파괴적 망각(Catastrophic Forgetting)"**을 겪는다는 점입니다. 이는 마치 기말고사를 공부하느라 너무 열중한 나머지, 신발 끈을 묶는 법이나 더하기를 하는 법을 완전히 잊어버린 학생과 같습니다. 새로운 어려운 것을 배우자마자 예전에 배웠던 것들이 뇌에서 지워져 버리는 것입니다.

이 논문은 SamatNext v0.2-B라는 새로운 로봇을 소개하며 다음과 같이 질문합니다. 우리는 새로운 것을 배우면서도 기존의 것들을 삭제하지 않는 로봇을 만들 수 있을까?

경주 중인 두 로봇

저자는 똑같은 "뇌 크기"(3억 5,600만 개의 파라미터)를 가진 두 종류의 로봇을 비교했습니다.

표준 로봇 (Transformer): 일반적인 AI 설계 방식입니다. 강력하지만 새로운 작업을 배울 때 오래된 기억을 덮어쓰는 경향이 있습니다.
하이브리드 로봇 (SamatNext): 실험적인 설계입니다. 이 로봇의 뇌는 두 가지 서로 다른 유형의 사고 계층이 혼합되어 있습니다.
- "어텐션(Attention)" 계층: 문장 속의 모든 단어를 조명처럼 비추어 맥락을 이해하는 역할입니다.
- "상태(State)" 계층: 글을 읽을 때 처음부터 다시 읽는 대신, 정보를 계속 누적하여 기록하는 메모장 같은 역할입니다.

저자는 이 두 가지 유형의 계층을 샌드위치처럼 번갈아 가며(어텐션, 상태, 어텐션, 상태) 섞었고, 신호의 균형을 맞추기 위해 특별한 "보정(calibration)" 노브를 추가했습니다.

테스트: 단계별 커리큘럼

로봇들은 특정 순서에 따라 훈련되었습니다:

1단계 & 2단계: 기본적인 파이썬 구문(문법) 학습.
3단계: 지시 사항을 따르고 의미를 이해하는 법 학습.
5단계: 전문적이고 어려운 코딩 작업 학습.

5단계를 마친 후, 저자는 로봇들이 예전의 것들(3단계와 2단계)을 얼마나 기억하는지 테스트했습니다.

결과: 두 기억의 이야기

표준 로봇:

새로운 것: 마지막의 어려운 과제들을 배우는 데 어려움을 겪었습니다(성공률 49%). 저자가 학습 속도를 조절하여 이를 "구조"하려고 시도하자, 마침내 새로운 것을 배웠지만(성공률 97%), 중간 단계의 내용은 완전히 잊어버렸습니다. 지시 사항을 이해하는 능력은 단 **6%**만 남았습니다.
오래된 것: 마지막 단계 이전에 배웠던 거의 모든 것을 잊어버렸습니다.

하이브리드 로봇 (SamatNext):

새로운 것: 마지막의 어려운 과제들을 완벽하게 마스터했습니다(성공률 100%).
오래된 것: 잊어버리지 않았습니다! 중간 단계에서 배웠던 지시 사항 이해 능력을 **98.8%**나 유지했습니다.

함정 (그 "구문" 문제):
하이브리드 로봇은 지시 사항을 기억하는 데는 놀라웠지만, 아주 초기의 기본적인 문법 규칙(2단계)에는 여전히 약간 어려움을 겪었습니다. 성공률이 0%(표준 로봇)에서 12%로 개선되긴 했지만, 완벽하지는 않았습니다. 이는 이 새로운 설계가 최근의 기억에는 도움이 되지만, 아주 오래된 기억을 아주 오랜 시간 동안 유지하는 문제까지 완전히 해결하지는 못한다는 것을 시사합니다.

핵심 요점

표준 로봇을 새로운 물을 흡수하면 기존의 물을 짜내어 공간을 만드는 스펀지라고 생각해보세요. 하이브리드 로봇은 새로운 물을 빨아들이면서도 기존의 물을 계속 머금고 있을 수 있는 특수한 내부 구조를 가진 스펀지와 같습니다.

이 논문의 주장:

이 특정 하이브리드 설계(어텐션과 상태 계층의 혼합)는 새로운 것을 배우는 것과 오래된 것을 기억하는 것 사이의 더 나은 균형을 만들어냅니다.
이것은 모든 기억 문제를 해결하는 마법의 탄환이 아닙니다(매우 오래된 구문은 여전히 어려움을 겪습니다).
이것은 실제 세계에 바로 투입될 완성된 제품이 아니라, 이 특정 뇌 구조가 통제된 실험실 환경에서 기존의 구조보다 더 잘 작동하는지 확인하기 위한 "탐색적 연구"입니다.

저자는 다음과 같이 말하고 있는 것입니다: "우리는 새로운 뇌 설계를 시도했습니다. 이 설계는 새로운 작업을 배우는 동안 중간 단계의 기억을 유지하는 데 기존 설계보다 훨씬 뛰어났지만, 아주 첫 번째 수업을 기억하는 데는 여전히 빈틈이 있습니다. 우리는 다른 사람들이 이를 검증할 수 있도록 코드를 공개합니다."

기술 요약: SamatNext v0.2-B

문제 정의

본 논문은 변화하는 데이터 분포(커리큘럼 학습)에 대해 순차적 미세 조정(sequential fine-tuning)을 수행할 때 발생하는 오토레그레시브 트랜스포머 디코더의 치명적 망각(catastrophic forgetting) 문제를 다룹니다. 표준 아키텍처에서는 새로운 태스크 분포를 최적화하는 과정에서 기존에 습득한 지식, 특히 기초적인 구문(syntax) 및 중간 단계의 의미론적 개념(semantic concepts)이 덮어쓰여지는 경우가 많습니다. 명시적인 지속 학습 알고리즘(예: replay, EWC)이 존재하지만, 본 연구는 **시퀀스 믹서 유도 편향(sequence-mixer inductive biases)**만으로 외부 메커니즘 없이 유지/가소성 상충 관계(retention/plasticity tradeoff)를 변화시킬 수 있는지 조사합니다. 저자들은 결정론적이고 실행 기반의 평가 지표를 제공하여 구문 및 의미론적 유지 능력을 정밀하게 측정할 수 있는 코드 생성(code generation)을 연구 플랫폼으로 활용합니다.

방법론

본 연구는 표준 트랜스포머 베이스라인과 파라미터 수를 맞추도록 설계된 실험적인 3억 5,600만 파라미터 규모의 하이브리드 시퀀스 디코더인 SamatNext v0.2-B를 소개합니다.

아키텍처

SamatNext v0.2-B는 두 가지 서로 다른 시퀀스 믹싱 메커니즘을 교대로 사용하는 16개의 디코더 블록으로 구성됩니다:

디퍼런셜 어텐션 스타일 레이어 (홀수 인덱스): 디퍼런셜 어텐션에서 영감을 받은 이 레이어들은 별도의 query/key 프로젝션을 사용하여 두 개의 인과적 어텐션 경로(causal attention pathways)를 계산합니다. 최종 출력은 학습 가능한 파라미터 $\alpha$ (0.0으로 초기화됨)에 의해 스케일링된 베이스 어텐션 경로와 디퍼런셜 경로의 가중 합입니다. 로터리 위치 임베딩(RoPE)이 두 경로 모두에 적용됩니다.
DeltaNet 영감의 선형 상태 믹서 (짝수 인덱스): 이 레이어들은 단순화된 재귀적 선형 상태 메커니즘을 사용합니다. 입력값을 비음수 키(key)와 쿼리(query)(ReLU를 통해), 그리고 값(value)으로 투영합니다. 모델은 시퀀스에 대한 누적 합을 통해 요소별 상태 누산기( $S_t$ 및 $K_t$ )를 유지합니다. 출력은 요소별 나눗셈 후 **RMS 정규화(RMS Normalization)**와 출력 스케일 보정(Output Scale Calibration) 파라미터( $s=0.25$ )를 거쳐 계산됩니다.

두 아키텍처 모두 SwiGLU 피드 포워드 구조와 RMS 정규화를 공유합니다. 트랜스포머 베이스라인은 피드 포워드 중간 차원을 조정하여 파라미터 수를 SamatNext와 동일하게 맞춘 표준 멀티 헤드 어텐션(MHA)을 사용합니다.

실험 설정

모델은 구조화된 Python 커리큘럼을 통해 순차적으로 학습되었습니다:

Stage 2A: 구문 기초 (제어 흐름, 변수).
Stage 3: 지시문 의미론 (패러프레이징, 개념 이해).
Stage 5: 특화된 인과적 코딩 태스크 (최종 함수 완성).
평가: 성능은 Stage 5(현재 능력), Stage 3(인접 의미론적 유지), Stage 2E(초기 단계 적대적 구문 홀드아웃)를 기준으로 측정되었습니다.

학습에는 코사인 디케이 스케줄을 가진 AdamW가 사용되었습니다. 주요 비교 대상은 표준 커리큘럼 학습 경로(학습률 $3 \times 10^{-6}$ )와 더 높은 학습률( $1 \times 10^{-5}$ )을 사용한 베이스라인의 "구조(rescue)" 시도였습니다.

주요 결과

논문의 표 1에 제시된 실증적 결과는 유지 능력의 현저한 차이를 보여줍니다:

모델	학습 경로	Stage 5 통과율	Stage 3 유지율	Stage 2E 통과율
Transformer	커리큘럼 ( $3 \times 10^{-6}$ )	49.4%	3.8%	0.0%
Transformer	구조 ( $1 \times 10^{-5}$ )	97.6%	6.0%	3.0%
SamatNext v0.2-B	커리큘럼 ( $3 \times 10^{-6}$ )	100.0%	98.8%	12.0%

유지/가소성 상충 관계: SamatNext v0.2-B는 최종 Stage 5 태스크에서 완벽한 100.0% 통과율을 달와내는 동시에, Stage 3의 의미론적 역량의 98.8%를 유지했습니다. 반면, 트랜스포머 베이스라인은 Stage 5 학습에 실패하거나(49.4% 통과율), 높은 학습률을 통해 학습을 강제했을 때(97.6% Stage 5 성능 달성) Stage 3에 대한 거의 완전한 치명적 망각(6.0% 유지)을 겪었습니다.
장기 호라이즌 구문(Long-Horizon Syntax): 두 모델 모두 초기 단계의 적대적 구문 데이터셋(Stage 2E)에서 낮은 유지력을 보였습니다. SamatNext가 이를 12.0%로 개선하긴 했으나(베이스라인의 0.0~3.0% 대비), 저자들은 이것이 여전히 상대적으로 낮다는 점을 언급하며, 시퀀스 믹서 편향만으로는 장기적인 망각 문제를 완전히 해결할 수 없음을 시사했습니다.
분포 외(Out-of-Distribution): 오염되지 않은 HumanEval 서브셋에서 SamatNext는 베이스라인의 8.0% 대비 12.0%의 pass@1 비율을 기록하여, 작은 모델 규모에도 불구하고 일반적인 코드 일관성에서 약간의 우위를 보였습니다.

주장 및 의의

본 논문은 스스로를 냉철한 기술 보고서이자 탐색적 연구로 규정하며, 치명적 망각을 해결했다거나 새로운 SOTA(State-of-the-Art) 코드 모델을 확립했다는 주장을 명시적으로 피합니다.

주요 주장: 디퍼런셜 어텐션과 DeltaNet 영감의 선형 상태 믹서의 결합 및 스케일 보정을 특징으로 하는 SamatNext v0.2-B의 하이브리드 아키텍처는 유지/가소성 상충 관계를 변화시킵니다. 이는 모델이 새로운 특화된 태스크에 적응하면서도 인접한 의미론적 분포를 표준 트랜스포머보다 훨씬 더 잘 보존할 수 있게 합니다.
메커니즘 가설: 저자들은 선형 상태 믹서의 고정된 크기의 상태 표현이 정규화 병목(regularization bottleneck) 역할을 하여, 표준 밀집 어텐션 레이어에서 발생하는 특징 맵의 완전한 덮어쓰기를 방지한다고 제안합니다.
인정된 한계점:
- 본 연구는 긴 학습 호라이즌에 걸친 광범적한 치명적 망락 문제를 해결하지 못했습니다(Stage 2E의 약한 유지력으로 입증됨).
- 커리큘럼은 합성된 것이며 Python에 국한되어 있어, 대규모 사전 학습이나 복잡한 추론으로의 일반화 여부는 불투명합니다.
- 전용 지속 학습 알고리즘(예: EWC, 어댑터) 또는 전체 아키텍처 절제 실험(예: 동질적 믹서)과의 비교가 부족합니다.
- SamatNext의 학습률 민감도에 대한 전수 조사가 이루어지지 않아 하이퍼파라미터 결론의 일반화에 한계가 있습니다.

결론적으로, 본 논문은 특정 시퀀스 믹싱의 유도 편향이 작은 규모의 코드 모델에서 순차적 미세 조정의 안정성을 개선할 수 있음을 보여주며, 명시적인 리플레이 메커니즘 없이 지속 학습을 위한 유망한 방향을 제시합니다.