Each language version is independently generated for its own context, not a direct translation.

"기억을 지우지 않고 새로운 것을 배우는 법: '성장' vs '덮어쓰기'"

이 논문은 인공지능 (AI) 모델이 새로운 일을 배울 때, 기존에 알고 있던 지식을 잊어버리는 치명적인 문제를 해결한 획기적인 방법을 소개합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: "새로운 것을 배우면 예전 지식이 사라진다?" (재앙적 망각)

상상해 보세요. 여러분이 수학 천재라고 칩시다. 미적분, 물리, 모든 수학 문제를 척척 푸시죠. 그런데 갑자기 프랑스어를 배우기 위해 수학 공부를 멈추고 프랑스어 책만 읽는다고 가정해 봅시다.

보통의 AI 모델은 이 과정에서 **재앙적 망각 (Catastrophic Forgetting)**이라는 현상이 일어납니다.

기존 방식: 머릿속의 "수학 지식"이라는 공간을 비우고, 그 자리에 "프랑스어"를 채워 넣습니다.
결과: 프랑스어는 잘하게 되지만, 정작 미적분은 잊어버려서 1+1 도 못 풀게 됩니다.

기존의 AI 기술들은 이 문제를 해결하기 위해 "수학 지식을 잊지 말라고 뇌를 강하게 잡았다 (정규화)"거나, "프랑스어를 배우는 동안 수학 책을 다시 읽게 했다 (재학습)"는 방법을 썼습니다. 하지만 이 방법들은 수학과 프랑스어를 동시에 잘하는 '완벽한 균형'을 잡기 매우 어렵게 만들었습니다.

2. 해결책: "기존 지식을 지우지 말고, '새로운 방'을 지어라!" (성장)

이 논문이 제안한 방법은 아주 직관적이고 창의적입니다.
"기존의 지식을 지우지 말고, 머릿속에 새로운 방을 하나 더 지어서 그 방에 새로운 지식을 채우자!"

이 방법을 **'기능 보존 확장 (Function-Preserving Expansion)'**이라고 부릅니다.

🏗️ 건축 비유: "기존 건물을 부수지 않고 증축하기"

기존의 AI 모델은 이미 완성된 고층 빌딩이라고 생각하세요.

기존 방식 (덮어쓰기): 새로운 사무실을 만들기 위해 기존 층을 뜯어내고 벽을 다시 칠합니다. (기존 tenants 들이 쫓겨남)
이 논문의 방식 (성장): 빌딩 옆에 새로운 층을 똑같이 증축합니다.

핵심 기술: "복제와 반전"
이 논문은 새로운 층을 지을 때 두 가지 규칙을 따릅니다.

복제 (Replication): 기존 층의 구조 (벽, 기둥) 를 그대로 복사해서 새로운 층에 붙입니다.
보정 (Scaling): 새로운 층이 두 배로 넓어졌으니, 그 효과를 원래 층과 똑같이 맞추기 위해 계산을 반으로 줄이는 조정을 해줍니다.

이렇게 하면 새 층을 짓는 순간, 빌딩 전체의 기능은 100% 원래 상태와一模一样 (똑같아집니다. 즉, AI 는 새로운 층을 짓기 전과 똑같은 능력을 유지하면서, 새로운 층에서 새로운 학습을 시작할 수 있게 됩니다.

3. 두 가지 학습 전략

이론적으로 새로운 층을 지었으니, 어떻게 학습할까요? 논문은 두 가지 방법을 제안합니다.

G-Freeze (새 방만 청소하기):
- 기존 층 (기존 지식) 은 절대 건드리지 않고 잠금 (Freeze) 합니다.
- 새로 지은 층만 프랑스어 공부를 시킵니다.
- 효과: 수학 실력은 100% 유지, 프랑스어 실력은 완벽하게 습득. (가장 추천하는 방법)
G-Train (새 방을 더 넓게 쓰거나, 기존 층도 살짝 다듬기):
- 아주 복잡한 문제 (예: 수학 문제 풀기) 를 배울 때 사용합니다.
- 새로 지은 층뿐만 아니라, 기존 층의 일부도 함께 다듬어서 더 정교하게 만듭니다.
- 효과: 아주 어려운 과제일수록 더 많은 층을 확장하고 함께 학습해야 최고의 성능을 냅니다.

4. 왜 이 방법이 특별한가요? (핵심 장점)

모든 것을 다룰 수 있다 (Plasticity vs Stability):
- 예전에는 "새로운 것을 배우면 예전 것을 잊는다"는 딜레마가 있었습니다. 하지만 이 방법은 새로운 것을 배우면서도 예전 것을 완벽하게 기억합니다. "기억과 학습"을 동시에 잡는 것입니다.
효율성 (일부만 확장해도 됨):
- 빌딩 전체를 다 증축할 필요는 없습니다. 가장 필요한 층 (예: 10 개 층 중 3 개 층) 만 골라서 증축해도 전체를 다 확장한 것과 똑같은 성능을 냅니다.
- 이는 컴퓨터 비용과 시간을 절반 이상 아껴줍니다.
왜 MLP(중간 층) 를 확장할까?
- AI 모델에는 '주의 (Attention)'를 담당하는 부분과 '계산 (MLP)'을 담당하는 부분이 있습니다.
- 실험 결과, 계산을 담당하는 부분 (MLP) 을 확장하는 것이 가장 효과적이었습니다. 마치 "지식을 저장하는 책장"을 늘리는 것이 "책장을 찾는 손 (주의)"을 늘리는 것보다 더 효율적인 것과 같습니다.

5. 결론: "기억을 잃지 않는 AI 의 미래"

이 논문은 AI 가 새로운 일을 배울 때마다 기존의 지식을 희생할 필요가 없다는 것을 증명했습니다.

과거: 새로운 일을 배우려면 예전 지식을 희생해야 했다. (선택의 문제)
현재 (이 논문): 새로운 일을 배우기 위해 머릿속에 새로운 공간을 늘리면, 예전 지식은 그대로 유지되면서 새로운 지식도 완벽하게 습득할 수 있다.

이 기술은 AI 가 의학, 과학, 법률 등 다양한 전문 분야로 확장될 때, 한 번 배운 기본 상식을 잃지 않고 계속 성장할 수 있는 토대를 마련해 줍니다. 마치 지혜로운 장로가 새로운 기술을 배우면서도 평생의 지혜를 잃지 않는 것과 같습니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Statement)

대규모 사전 학습 모델 (Pre-trained Models) 을 특정 하위 작업에 맞게 미세 조정 (Fine-tuning) 할 때 발생하는 치명적인 망각 (Catastrophic Forgetting) 현상이 핵심 문제입니다.

현상: 새로운 작업을 학습하는 과정에서 모델의 파라미터가 업데이트되면서, 사전 학습 단계에서 습득한 기초 지식 (예: 수학 계산, 일반 상식 등) 이 손실되거나 성능이 급격히 저하됩니다.
기존 방법의 한계:
- 정규화 (Regularization): 기존 파라미터에서 너무 멀어지지 않도록 패널티를 부과하지만, 이는 '기억'과 '학습' 사이의 제로섬 (Zero-sum) 트레이드오프를 초래하여 어느 쪽에서도 최적의 성능을 내기 어렵습니다.
- 용량 확장 (Capacity Growth): 새로운 파라미터를 추가하여 기존 모델을 동결 (Freeze) 하는 방식은 존재하지만, 대부분 무작위 초기화 (Random Initialization) 를 사용하여 기존 지식을 활용하지 못하거나, 기존 지식을 재사용하려다 함수 보존 (Function Preservation) 조건을 위반하여 초기 안정성을 해칩니다.

2. 방법론 (Methodology)

이 논문은 함수 보존 (Function-preserving) 네트워크 확장 기법을 제안합니다. Transformer 아키텍처의 MLP(다층 퍼셉트론) 서브모듈을 확장하여 새로운 능력을 학습하면서도 초기 상태의 함수를 수학적으로 동일하게 유지하는 것이 핵심입니다.

핵심 알고리즘: MLP 확장 및 스케일링

Transformer 의 각 레이어 $n$ 에 있는 MLP 모듈은 입력을 $h$ 차원에서 중간 차원 $p$ 로 매핑하는 Up-projection ( $W^{(1)}$ ) 과 다시 $h$ 차원으로 매핑하는 Down-projection ( $W^{(2)}$ ) 으로 구성됩니다.

Up-projection 확장 (복제):
- Up-projection 가중치 행렬 $W^{(1)}_{n}$ 을 수평으로 복제하여 차원을 $p$ 에서 $2p$ 로 확장합니다.
- 수식: $\hat{W}^{(1)}_{n} = [W^{(1)}_{n}, W^{(1)}_{n}]$
Down-projection 보상 (스케일링):
- 확장된 중간 상태가 최종 출력에 영향을 주지 않도록 Down-projection 가중치 $W^{(2)}_{n}$ 을 수직으로 복제하되, 각 복제본을 $1/2$ 로 스케일링합니다.
- 수식: $\hat{W}^{(2)}_{n} = \begin{bmatrix} \frac{1}{2}W^{(2)}_{n} \\ \frac{1}{2}W^{(2)}_{n} \end{bmatrix}$
함수 보존 증명:
- 확장 전 출력: $Y W^{(2)}_{n}$
- 확장 후 출력: $[Y, Y] \begin{bmatrix} \frac{1}{2}W^{(2)}_{n} \\ \frac{1}{2}W^{(2)}_{n} \end{bmatrix} = \frac{1}{2}YW^{(2)}_{n} + \frac{1}{2}YW^{(2)}_{n} = YW^{(2)}_{n}$
- 결과적으로 초기화 시 모델의 출력은 원본과 수학적으로 완전히 동일하게 유지됩니다.

미세 조정 전략 (Fine-tuning Strategies)

G-Freeze (기본 전략): 확장된 Up-projection 과 Down-projection 의 새로운 파라미터만 학습하고, 기존 원본 파라미터는 완전히 동결합니다.
G-Train (복잡한 작업용): 수학적 추론 등 고난이도 작업의 경우, 확장된 Up-projection 전체를 학습하고 Down-projection 과 원본 파라미터는 동결합니다. 이는 Down-projection 층에 사실적 지식이 집중되어 있다는 이전 연구에 기반합니다.

3. 주요 기여 (Key Contributions)

새로운 네트워크 성장 기법: 사전 학습된 지식을 재사용하면서도 함수 보존을 보장하는 새로운 확장 방법을 제시했습니다.
망각의 완전한 해결: 새로운 작업의 성능은 전체 미세 조정 (Full Fine-tuning) 과 동급이면서, 기존 능력의 저하 (치명적 망각) 를 완전히 제거합니다.
모듈성 및 효율성: 전체 레이어를 확장하지 않고, 작업에 가장 중요한 소수의 레이어 (예: 10 개) 만 선택적으로 확장해도 전체 확장 수준의 성능을 달성할 수 있어 계산 비용을 크게 절감합니다.
파라미터 효율성: 전체 모델을 미세 조정할 때 100% 파라미터를 업데이트하는 반면, 이 방법은 확장된 부분만 학습하므로 전체 파라미터의 약 60% (레이어 선택 시 30% 까지) 만 학습합니다.

4. 실험 결과 (Experimental Results)

Gemma-1B 모델을 기반으로 다양한 벤치마크 (번역, 과학 추론, 수학 문제 해결 등) 에서 실험되었습니다.

망각 제거 (Section 4.1): 기존 미세 조정 (SFT) 은 새로운 작업에서는 성능이 좋지만 원본 작업 (WinoGrande 등) 에서 성능이 급락하는 반면, 제안된 방법 (G-Freeze) 은 두 가지 성능 모두에서 최상의 결과를 보여주었습니다.
파라미터 효율성 (Section 4.2): 전체 레이어를 확장하는 대신, 사전 학습된 가중치 업데이트 크기를 기준으로 상위 9~10 개 레이어만 선택적으로 확장해도 전체 확장 모델과 동등한 성능을 달성했습니다.
확장 스케일링 (Section 4.3): 확장된 레이어 수 ( $N$ ) 가 증가할수록 새로운 작업의 성능이 향상되었습니다. 특히 복잡한 추론 작업 (MathQA) 에서는 더 많은 레이어 확장이 필요함을 확인했습니다.
표현 안정성 (Section 4.5): Function Vectors (FV) 분석을 통해, 제안된 방법은 모델의 내부 표현 (Latent Representations) 이 원본 모델과 거의 동일하게 유지됨을 확인했습니다 (FV 유사도 0.95 vs SFT 0.28). 이는 망각이 발생하지 않는다는 강력한 증거입니다.
작업 복잡도 분석: 단순 작업은 네트워크의 일부 레이어만 수정하면 되지만, 복잡한 추론 작업은 네트워크 전체에 고랭크 (High-rank) 업데이트가 필요하여 더 많은 확장이 필요함을 발견했습니다.

5. 의의 및 결론 (Significance)

이 연구는 학습 (Plasticity) 과 기억 (Stability) 사이의 고전적인 트레이드오프를 해결하는 획기적인 접근법을 제시합니다.

기술적 의의: 단순히 파라미터를 늘리는 것을 넘어, 사전 학습된 지식을 수학적으로 보존하면서 확장하는 구체적인 메커니즘을 증명했습니다.
실용적 가치: 대규모 언어 모델을 다양한 전문 분야에 적용할 때, 별도의 모델 학습이나 데이터 재학습 없이도 기존 능력을 유지하면서 새로운 능력을 추가할 수 있어, 자원 효율성과 모델 유지보수 비용을 크게 절감할 수 있습니다.
향후 방향: 이 방법은 PEFT(파라미터 효율적 미세 조정) 기법과 결합하여 더욱 효율적인 학습 프레임워크를 구축할 수 있는 기반을 마련했습니다.

요약하자면, 이 논문은 **"기존 지식을 덮어쓰지 않고 (Don't Overwrite), 새로운 능력을 키우자 (Grow)"**는 철학을 수학적으로 구현하여, AI 모델의 지속 가능한 학습을 가능하게 하는 강력한 솔루션을 제시했습니다.

Grow, Don't Overwrite: Fine-tuning Without Forgetting