🔢 mathematics

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less

본 논문은 "옵티마이저-모델 일관성" 개념을 제시하여, 사전 학습과 전체 파인튜닝에 동일한 옵티마이저를 사용할 때 다른 옵티마이저나 LoRA 에 비해 파국적 망각이 감소하고 학습-망각 트레이드오프가 개선됨을 입증하는 동시에, Muon 과 같은 특정 옵티마이저가 암기 경향성으로 인해 추론 작업에서 저조한 성능을 보일 수 있음을 밝혀냅니다.

원저자: Yuxing Liu, Jianyu Wang, Tong Zhang

게시일 2026-05-08

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yuxing Liu, Jianyu Wang, Tong Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 거대한 도서관의 모든 책을 수년 동안 읽은 천재 학생이 있다고 가정해 봅시다 (이것이 사전 학습입니다). 이 학생은 일반적인 지식, 문법, 그리고 세상을 사고하는 방법을 배웠습니다. 이제 당신은 이 학생에게 수학 문제 풀이나 컴퓨터 코드 작성과 같은 구체적인 새로운 기술을 가르치고 싶어 합니다 (이것이 지도 미세 조정 또는 SFT입니다).

큰 도전 과제는 다음과 같습니다: 도서관에서 배운 모든 것을 잊지 않게 하면서 이 새로운 기술을 어떻게 가르칠 수 있을까요? 만약 그들이 수학에 너무 집중한다면, 간단한 이야기를 쓰는 방법을 잊기 시작할지도 모릅니다. 이를 **"학습 - 망각 트레이드오프"**라고 합니다.

이 논문은 이 학생을 최적으로 가르치는 방법에 대한 놀라운 규칙을 발견했는데, 그것은 무엇을 가르치는지뿐만 아니라 어떻게 가르치는지와 관련이 있습니다.

주요 발견: "같은 교사, 같은 스타일"

저자들은 새로운 기술을 가르치는 최선의 방법은 도서관에서 수년 동안 읽는 동안 사용된 **정확히 같은 교수법 (옵티마이저)**을 사용하는 것이라고 발견했습니다.

유사성: 학생이 특정 방법, 예를 들어 "방법 A"(텍스트 강조와 메모를 취하는 구체적인 방식) 를 사용하여 읽는 법을 배웠다고 상상해 보세요. 만약 "방법 B"(완전히 다른 방식의 강조와 메모) 를 사용하여 수학을 가르치려고 한다면, 학생은 혼란을 겪게 됩니다. 그들은 수학을 배울 수는 있지만, 수년간의 연습으로 뇌에 각인된 방식과 새로운 방식이 충돌하기 때문에 읽기 능력을 잊기 시작할 수 있습니다.
발견: 만약 수학 수업에서도 "방법 A"를 고수한다면, 학생은 수학을 배우면서도 읽기 능력을 온전하게 유지합니다. 이 논문은 이를 **"옵티마이저 - 모델 일관성"**이라고 부릅니다.

왜 이런 일이 발생할까요? ("뇌의 형태" 이론)

이 논문은 서로 다른 교수법이 실제로 학생의 뇌 (모델의 내부 가중치) 를 서로 다른 방식으로 형성한다고 설명합니다.

서로 다른 형태: 일부 교수법 (가장 일반적인 AdamW 등) 은 뇌를 "희소"하거나 "효율적"이도록 훈련시킵니다. 이는 책이 깔끔하게 정리되어 책 사이에 빈 공간이 있는 도서관과 같습니다. 다른 방법들 (새롭고 세련된 방법인 Muon 등) 은 뇌를 "밀집"되도록 훈련시킵니다. 이는 책이 빽빽하게 꽂혀 있는 도서관과 같습니다.
불일치: 만약 수년간 뇌를 "희소"하게 훈련시킨 후, 갑자기 수학을 위해 "밀집"된 교수법으로 전환하면, 뇌는 전체 구조를 재배열하느라 허둥지둥하게 됩니다. 이 혼란은 오래된 책들을 떨어뜨리게 만들어 (망각을 유발합니다).
일치: 만약 수학에서도 "희소"한 방법을 계속 사용한다면, 뇌는 기존 선반에 새로운 책들을 추가할 뿐입니다. 도서관을 다시 짓지 않아도 되므로 망각이 적습니다.

LoRA 의 놀라운 사실

LoRA(저랭크 적응)라는 인기 있는 단축키가 있습니다. LoRA 는 학생이 주된 도서관 책들을 건드리지 않고 수학 답안을 적을 수 있는 작고 별도의 공책을 주는 것과 같습니다. 많은 사람들이 이것이 망각을 피하는 최선의 방법이라고 생각했습니다.

논문의 반전: 저자들은 LoRA 가 좋기는 하지만, 전체 재학습(뇌 전체를 다시 쓰는 것)을 이전과 같은 교수법을 사용하여 수행하는 것이 실제로 더 낫다고 발견했습니다.

유사성: LoRA 는 별도의 공책을 들고 다니는 것과 같습니다. 작동은 하지만, 같은 교수 스타일을 사용하여 주된 뇌를 다시 쓴다면, 단순히 사이드 공책만 사용하는 것보다 새로운 수학을 받아들이면서도 이전의 읽기 능력을 훨씬 더 효과적으로 유지할 수 있습니다.

"암기형" (Muon) 의 사례

이 논문은 Muon이라는 구체적이고 고급스러운 교수법도 살펴보았습니다.

장점: Muon 은 도서관 단계 (사전 학습) 에서 훌륭합니다. 이는 학생이 사실을 놀라울 정도로 잘 암기하도록 돕습니다.
단점: 매우 적은 데이터로 새로운 추론 기술 (예: 수학) 을 배울 때 Muon 은 "단순 암기형"이 되는 경향이 있습니다. 이는 근본적인 패턴을 배우기보다 본인이 보는 구체적인 수학 문제들을 암기하려고 시도합니다.
결과: 만약 Muon 을 전체 여정 (도서관 + 수학) 에 걸쳐 사용한다면, 학생은 사실을 암송하는 데는 뛰어나지만 새로운, 보지 못한 수학 문제를 푸는 데는 어려움을 겪을 수 있습니다. 그들은 예제들을 암기했지만 논리는 배우지 못했습니다.

쉬운 영어로 요약

일관성이 핵심입니다: 새로운 기술을 배우면서 이전 것들을 잊지 않으려면, 원래 모델을 훈련시킬 때 사용했던 동일한 학습 알고리즘 (옵티마이저) 을 계속 사용해야 합니다.
스타일을 바꾸지 마세요: 학습 알고리즘을 중간에 변경하면 모델이 "뇌"를 재구성하도록 강요하게 되어 이전 지식을 잃게 됩니다.
전체 재학습 > 단축키: 때로는 LoRA 와 같은 단축키를 사용하는 것보다 올바른 알고리즘으로 전체 재학습을 수행하는 것이 더 낫습니다. 이는 모델의 뇌가 원래 어떻게 구축되었는지와 더 잘 부합하기 때문입니다.
과도한 암기에 주의하세요: 일부 고급 알고리즘 (Muon 등) 은 암기에는 뛰어나지만 데이터가 부족할 때 새로운 패턴을 배우는 데는 더 나쁠 수 있습니다.

이 논문은 새로운 것을 배우고 오래된 것을 기억하는 것 사이의 최상의 균형을 원한다면, 처음에 시작했던 같은 교사를 고수해야 한다고 결론 내립니다.

기술 요약: 옵티마이저-모델 일관성

문제 제기

대규모 언어 모델 (LLM) 의 학습 패러다임에서 모델은 방대한 말뭉치에 대한 사전 학습 (pretraining) 단계를 거친 후, 특정 기술을 습득하기 위해 작고 고품질의 데이터셋에 대한 지도 미세 조정 (SFT) 단계를 거칩니다. SFT 의 핵심적인 과제는 학습 - 망각 트레이드오프입니다. 모델은 새로운 작업별 지식을 학습하면서도 사전 학습 중에 획득한 일반적인 언어 능력을 유지해야 합니다.

AdamW, Muon 과 같은 다양한 옵티마이저와 LoRA 와 같은 매개변수 효율적 방법들이 사용되고 있지만, 새로운 작업을 학습하고 치명적인 망각을 최소화하는 사이의 최적 균형을 제공하는 조합이 무엇인지는 여전히 불분명합니다. 기존 문헌은 상충되는 직관을 제시합니다. 예를 들어, 일부는 LoRA 의 저랭크 (low-rank) 특성으로 인해 본질적으로 망각이 적다고 주장하는 반면, 다른 이들은 옵티마이저 선택의 중요성을 강조합니다. 본 논문은 SFT 에서 옵티마이저의 선택이 사전 학습에 사용된 옵티마이저와 분리되어야 하는지 아니면 정렬되어야 하는지 조사합니다.

방법론

저자들은 옵티마이저 선택과 SFT 중 모델 성능 간의 관계를 조사하기 위해 실증 실험과 이론적 분석을 결합하여 사용합니다.

실증 실험

모델 및 데이터셋: 실험은 처음부터 사전 학습된 GPT-2-small과 Llama-2-7B에서 수행되었습니다. 사전 학습에는 OpenWebText 데이터셋이 사용되었습니다. SFT 는 MetaMathQA(수학 추론), Alpaca(지시 따르기), Magicoder(코드 생성) 의 세 가지 서로 다른 작업에서 수행되었습니다.
비교된 옵티마이저: 본 연구는 AdamW, Muon(행렬 구조 옵티마이저), SGD를 비교합니다. 또한 다양한 랭크 ( $r=4, 8, 32, 64, 128, 256$ ) 로 LoRA(Low-Rank Adaptation) 를 평가합니다.
평가 지표: 저자들은 학습 - 망각 트레이드오프를 시각화하기 위해 **파레토 프론티어 (Pareto frontier)**를 정의합니다.
- 망각: 사전 학습 데이터셋 (OpenWebText) 의 검증 손실 또는 일반 능력 벤치마크의 감소로 측정됩니다. 손실이 낮을수록 망각이 적음을 의미합니다.
- 학습: 새로운 SFT 작업의 검증 손실 또는 작업별 정확도로 측정됩니다. 손실이 낮거나 정확도가 높을수록 학습이 더 잘되었음을 의미합니다.
- 프로토콜: 각 학습 알고리즘에 대해 학습률을 그리드 검색하여 파레토 프론티어를 식별함으로써, 단일 하이퍼파라미터 설정이 아닌 알고리즘의 한계를 공정한 방식으로 비교하도록 했습니다.
합성 분석: 특정 옵티마이저가 왜 다르게 행동하는지 이해하기 위해 저자들은 손상된 언어 말뭉치를 사용하여 합성 실험을 수행했습니다. 그들은 깨끗한 시퀀스의 토큰 순서를 섞어 언어 패턴을 파괴하여 모델이 암기에 의존하도록 강제했습니다. 이를 통해 옵티마이저의 패턴 학습 능력과 데이터 암기 경향을 구분할 수 있었습니다.

이론적 분석

본 논문은 **행렬 유도 노름 (matrix-induced norms)**에 기반한 이론적 프레임워크를 제공합니다 (Pethick et al., 2025 참조).

옵티마이저를 정규화자로 간주: 저자들은 옵티마이저가 단순히 해에 수렴하는 것이 아니라 모델의 가중치와 활성화를 형성한다고 가정합니다. 구체적으로, 노름 $\|\cdot\|_{\alpha, \beta}$ $∥ \cdot ∥_{α, β}$ 에서 유도된 옵티마이저는 입력 활성화를 $\|\cdot\|_\alpha$ $∥ \cdot ∥_{α}$ 로, 출력 활성화를 $\|\cdot\|_\beta$ $∥ \cdot ∥_{β}$ 로 암묵적으로 정규화합니다.
- AdamW ( $A_{1,\infty}$ 에서 유도됨) 는 $\|\cdot\|_1$ 을 통해 입력을 정규화하여 희소한 (sparse) 활성화를 유도합니다.
- Muon ( $A_{2,2}$ 에서 유도됨) 은 $\|\cdot\|_2$ 를 통해 입력을 정규화하여 더 밀집된 (denser) 활성화를 유도합니다.
망각 근사: 테일러 전개를 사용하여 SFT 후 사전 학습 손실 (망각) 의 증가는 사전 학습 입력에 적용된 가중치 업데이트의 기대 제곱 노름 ( $\mathbb{E}[\|\Delta W x\|_2^2]$ ) 에 비례한다고 근사합니다.
일관성 가설: 이론은 망각을 최소화하기 위해 SFT 업데이트 ( $\Delta W$ ) 가 사전 학습에 의해 확립된 손실 지형의 곡률과 정렬되어야 한다고 시사합니다. 이 정렬은 SFT 옵티마이저가 사전 학습 옵티마이저와 동일한 계열 (동일한 $\alpha, \beta$ ) 에 속할 때 달성됩니다.

주요 결과

1. 옵티마이저 - 모델 일관성

핵심 발견은 옵티마이저 - 모델 일관성입니다. 사전 학습에 사용된 동일한 옵티마이저(또는 옵티마이저 계열) 로 전체 미세 조정 (full fine-tuning) 을 수행하는 것이 일관되게 가장 좋은 학습 - 망각 트레이드오프를 달성합니다.

AdamW 사전 학습: AdamW 로 사전 학습을 수행한 경우, AdamW 로 전체 미세 조정을 수행하는 것이 Muon 이나 SGD 로 전체 미세 조정하는 것보다 우수하며, 모든 작업 (수학, 코드, 지시) 에서 LoRA 보다도 우수합니다.
Muon 사전 학습: 마찬가지로, Muon 으로 사전 학습을 수행한 경우, Muon 으로 전체 미세 조정을 수행하는 것이 AdamW 나 SGD 로 SFT 를 수행하는 것보다 더 나은 트레이드오프를 제공합니다.
LoRA 와의 비교: LoRA 가 망각이 적다는 직관과 달리, 파레토 프론티어 분석은 모든 LoRA 체크포인트에 대해 동일한 옵티마이저를 사용하는 전체 미세 조정 체크포인트가 더 나은 학습(낮은 작업 손실) 과 더 적은 망각(낮은 사전 학습 손실) 을 모두 달성할 수 있음을 보여줍니다. 이는 적절한 학습률 탐색을 고려할 때 사실입니다.

2. 추론 작업에서의 Muon 성능

Muon 은 종종 우수한 사전 학습 체크포인트 (낮은 사전 학습 손실) 를 생성하지만, 추론 작업 (예: MetaMathQA) 에 미세 조정될 때 AdamW 에 비해 성능이 저하됩니다.

암기 대 패턴 학습: 합성 실험은 Muon 이 AdamW 나 SGD 보다 손상된 (패턴이 없는) 데이터를 더 빠르게 암기하는 경향이 있음을 드러냈습니다.
시사점: 데이터가 부족한 SFT 에서 Mu 의 암기 패턴 학습보다 암기를 우선시하는 경향은 복잡한 추론 기술의 학습을 방해하여, 강력한 사전 학습 지표에도 불구하고 일반화가 필요한 작업에서 최종 성능이 저하될 수 있습니다.

3. 학습률의 역할

본 논문은 학습 - 망각 트레이드오프가 학습률에 매우 민감함을 강조합니다. LoRA 가 망각이 적다고 주장하는 이전 연구들은 종종 학습률을 작업에 최적화된 값으로 고정했습니다. 학습률을 탐색할 때, 전체 미세 조정은 단순히 학습률을 낮춤으로써 우수한 트레이드오프를 달성할 수 있으며, 이는 LoRA 가 이 특정 컨텍스트에서 그렇게 효과적으로 모방할 수 없는 전략입니다.

중요성과 주장

본 논문은 LLM 학습을 위한 근본적인 원리로서 옵티마이저 - 모델 일관성을 확립한다고 주장합니다:

통합 지표: 사전 학습 - SFT 전체 파이프라인에 걸친 학습 - 망각 트레이드오프는 사전 학습 성능 단독보다 옵티마이저를 평가하는 더 포괄적인 지표입니다.
실무 지침: 망각을 최소화하면서 작업 학습을 극대화하기 위해 실무자는 SFT 에 사전 학습에 사용된 것과 동일한 옵티마이저 계열을 사용해야 합니다.
Muon 재평가: Muon 은 강력한 사전 학습 옵티마이저이지만, 그 업데이트 메커니즘 (풀랭크, $L_2$ 정규화) 은 데이터가 부족한 SFT 환경, 특히 추론 작업에서 과도한 암기에 취약할 수 있음을 시사합니다. 이는 Muon 으로 사전 학습된 모델이 그 잠재력을 최대한 발휘하기 위해 전용이며 잠재적으로 다른 미세 조정 전략이 필요할 수 있음을 의미합니다.
이론적 통찰: 이 연구는 옵티마이저 설계 (노름) 와 모델 행동 (활성화 희소성) 간의 격차를 메워 옵티마이저 선택의 일관성이 중요한 이유에 대한 이론적 설명을 제공합니다.

저자들은 실험이 계산적 제약으로 인해 주로 더 작은 모델 (GPT-2, Llama-2-7B) 에서 수행되었고, 이론적 증명들이 블록 대각 헤시안 (block-diagonal Hessians) 과 같은 단순화 가정에 의존한다는 한계를 인정합니다. 그들은 향후 연구가 이러한 발견을 더 큰 모델로 확장하고, SFT 중 행렬 구조 옵티마이저의 암기 경향을 완화하기 위해 특별히 설계된 옵티마이저를 탐구할 것을 제안합니다.