💬 NLP

Advancing General-Purpose Reasoning Models with Modular Gradient Surgery

이 논문은 다양한 도메인을 학습할 때 발생하는 그래디언트 충돌 문제를 해결하기 위해 트랜스포머 모듈 수준에서 간섭을 제어하는 **MGS(Modular Gradient Surgery)** 기법을 제안하여, 범용 추론 모델의 성능을 효과적으로 향상시켰습니다.

원저자: Min Cai, Yu Liang, Longzheng Wang, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Xi Ye, Daiting Shi

게시일 2026-02-11

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Min Cai, Yu Liang, Longzheng Wang, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Xi Ye, Daiting Shi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "수학만 파다 보니, 말주변이 사라졌어요!" (Mode Interference)

우리가 AI를 훈련시킬 때, 보통 두 가지 방법을 씁니다.

방법 A: 순차적 학습 (Sequential RL)
- 비유: 먼저 1년 내내 수학만 미친 듯이 공부시킨 뒤, 그다음 1년은 대화법만 공부시키는 거예요.
- 결과: 수학을 다 배운 뒤 대화법을 배우기 시작하면, '수학적 사고력'을 까먹어 버립니다(Forgetting). 반대로 대화법을 먼저 배우면, 수학을 배울 때 머리가 너무 유연해져서(Rigidity) 수학의 엄격한 규칙을 잘 못 받아들입니다. 결국 둘 다 어중간해지죠.
방법 B: 섞어서 학습 (Mixed RL)
- 비유: 수학 문제집과 대화 교재를 한 책에 섞어서 매일 같이 푸는 거예요.
- 결과: 수학 문제를 풀 때 필요한 '뇌의 회로'와 대화할 때 필요한 '뇌의 회로'가 서로 "내 방식대로 해!"라며 싸우기 시작합니다. 이걸 논문에서는 **'그래디언트 충돌(Gradient Conflict)'**이라고 불러요. 서로 다른 방향으로 가려고 하니 학습이 꼬이고 효율이 떨어지는 거죠.

2. 해결책: "뇌 부위별 맞춤형 수술" (Modular Gradient Surgery, MGS)

이 논문의 핵심 아이디어인 **MGS(모듈형 그래디언트 수술)**는 아주 똑똑한 해결책을 제시합니다.

우리 뇌를 보면 **'계산 담당 구역'**이 있고, **'언어 담당 구역'**이 따로 있죠? AI(트랜스포머 모델)도 마찬가지입니다. 어떤 부분(모듈)은 정보를 전달하는 데 특화되어 있고, 어떤 부분은 지식을 저장하는 데 특화되어 있습니다.

기존 방식 (Global Surgery): 뇌 전체가 싸우고 있다고 판단해서, 뇌 전체의 움직임을 억제해 버립니다. 너무 과격해서 학습이 느려지거나 멍청해질 수 있죠.
MGS 방식 (Modular Surgery): 뇌를 부위별로 정밀하게 관찰합니다.
- "오, 지금 **'수학 구역'**과 **'대화 구역'**이 서로 싸우고 있네? 그럼 이 구역의 신호만 살짝 조정해주자!"
- "반면에 **'기억 구역'**은 둘 다 사이좋게 잘하고 있네? 여기는 건드리지 말고 그대로 두자!"

즉, **싸움이 일어나는 특정 부위(모듈)만 골라내어, 서로 방해되지 않게 신호를 부드럽게 깎아주는 '정밀 수술'**을 하는 것입니다.

3. 결과: "수학도 1등, 대화도 1등!"

이 '정밀 수술'을 적용했더니 결과가 놀라웠습니다.

진정한 만능 모델: 수학 점수도 높게 유지하면서, 대화 능력과 지시 이행 능력까지 동시에 쑥쑥 올라갔습니다.
확장성: 수학, 대화, 지시 이행 세 가지를 동시에 가르쳐도 모델이 혼란에 빠지지 않고 잘 따라왔습니다.
효율성: 뇌 전체를 건드리는 게 아니라 필요한 부분만 건드리니까, 학습 속도나 메모리 사용량 면에서도 매우 경제적이었습니다.

요약하자면!

이 논문은 **"AI가 여러 가지 공부를 동시에 할 때, 서로 방해하지 않도록 뇌의 부위별로 맞춤형 조율을 해주는 기술"**을 개발한 것입니다. 덕분에 AI는 이제 수학 천재이면서 동시에 다정한 대화 상대가 될 수 있는 길을 더 넓게 열게 되었습니다.

[기술 요약] Modular Gradient Surgery (MGS)를 통한 범용 추론 모델의 발전

1. 문제 정의 (Problem Statement)

최근 대규모 추론 모델(LRM)은 강화학습(RL)을 통해 수학, 코드와 같은 검증 가능한 영역에서 큰 성과를 거두었습니다. 그러나 서로 다른 도메인(예: 수학, 일반 채팅, 지시 이행)을 동시에 학습시켜 범용적인 추론 모델을 만드는 것은 매우 어렵습니다. 기존의 두 가지 주요 전략은 다음과 같은 한계를 가집니다:

Sequential RL (순차적 학습): 한 도메인을 학습한 후 다음 도메인을 학습하는 방식입니다. 이는 이전 도메인의 능력이 사라지는 망각(Forgetting) 현상과, 이후 도메인의 학습 능력이 제한되는 경직성(Rigidity) 현상을 초래합니다 (이를 통칭하여 Mode Interference라 함).
Mixed RL (혼합 학습): 여러 도메인의 데이터를 하나의 배치에 섞어 학습하는 방식입니다. 이 방식은 도메인 간의 **그래디언트 충돌(Gradient Conflict)**을 유발하여, 특정 도메인의 성능을 높이려 하면 다른 도메인의 성능이 저하되는 상충 관계(Trade-off)가 발생합니다.

2. 제안 방법론: Modular Gradient Surgery (MGS)

본 논문은 그래디언트 충돌이 모델 전체에 균일하게 발생하는 것이 아니라, 특정 모듈에 국한되어 발생한다는 점에 착안하여 **MGS(Modular Gradient Surgery)**를 제안합니다.

핵심 아이디어:

트랜스포머(Transformer) 구조는 기능적으로 분리된 모듈(Attention, MLP, LayerNorm 등)로 구성되어 있습니다. MGS는 기존의 PCGrad(전체 파라미터를 하나의 벡터로 보고 충돌을 해결하는 방식)를 확장하여, **각 모듈 단위로 독립적인 그래디언트 수술(Gradient Surgery)**을 수행합니다.

작동 원리 (Algorithm):

모듈 분할: 모델의 파라미터를 개별 모듈( $\phi \in \Phi$ , 예: 각 레이어의 Attention 및 MLP 블록)로 나눕니다.
모듈별 충돌 감지: 각 모듈 내에서 서로 다른 태스크(Task $i, j$ )로부터 계산된 그래디언트 벡터 간의 코사인 유사도를 측정합니다.
투영(Projection)을 통한 충돌 해결: 만약 두 모듈의 그래디언트 내적값이 음수( $v_i \cdot v_j < 0$ )라면, 즉 서로 반대 방향으로 업데이트를 유도한다면, 한 그래디언트를 다른 그래디언트에 수직이 되도록 투영(Project)하여 파괴적인 간섭을 제거합니다.
업데이트: 충돌이 해결된 모듈별 그래디언트를 합산하여 모델을 업데이트합니다.

3. 주요 기여 (Key Contributions)

다중 도메인 RL의 체계적 분석: Sequential 및 Mixed RL 전략에서 발생하는 간섭(Mode Interference 및 Gradient Conflict)의 원인을 실험적으로 규명했습니다.
MGS 방법론 제안: 그래디언트 충돌을 모듈 수준에서 해결함으로써, 모델의 기능적 전문성을 유지하면서도 다중 태스크 학습을 가능하게 하는 새로운 프레임워크를 제시했습니다.
확장성 및 효율성 입증: MGS가 단순히 두 개 이상의 태스크뿐만 아니라, 학습 단계가 길어지거나 태스크의 수가 늘어나도 효과적으로 작동함을 보여주었습니다.

4. 실험 결과 (Results)

Llama 및 Qwen 모델을 대상으로 수학(Math), 일반 채팅(Chat), 지시 이행(IF) 도메인에서 실험한 결과는 다음과 같습니다:

성능 향상: MGS는 Naïve Mixing(단순 혼합) 대비 Llama 모델에서 평균 4.5점, Qwen 모델에서 4.3점의 성능 향상을 달성했습니다.
균형 잡힌 능력: Sequential RL이 특정 도메인에서 성능을 잃는 것과 달리, MGS는 모든 도메인에서 높은 점수를 유지하며 가장 균형 잡힌 범용 추론 능력을 보여주었습니다.
확장성: 세 가지 태스크(Math, Chat, IF)를 동시에 학습할 때도 MGS가 다른 베이스라인(Global Surgery 등)보다 우수한 성능을 보였습니다.
낮은 오버헤드: FSDP와 같은 병렬 학습 프레임워크를 사용할 경우, 메모리 및 시간 측면에서의 추가 비용이 무시할 수 있을 정도로 적습니다.

5. 의의 (Significance)

이 논문은 **"어떻게 하면 하나의 모델이 수학적 논리와 유연한 대화 능력을 동시에 갖출 수 있는가?"**라는 질문에 대한 실질적인 해답을 제시합니다. 기존의 전역적(Global) 그래디언트 조작 방식이 가진 과도한 보수성(Over-conservatism)을 극복하고, 트랜스포머의 구조적 특성을 활용하여 효율적이고 안정적인 범용 추론 모델(General-Purpose Reasoning LRM) 학습 경로를 개척했다는 점에서 학술적/실무적 가치가 매우 높습니다.