💬 NLP

Enough is as good as a feast: A Comprehensive Analysis of How Reinforcement Learning Mitigates Task Conflicts in LLMs

이 논문은 강화 학습(RL)이 더 작은 그래디언트 업데이트를 통해 태스크 간의 충돌을 완화하고, 상충하는 파라미터 변화를 최소화하는 수렴적 최적화 목적 함수를 활용하며, 견고하고 편향 없는 성능을 보장하기 위해 긍정적 사례와 부정적 사례를 공동 최적화함으로써 모델 병합에서 지도 미세 조정(supervised fine-tuning)을 유의미하게 능가한다는 것을 입증한다.

원저자: Zixuan Ren, Jinliang Lu, Junhong Wu, Yang Zhao, Dai Dai, Hua Wu, Haifeng Wang, Chengqing Zong

게시일 2026-07-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zixuan Ren, Jinliang Lu, Junhong Wu, Yang Zhao, Dai Dai, Hua Wu, Haifeng Wang, Chengqing Zong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 도서관에 있다고 상상해 보세요. 그곳의 모든 책은 거대 언어 모델(LLM)이라고 불리는 초지능 로봇 두뇌입니다. 이 두뇌들은 정말 놀랍지만, 종종 한 가지 일에만 전문가가 되도록 훈련받곤 합니다. 어떤 것은 수학을 사랑하고, 어떤 것은 코딩의 마법사이며, 또 다른 것은 농담을 하는 데 달인입니다. 때때로 우리는 이 두뇌들을 하나로 합쳐 모든 것을 한 번에 할 수 있는 하나의 '슈퍼 두뇌'로 만들고 싶어 합니다. 이 과정을 **모델 병합(model merging)**이라고 부릅니다. 이것은 마치 딸기 스무디와 시금치 스무디라는 두 가지 서로 다른 스무디를 하나의 컵에 섞으려는 것과 같습니다. 보통 이 둘을 섞으면 맛이 충돌하여, 딸기도 시금치도 제대로 맛이 나지 않는 정체 모를 형편없는 죽처럼 변해버립니다. AI의 세계에서 이 '죽'은 **태스크 갈등(task conflict)**이라고 불리는데, 이는 한 작업의 지식이 다른 작업의 지식을 망치는 현상을 말합니다.

오랫동안 과학자들은 맛을 망치지 않고 이 두뇌들을 섞는 방법을 알아내기 위해 노력해 왔습니다. 그들은 대개 **지도 미세 조정(Supervised Fine-Tuning, SFT)**이라는 방법으로 학습된 두 모델을 가져옵니다. SFT는 엄격한 선생님이 학생에게 정답이 적힌 교과서를 주며 "이것을 토씨 하나 틀리지 말고 외워라"라고 말하는 것과 같습니다. 하지만 최근에는 **강화 학습(Reinforcement Learning, RL)**이라는 새로운 방법이 인기를 얻고 있습니다. RL은 마치 비디오 게임과 같습니다. AI는 이것저리 시도해 보고, 좋은 움직임에 점수를 얻으며, 점수를 극대화하기 위해 시행착오를 거치며 배웁니다. 여기서 큰 질문은, 만약 우리가 이 "비디오 게임" 스타일(RL)로 전문가 두뇌들을 훈련시킨다면(즉, "엄격한 교과서" 스타일인 SFT 대신), 이들이 더 잘 섞일 것인가 하는 점입니다.

"Enough Is as Good as a Feast(적당함이 과함만 못하다)"라는 제목의 이 논문은 그 질문을 깊이 파고듭니다. 연구진은 두 가지 방식으로 훈련된 모델들을 가져와 다양한 방식으로 병합을 시도했으며, 수학, 코딩, 지시 이행, 논리 퍼즐 해결, 그리고 항목 순위 매기기라는 다섯 가지 기술을 테스트했습니다. 그들은 놀라운 사실을 발견했습니다. RL로 훈련된 모델들이 훨씬 더 잘 병합된다는 것입니다. SFT 모델들은 섞었을 때 특정 작업 능력이 최대 65%까지 떨어지며 그 정체 모를 "죽"이 되어버린 반면, RL 모델들은 놀라울 정도로 예리함을 유지하며 성능 저하가 거의 없었습니다.

왜 이런 일이 발생할까요? 저자들은 자신들만의 영리한 비유를 사용하여 세 가지 이유를 제시합니다. 첫째, RL은 **온-폴리시 데이터(on-policy data)**를 사용합니다. 즉, AI는 고정된 교과서가 아니라 자신의 최근 시도로부터 배웁니다. 이는 AI의 "학습 단계"를 작고 부드럽게 유지하여, AI가 이미 가지고 있는 다른 작업의 지식을 실수로 덮어쓰지 않도록 합니다. 둘째, RL에는 자연스러운 "정지 버튼"이 있습니다. AI가 특정 작업에 매우 능숙해짐에 따라, 두뇌에 가해지는 업데이트는 점점 더 작아집니다. 논문은 이를 **"적당함이 과함만 못하다(enough is as good as a feast)"**라는 개념으로 설명합니다. AI가 일을 잘 수행할 만큼 충분히 배웠다면, 파괴적인 변화를 크게 일으키지 않고 멈추게 됩니다. 반면, SFT는 모델이 이미 완벽할 때조차 큰 변화를 계속 만들어내며, 이는 다른 모델과 섞을 때 엉망을 만듭니다. 마지막으로, RL은 좋은 예시와 나쁜 예시(긍정적 샘의 및 부정적 샘플) 모두로부터 배웁니 다. 이는 AI가 단순히 무엇을 해야 하는지뿐만 아니라, 무엇을 하지 말아야 하는지도 이해하게 하여, 다른 작업과 충돌하지 않는 더 깨끗하고 균형 잡힌 지침을 만들어 줍니다.

요약하자면, 이 논문은 만약 당신이 서로 다른 전문가들을 섞어서 다재다능한 멀티 플레이어 AI를 만들고 싶다면, RL로 훈련하는 것이 마치 부드럽고 정밀한 손길로 스무디를 블렌딩하는 것과 같다고 제안합니다. 전통적인 방식은 재료를 고속 블렌더에 집어넣고 돌리는 것과 같습니다. 그 결과는 어떠할까요? 훨씬 더 맛있는, 더 유능한 슈퍼 두뇌입니다.

기술 요약: 충분한 것이 성찬만큼 좋다 (Enough is as Good as a Feast)

문제 정의

모델 병합(Model Merging)은 원래의 학습 데이터에 접근하거나 비용이 많이 드는 재학습을 거치지 않고도, 여러 개의 특화된 대규모 언어 모델(LLM)을 하나의 통합된 모델로 결합하는 핵심적인 기술으로 부상했습니다. 그러나 이 과정의 중심 과제는 **태스크 충돌(Task Conflict)**입니다. 독립적으로 미세 조정된 모델들의 파라미터를 융합할 때, 이들 사이의 간섭이 발생하여 심각한 성능 저하를 초래하는 경우가 빈번하기 때문입니다.

최근 연구들은 더 나은 병합 전략(예: Task Arithmetic, TIES-Merging, DARE)을 개발하는 데 집중해 왔으나, 소스 모델을 생성하는 데 사용된 **학습 패러다임(Training Paradigm)**이 미치는 영향은 크게 간과되어 왔습니다. 대부분의 기존 연구는 모델이 지도 미세 조정(SFT)을 통해 학습되었다고 가정합니다. 본 논문은 SFT와 강화 학습(RL) 중 어떤 사후 학습(Post-training) 패러다임을 선택하느냐가 모델 병합 시 태스크 충돌에 대한 민감도에 영향을 미치는지 조사합니다.

방법론

저자들은 SFT로 미세 조정된 모델과 RL(구체적으로 PPO, GRPO, REINFORCE++)로 미세 조정된 모델을 비교하는 포괄적인 경험적 및 이론적 분석을 수행했습니다.

실험 설정

베이스 모델: Llama-3.2-3B, Llama-3.1-8B, Mistral-Small-3-24B.
태스크: 자동 검증이 가능한 5가지 대표 태스크: 수학적 추론(Mathematical Reasoning), 코드 생성(Code Generation), 지시 이행(Instruction Following), 논리 퍼즐(Logical Puzzles), 순위 매기기(Ranking).
병합 전략: 네 가지 병합 방법인 모델 평균화(Model Averaging), TIES-Merging, Task-Arithmetic, DARE+TIES를 평가했습니다.
프로토콜: 서로 다른 태스크에 대해 미세 조정된 모델 간의 쌍별 병합(Pairwise merging)을 수행하여 성능 보존 정도를 측정했습니다.

이론적 및 경험적 분석

관찰된 차이점을 설명하기 위해, 저자들은 RL과 SFT를 구분 짓는 세 가지 특정 메커니즘을 분석했습니다:

온-폴리시 데이터(On-Policy Data): 온-폴리시 데이터(RL)에서 유도된 그래디언트 노름(Gradient Norm)과 고정된 오프라인 데이터셋(SFT)에서 유도된 노름을 비교했습니다.
내재적 최적화 역학(Intrinsic Optimization Dynamics): SFT의 고정된 강도의 업데이트와 비교하여, RL 목적 함수(특히 어드밴티지 함수)가 학습이 수렴함에 따라 어떻게 작동하는지에 대한 이론적 분석을 수행했습니다.
양성 샘플 vs 음성 샘플: 음성 샘플의 어드밴티지를 0으로 만든 "RL-Pos" 변형 모델을 생성하여 음성 샘플의 효과를 격리하는 통제된 실험을 진행했습니다.

주요 결과

1. RL 모델에서의 우수한 성능 보존

5가지 태스크, 4가지 병합 전략, 3가지 베이스 모델 아키텍처 전체에 걸쳐, RL로 학습된 모델은 SFT로 학습된 모델에 비해 병합 후 성능 저하가 일관되게 훨씬 적게 나타났습니다.

개선 폭: "퍼즐(Puzzle)" 태스크에서 특정 병합 방법을 사용할 경우 SFT 모델은 최대 65%의 성능 하락을 겪었으나, RL 모델은 대부분의 경우 손실을 10% 미만으로 제한했습니다.
일반성: RL의 이러한 이점은 사용된 특정 RL 알고리즘(PPO, GRP0, REINFORCE++)이나 베이스 모델의 크기와 관계없이 유지되었습니다.

2. 태스크 충돌을 완화하는 메커니즘

본 논문은 RL의 견고성에 기여하는 세 가지 주요 요인을 식별했습니다:

온-폴리시 데이터를 통한 더 작은 그래디언트 크기: RL은 현재 모델으로부터 샘플링된 데이터에 의존하며, 이는 모델의 분포와 밀접하게 일치합니다. 이는 SFT에 비해 현저히 작은 파라미터 업데이트 노름을 결과로 가져옵니다 (예: 수학 태스크에서 SFT 업데이트 노름은 약 6.5인 반면, RL은 약 0.78임). 더 작은 업데이트는 다른 태스크로부터 습득한 지식을 덮어쓸 위험을 줄입니다.
적응형 수렴 ("충분한 것이 성찬만큼 좋다"): 이론적 분석(정리 1 & 2)은 RL 학습이 수렴함에 따라 기대 어드밴티지( $A$ )가 0에 가까워진다는 것을 보여줍니다. 결과적으로 파라미터 업데이트의 크기가 자연스럽게 감소합니다. 반면, SFT는 수렴 여부와 상관없이 고정된 강도로 업데이트를 적용합니다. 이러한 RL의 내재적 특성은 충돌하는 파라미터 업데이트의 수와 크기를 점진적으로 줄여줍니다.
양성 및 음성 샘플의 공동 최적화: RL은 양성(높은 보상)과 음성(낮은 보상) 예시 모두를 최적화합니다. 전체 RL과 "RL-Pos"(양성 샘플만 포함)를 비교한 실험 결과, 음성 샘플의 포함이 더 편향되지 않은 업데이트, 더 높은 수렴 안정성, 그리고 추가적인 교차 태스크 충돌 감소를 이끌어냄을 보여주었습니다.

3. 성능 지형 시각화

병합된 파라미터 주변의 손실 지형(Loss Landscape)을 시각화한 결과, SFT와 RL 모델 모두 무작위 노이즈에는 견고하지만, SFT 모델은 태스크 유도 업데이트 방향(다른 태스크와 병합되는 방향)으로 섭동(Perturbation)이 가해질 때 심각한 저하를 겪는 것으로 나타났습니다. 반면 RL 모델은 이러한 방향에서도 안정적인 성능을 유지했으며, 이는 학습된 파라미터가 더 태스크-직교적(Task-orthogonal)이며 덜 얽혀 있음을 나타냅니다.

핵심 기여

패러다임 발견: 본 논문은 RL로 학습된 모델이 SFT로 학습된 모델보다 모델 병합에 본질적으로 더 적합하다는 사실을 입증하였으며, 이 발견은 다양한 병합 방법, 알고리즘 및 베이스 모델 전반에서 유효합니다.
메커니즘적 설명: 저자들은 온-폴리시 데이터의 안정화 효과, 수렴 중 RL 업데이트의 자기 감쇠 특성, 그리고 양성 및 음성 샘플의 공동 최적화를 통한 충돌 감소 효과라는 세 가지 요인을 통해 이러한 우월성을 경험적 및 이론적으로 규명했습니다.
전략적 통찰: 본 연구는 RL이 단순히 정렬(Alignment)을 위한 SFT의 대안이 아니라, 파운데이션 모델을 위한 보다 강력한 멀티 태스크 사후 학습 패러다임을 구성한다는 점을 시사하며, 처음부터 다시 학습하지 않고도 범용 모델을 구축할 수 있는 확장 가능한 경로를 제시합니다.

의의

본 논문은 사후 학습 패러다임의 선택이 모델 병합의 성공에 있어 결정적이지만 그동안 과소평가되었던 요소라고 주장합니다. RL이 태스크 충돌을 자연스럽게 완화한다는 것을 입증함으로써, 저자들은 견고한 범용 LLM을 구축하는 방법에 대한 새로운 관점을 제공합니다. 이 결과는 병합 전략 자체에만 집중하던 기존의 흐름에 도전하며, 병합 이전에 이루어지는 학습 역학의 중요성을 강조합니다. 이 연구 결과는 여러 전문화된 능력을 통합해야 하는 애플리케이션을 위해, RL로 학습된 모델을 병합의 소스로 활용하는 것이 다양한 태스크 전반에서 성능을 유지하기 위한 더 우수한 토대를 제공함을 시사합니다.