🤖 machine learning

S-GRPO: Unified Post-Training for Large Vision-Language Models

이 논문은 SFT 와 RL 의 단점을 극복하고 대시각 - 언어 모델의 수렴 속도와 도메인 적응력을 향상시키기 위해, 검증된 정답 궤적을 그룹 내 보상 추정에 주입하여 지도 학습과 강화 학습을 통합한 새로운 프레임워크인 S-GRPO 를 제안합니다.

원저자: Yuming Yan, Kai Tang, Sihong Chen, Ke Xu, Dan Hu, Qun Yu, Pengfei Hu

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuming Yan, Kai Tang, Sihong Chen, Ke Xu, Dan Hu, Qun Yu, Pengfei Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎨 비유: "요리 실습생과 미쉐린 셰프"

거대한 AI 모델을 요리 실습생이라고 상상해 보세요. 이 실습생은 이미 다양한 요리를 할 줄 아는 만능 요리사입니다. 하지만 이제 우리는 이 실습생에게 **"오직 '한라산 버섯'만 요리하는 전문가"**로 만들어야 합니다.

기존에는 두 가지 방법이 있었습니다.

1. 기존 방법 A: "무조건 따라 하기" (SFT - 감독 학습)

방식: 미쉐린 셰프 (정답) 가 요리를 하는 모습을 100% 그대로 따라 하게 합니다.
문제점: 실습생은 '한라산 버섯' 요리만 배우다가, 원래 잘 하던 '불고기'나 '파스타' 만드는 법을 완전히 잊어버립니다. 이를 **'기억 상실 (Catastrophic Forgetting)'**이라고 합니다.
결과: 버섯 요리만 잘하지만, 다른 건 아무것도 못 하는 일방통행 요리사가 됩니다.

2. 기존 방법 B: "혼자서 시행착오" (RL - 강화 학습)

방식: 실습생에게 "혼자서 버섯 요리를 만들어봐. 잘하면 점수 줘!"라고 합니다.
문제점: 처음 시작할 때 실습생은 버섯이 뭔지도 모릅니다. 100 번 시도해도 100 번 다 실패합니다. 점수가 0 점만 나오니, "내가 뭘 잘못했지?"를 알 수 없습니다. 학습이 아예 멈춰버립니다. 이를 **'초기 학습의 막힘 (Cold-start)'**이라고 합니다.
결과: 아무것도 배우지 못하고 제자리걸음만 합니다.

💡 S-GRPO 의 해결책: "스마트한 코치 시스템"

이 논문이 제안한 S-GRPO는 이 두 방법의 장점을 섞은 한 단계의 통합 학습입니다. 핵심은 **'조건부 정답 주입 (CGI)'**이라는 기술입니다.

이걸 스마트한 코치가 있는 상황으로 비유해 볼까요?

시도 단계: 실습생이 혼자서 버섯 요리를 여러 번 만들어 봅니다.
판단 단계: 코치가 결과를 확인합니다.
- 상황 1: "아, 한 번이라도 잘 만든 게 있네!"
  - 코치는 "좋아! 네가 만든 것들끼리 비교해서 더 잘하게 해봐."라고 말합니다. (기존 강화 학습 방식)
  - 실습생은 스스로 발전합니다.
- 상황 2: "와, 10 번 다 망쳤네? 완전 실패야."
  - 이때 코치는 **"정말 안 되겠네. 내가 정답을 보여줄게!"**라고 합니다.
  - 코치는 **미쉐린 셰프의 정답 요리 (Ground Truth)**를 그룹에 하나 섞어 넣습니다.
  - 그리고 "네가 만든 것들은 0 점, 셰프의 정답은 100 점이야. 이 차이를 보고 배워라!"라고 가르칩니다.
결과:
- 실습생은 처음엔 코치의 정답을 보고 빠르게 배우지만 (초기 학습 해결), 점점 실력이 늘면 코치가 정답을 보여줄 필요가 없어집니다.
- 결국 실습생은 버섯 요리 전문가가 되면서도, 원래 잘 하던 **다른 요리 (만능 능력)**도 잊지 않게 됩니다.

🚀 왜 이 기술이 특별한가요?

한 번에 끝내요 (Unified):
- 예전에는 "먼저 셰프에게 따라 배우고 (SFT), 그다음에 혼자 연습하라 (RL)"는 두 단계를 거쳐야 했습니다.
- S-GRPO 는 하나의 과정에서 두 가지를 모두 해결합니다. 시간과 비용이 훨씬 절약됩니다.
기억을 잃지 않아요:
- 무조건 따라 하는 방식 때문에 원래 능력을 잃어버리는 '기억 상실'을 막아줍니다. 실습생은 버섯 요리만 잘하는 게 아니라, 여전히 만능 요리사로 남습니다.
초기 막힘을 뚫어요:
- 처음에 아무것도 못 할 때, 정답을 살짝 섞어주어 학습이 멈추지 않게 도와줍니다.

📝 한 줄 요약

**"AI 가 새로운 분야를 배울 때, 처음엔 정답을 보여줘서 막힘을 뚫고, 실력이 늘면 스스로 탐구하게 하여, 전문성은 키우되 원래 능력은 잃지 않게 해주는 똑똑한 학습법"**입니다.

이 기술 덕분에 의료나 공학처럼 매우 까다로운 분야에서 AI 를 빠르게 훈련시키면서도, AI 가 가진 일반적인 지능을 해치지 않게 될 것으로 기대됩니다.

1. 연구 배경 및 문제 정의 (Problem)

대형 시각 - 언어 모델 (LVLMs) 을 특정 도메인 (의료, 기하학 문제 해결 등) 에 적응시키기 위한 기존 후속 학습 (Post-training) 방법론은 크게 두 가지로 나뉘며, 각각 고유의 구조적 한계를 가지고 있습니다.

지도 미세 조정 (SFT):
- 방식: 단일한 정답 궤적 (Ground-truth trajectory) 에 모델을 강제로 맞추는 최대 우도 추정 (MLE) 기반.
- 한계: 특정 도메인 지식을 주입하는 데는 효율적이지만, 엄격한 '교사 강제 (Teacher-forcing)'로 인해 분포 변화 (Distributional Shift) 가 발생합니다. 이로 인해 모델이 가진 일반적인 멀티모달 능력이 급격히 잊히는 치명적인 망각 (Catastrophic Forgetting) 이 발생합니다.
강화 학습 (RL, 예: GRPO):
- 방식: 여러 개의 다양한 궤적을 샘플링하여 보상 함수에 기반해 정책을 최적화합니다.
- 한계: 정렬되지 않은 (Aligned 되지 않은) 기본 모델에 직접 적용할 경우, 콜드 스타트 (Cold-start) 문제가 발생합니다. 특히 엄격한 이진 검증자 (Binary Verifier) 가 사용되는 시각 작업에서, 모델이 초기에 유효한 정답을 생성할 확률이 극히 낮아 모든 샘플이 실패하게 됩니다. 이때 보상이 0 으로 수렴하여 기울기 소실 (Vanishing Gradients) 이 발생하고 학습이 완전히 멈추는 최적화 붕괴 (Optimization Collapse) 가 일어납니다.

핵심 문제: SFT 는 단일 궤적에 국한되어 망각을 유발하고, 순수 RL 은 희소한 보상 (Sparse Reward) 환경에서 학습이 불가능합니다. 기존에는 이 두 단계를 순차적으로 수행하는 (SFT 후 RL) 파이프라인을 사용했으나, 이는 계산 비용이 많이 들고 SFT 단계에서 이미 일반 능력이 손상되는 문제가 있었습니다.

2. 제안 방법론: S-GRPO (Methodology)

저자들은 S-GRPO (Supervised Group Relative Policy Optimization) 를 제안하여 SFT 와 RL 의 장점을 단일 단계 (Single-stage) 에서 통합했습니다. 핵심 혁신은 조건부 정답 궤적 주입 (Conditional Ground-Truth Trajectory Injection, CGI) 메커니즘입니다.

2.1. 핵심 메커니즘: CGI (Conditional Ground-Truth Injection)

기존 GRPO 는 모델이 생성한 $G$ 개의 궤적만 평가하지만, S-GRPO 는 다음과 같은 조건부 로직을 도입합니다.

초기 탐색: 현재 정책 ( $\pi_{\theta}$ ) 에서 $G$ 개의 후보 궤적을 샘플링합니다.
검증 및 실패 감지: 엄격한 이진 검증자가 모든 생성된 궤적을 평가합니다.
- 성공 (Success): 적어도 하나의 궤적이 보상을 받으면, 기존 GRPO 와 동일하게 해당 그룹 내에서 상대적 이득 (Advantage) 을 계산하여 학습합니다.
- 완전 실패 (Complete Failure): 모든 생성된 궤적이 실패 (보상=0) 한 경우, CGI 가 발동됩니다.
동적 주입 (Injection):
- 실패한 그룹 중 하나 (보통 생성 확률이 가장 낮은 것) 를 제거하고, 검증된 정답 궤적 (Ground-truth, $y_{gt}$ ) 을 그룹에 주입합니다.
- 주입된 정답 궤적에는 최대 보상 ( $R_{max}=1.0$ ) 을 할당하여 '앵커 (Anchor)' 역할을 하게 합니다.
이득 (Advantage) 재계산:
- 정답 궤적은 매우 높은 양의 이득 ( $A \gg 0$ ) 을, 나머지 실패한 생성 궤적은 음의 이득 ( $A < 0$ ) 을 갖게 됩니다.
- 이로 인해 기울기 소실이 방지되고, 모델은 정답 궤적을 모방하도록 강력하게 유도받습니다.

2.2. 학습 동역학

초기 단계 (Cold-start): 모델이 스스로 정답을 찾기 어려워 CGI 가 빈번히 발동되어 SFT 와 유사한 지도 학습 효과를 제공하며 학습을 부트스트랩합니다.
후기 단계: 모델이 스스로 정답을 생성할 수 있게 되면 CGI 는 자연스럽게 작동하지 않게 되어, 순수한 선호도 최적화 (Preference Optimization) 로 전환됩니다.
결과: SFT 의 강력한 지도 신호와 RL 의 자율적 탐색을 하나의 최적화 공간에서 자연스럽게 통합합니다.

3. 주요 기여 (Key Contributions)

통합 후속 학습 프레임워크: SFT 와 선호도 최적화 (RL) 의 대립을 해소하고, 치명적인 망각을 방지하면서 도메인 적응을 가능하게 하는 단일 단계 알고리즘을 정립했습니다.
CGI 메커니즘 설계: 이진 검증자 환경에서의 콜드 스타트 문제를 해결하기 위해, 학습이 멈출 때만 조건부로 정답 궤적을 주입하여 항상 양의 학습 신호를 보장하는 전략을 제안했습니다.
실증적 성능 입증: 희소한 보상을 가진 시각 작업에서 수렴 속도를 획기적으로 가속화하고, 기존 2 단계 파이프라인 (SFT $\to$ RL) 보다 우수한 도메인 성능을 내면서도 기본 모델의 일반 능력을 완벽하게 보존함을 증명했습니다.

4. 실험 결과 (Results)

저자들은 COCO Caption, Geo170K (기하학 문제), OpenI (의료 X-ray 진단) 등 3 가지 데이터셋에서 Qwen2.5-VL-7B 모델을 기반으로 실험을 수행했습니다.

도메인 적응 성능:
- S-GRPO 는 완전 미세 조정 (FFT) 과 비교해 동급의 도메인 성능 (예: COCO 에서 CIDEr 점수 1.0106 vs 1.0172) 을 달성했습니다.
- 기존 2 단계 파이프라인 (SFT $\to$ GRPO) 보다도 도메인 성능이 약간 더 높거나 동급이었으며, 별도의 SFT 단계를 거치지 않아도 됩니다.
일반 능력 보존 (Catastrophic Forgetting 방지):
- FFT 는 도메인 성능은 높았으나, 일반 능력 (MMMU, MME, IFEval) 이 급격히 하락했습니다 (예: IFEval-I 0.3405).
- 반면, S-GRPO 는 도메인 성능을 유지하면서 일반 능력 점수 (IFEval-I 0.7387) 를 FFT 보다 훨씬 높게 유지하여 정렬 세금 (Alignment Tax) 을 성공적으로 우회했습니다.
RL 기반 방법론 비교:
- 표준 GRPO 는 콜드 스타트 문제로 인해 학습이 거의 실패했습니다 (BLEU-1 0.2245).
- S-GRPO 는 CGI 덕분에 학습이 안정적으로 진행되어 우수한 성능을 냈습니다.
CGI 효과 분석:
- 무조건적 주입 (Unconditional Injection) 은 도메인 성능은 높였으나 일반 능력을 저하시켰습니다.
- 조건부 주입 (CGI) 만이 도메인 학습과 일반 능력 보존 사이의 최적 균형 (Pareto balance) 을 이뤘습니다.

5. 의의 및 결론 (Significance)

이 논문은 LVLM 의 도메인 적응 분야에서 SFT 와 RL 의 이분법을 극복하는 중요한 이정표를 제시합니다.

효율성: 별도의 SFT 단계나 복잡한 커리큘럼 설계 없이 단일 단계로 학습을 완료하여 계산 비용을 절감합니다.
안정성: 희소한 보상 환경에서도 학습이 붕괴되지 않도록 보장하며, 모델이 스스로 학습할 수 있는 능력을 키우면서도 초기에는 정답을 통해 학습을 유도하는 유연한 메커니즘을 제공합니다.
확장성: 의료, 공학 등 엄격한 정답 검증이 필요한 고난도 시각 - 언어 작업에 대한 LVLM 적응을 위한 강력한 기반을 마련했습니다.

결론적으로, S-GRPO 는 지식 주입 (Knowledge Injection) 과 자율적 탐색 (Autonomous Exploration) 을 조화시켜, 일반 능력을 잃지 않으면서도 전문적인 도메인 능력을 갖춘 차세대 멀티모달 모델 학습의 표준으로 자리 잡을 수 있는 가능성을 보여줍니다.