[기술 요약] 도메인 적응형 VLM을 위한 강화 학습 기반 커리큘럼 사전 정렬 (RCPA)

1. 문제 정의 (Problem Statement)

시각-언어 모델(VLM)은 범용적인 능력은 뛰어나지만, 의료 영상 분석이나 기하학 문제 풀이와 같은 **특수 도메인(Specialized Domains)**에서는 성능이 저하되는 한계가 있습니다. 이를 해결하기 위한 기존 방식들은 다음과 같은 치명적인 단점을 가집니다.

• 지도 미세 조정 (SFT): 특정 도메인 지식을 주입하는 데는 효과적이지만, 모델이 기존에 가진 범용 능력을 잃어버리는 치명적 망각(Catastrophic Forgetting) 현상이 발생합니다.
• 강화 학습 (RL, 예: GRPO): 범용 능력을 보존하는 데 유리하지만, 모델이 해당 도메인에 대한 기초 지식이 없는 상태(Low-resource/Specialized)에서 시작할 경우, 보상 신호(Reward Signal)를 제대로 생성하지 못해 학습이 무너지는 **최적화 붕괴(Optimization Collapse)**가 발생합니다.

따라서 본 논문은 **"어떻게 하면 범용 능력을 유지하면서도, 기초 지식이 없는 상태에서 안정적으로 새로운 도메인 지식을 습득할 것인가?"**라는 문제를 해결하고자 합니다.

2. 제안 방법론 (Methodology: RCPA)

본 논문은 도메인 적응을 단일 단계가 아닌 점진적인 과정으로 정의하고, **RCPA (Reinforced Curriculum Pre-Alignment)**라는 새로운 포스트 트레이닝 패러다임을 제안합니다.

2.1. 2단계 점진적 모듈레이션 (Two-Phase Progressive Modulation)

1. 사전 정렬 단계 (Pre-Alignment Phase): 모델이 도메인 개념을 안전하게 접할 수 있도록 **부분적 출력 제약(Partial Output Constraints)**을 가합니다. 정답의 일부(Prefix)를 미리 제공하여 모델이 올바른 방향으로 답변을 생성하도록 유도함으로써 초기 학습 신호를 확보합니다.
2. 강화 정렬 단계 (Reinforcement Alignment Phase): 모델이 도메인에 익숙해지면 제약을 점진적으로 해제하고, 전체 문장 생성에 대한 **보상 기반 최적화(Full Reward-driven Optimization)**로 전환하여 답변의 정밀도를 높입니다.

2.2. 핵심 커리큘럼 모듈

• CPP (Curriculum Progress Perception): 모델의 숙련도에 따라 두 가지를 조절합니다.
  • Answer-Prefix Injection: 학습 초기에는 정답의 앞부분을 입력에 포함시켜 학습 난이도를 낮추고, 단계가 진행됨에 따라 이 길이를 줄여 완전한 생성을 유도합니다.
  • Threshold Scheduling: 보상을 판단하는 임계값($\delta$)을 초기에는 낮게 설정하여 탐색을 돕고, 학습이 진행될수록 높여 엄격한 정확도를 요구합니다.
• CDP (Curriculum Difficulty Perception): 샘플의 난이도를 실시간으로 파악합니다. 모델이 맞추기 쉬운 샘플은 가중치를 낮추고, 어려운 샘플(학습 가치가 높은 샘플)에 더 높은 가중치를 부여하여 학습 효율을 극대화하고 과적합을 방지합니다.

2.3. RL 백본: GRPON

기존의 GRPO를 VQA(시각 질의응답) 스타일의 비-추론(Non-deep-thinking) 작업에 맞게 최적화한 GRPON을 사용합니다. 보상 함수는 **의미적 유사도(Semantic Similarity), 사실적 일관성(Factual Consistency), 개체 일치(Entity Alignment)**를 결합하여 구성됩니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제시: SFT의 지식 주입 능력과 RL의 범용성 보존 능력을 결합한 '커리큘럼 기반 점진적 적응' 프레임워크를 제안했습니다.
2. 최적화 안정성 확보: CPP를 통해 초기 학습 시 발생하는 보상 희소성(Sparse Reward) 문제를 해결하고 최적화 붕괴를 방지했습니다.
3. 효율적인 학습 전략: CDP를 통해 데이터 샘플링의 우선순위를 동적으로 조절함으로써 학습 효율을 높였습니다.

4. 실험 결과 (Results)

다양한 벤치마크(COCO Caption, Geo170K, OpenI)를 통해 검증한 결과는 다음과 같습니다.

• 도메인 특화 성능: RCPA는 Full Fine-Tuning(FFT)과 대등한 수준의 도메인 지식 습득 능력을 보여주었습니다. (예: Geo170K에서 CIDEr 지표가 FFT와 유사함)
• 범용 능력 보존: FFT가 도메인 학습 시 범용 벤치마크(MMMU, MME 등)에서 성능이 급락하는 것과 달리, RCPA는 범용 능력을 매우 효과적으로 유지했습니다.
• 안정성: 기존 GRPO 대비 정책 업데이트의 분산(KL Divergence)을 약 41% 감소시켰으며, 보상 값이 안정적으로 상승하는 것을 확인했습니다.

5. 의의 (Significance)

본 연구는 고가의 사전 학습(Pre-training) 없이도, 적은 비용의 포스트 트레이닝만으로 VLM을 특정 전문 분야(의료, 수학 등)에 최적화하면서도 동시에 강력한 범용 AI 에이전트로서의 정체성을 유지할 수 있는 실질적인 경로를 제시했다는 점에서 매우 중요한 학술적/실무적 가치를 가집니다.