NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation

1. 연구 배경 및 문제 제기 (Problem)

멀티모달 대규모 언어 모델 (MLLM) 의 일반적 추론 능력 (Chain-of-Thought, CoT) 을 향상시키기 위해 강화 학습 (RL), 특히 GRPO (Group Relative Policy Optimization) 가 활발히 적용되고 있습니다. 그러나 기존 GRPO 를 MLLM 에 적용할 때 다음과 같은 한계점이 발견되었습니다.

• 제한된 정책 탐색 (Limited Policy Exploration): 기존 GRPO 는 온도 샘플링 (temperature sampling) 을 통해 여러 롤아웃 (rollout) 을 생성하지만, 학습 과정에서 이 롤아웃들이 거의 동일한 출력으로 수렴하는 경향이 있어 탐색이 부족하고 결정론적인 정책으로 일찍 수렴합니다.
• 과정 감독의 부재 (Missing Process Supervision): 규칙 기반 보상 (정답 여부만 판정) 은 최종 답변만 평가하므로, 중간 추론 단계에서의 오류나 시각적 환각 (hallucination) 을 교정하지 못합니다. 이는 분포 밖 (out-of-distribution) 데이터에서 일반화 능력을 저하시킵니다.
• 성능 불일치: 훈련 중 보상 점수가 높아도 평가 벤치마크에서의 성능이 일관되게 향상되지 않는 경우가 많습니다.

2. 제안 방법: NoisyGRPO (Methodology)

저자들은 이러한 문제를 해결하기 위해 NoisyGRPO라는 새로운 멀티모달 RL 프레임워크를 제안합니다. 이는 두 가지 핵심 구성 요소를 통해 기존 GRPO 를 개선합니다.

2.1. 노이즈 주입 탐색 정책 (Noise-Injected Exploration Policy)

• 전략: 시각 입력 (이미지) 에 가우스 노이즈를 주입하여 다양한 강도의 노이즈가 적용된 이미지를 생성합니다.
• 동작: 각 롤아웃마다 다른 노이즈 수준 ($n_i \sim U(0, 1)$) 을 적용하여 모델이 더 넓은 시각적 시나리오에서 탐색하도록 유도합니다.
• 효과: 롤아웃의 다양성을 유지하고 (높은 보상 표준편차), 시각적 근거에 기반한 추론을 장려하여 환각을 줄입니다.
• 주의: 노이즈 주입은 데이터 수집 (rollout collection) 단계에서만 수행되며, 정책 업데이트 시에는 깨끗한 입력을 사용하여 학습의 안정성을 보장합니다.

2.2. 베이지안 이점 추정 (Bayesian Advantage Estimation)

노이즈를 주입하면 '행동 정책 (노이즈가 있는 이미지 사용)'과 '목표 정책 (깨끗한 이미지 사용)' 간의 분포 이동 (distribution shift) 이 발생하여 이점 (advantage) 추정에 편향이 생길 수 있습니다. 이를 해결하기 위해 베이지안 추론을 도입합니다.

• 수학적 모델링:
  • 사전 (Prior): 주입된 노이즈 수준을 기반으로 한 추정치 ($r^n_i = 1 - n_i$). 노이즈가 적을수록 (깨끗할수록) 추론이 더 정확할 것이라는 가정을 반영합니다.
  • 우도 (Likelihood): 관찰된 시맨틱 보상 ($r^s_i$). SBERT 등을 이용해 생성된 답변과 정답의 의미적 유사도로 계산됩니다.
  • 사후 (Posterior): 사전 정보와 관찰된 보상을 결합하여 최종 이점을 추정합니다.
    $$\hat{r}_i = \hat{r}^s_i + \frac{\sigma^2_s}{\sigma^2_n + \sigma^2_s}(\hat{r}^n_i - \hat{r}^s_i)$$
• 동적 가중치 조정:
  • 그룹 내 시맨틱 보상의 분산이 크면 (노이즈 수준에 따라 정답 여부가 크게 달라짐) 사전의 불확실성 ($\sigma^2_n$) 을 낮추고 관찰값을 더 신뢰합니다.
  • 반대로 보상의 분산이 작으면 (모든 노이즈 수준에서 결과가 비슷함) 사전의 신뢰도를 높입니다.
• 효과: 노이즈로 인한 편향을 보정하고, 시각적 근거가 명확한 경로 (낮은 노이즈, 높은 보상) 를 선호하도록 정책을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. NoisyGRPO 프레임워크 제안: MLLM 의 일반적 CoT 추론 능력을 향상시키기 위해 노이즈 주입과 베이지안 이점 추정을 통합한 RL 프레임워크를 개발했습니다.
2. 탐색 및 최적화 균형: 노이즈 주입을 통한 정책 탐색의 다양성 확보와, 베이지안 추정을 통한 노이즈의 부정적 영향 (편향) 제거를 동시에 달성했습니다.
3. 소규모 모델에서의 효과 입증: Qwen2.5-VL 3B 와 같은 소규모 MLLM 에서도 기존 GRPO 대비 뛰어난 일반화 능력과 강건성을 보여주었습니다.

4. 실험 결과 (Results)

저자들은 MME-CoT, MMStar, AMBER 등 다양한 벤치마크를 통해 NoisyGRPO 의 성능을 검증했습니다.

• CoT 품질 (MME-CoT): NoisyGRPO 는 GRPO 보다 일관되게 높은 성능을 보였습니다. 특히 Qwen2.5-VL 3B 모델에서 CoT 품질 점수가 +4.4 향상되었고, MMStar 평균 점수는 +3.7 증가했습니다.
• 일반 능력 및 환각 감소:
  • MMStar 벤치마크에서 정밀한 시각 이해 (Fine-grained Perception) 및 인스턴스 추론 (Instance Reasoning) 분야에서 큰 개선을 보였습니다.
  • AMBER 벤치마크에서 환각 (Hallucination) 지표가 감소하여 출력의 신뢰성이 향상되었습니다.
• 학습 역학:
  • 학습 초기에는 노이즈 기반 사전 (Prior) 에 더 의존하다가, 학습이 진행됨에 따라 정답 기반 보상 신호로 점진적으로 전환되는 것을 확인했습니다.
  • GRPO 보다 더 짧고 정확한 CoT 추론 경로를 생성하는 경향이 있었습니다.
• 효율성: 추가적인 계산 비용 없이 (노이즈 주입은 매우 가볍고, 베이지안 계산은 단순함) GRPO 와 유사한 학습 시간과 GPU 메모리 사용량을 보였습니다.

5. 의의 및 결론 (Significance)

• 소규모 모델의 잠재력 증대: 대규모 모델에 의존하지 않고도, 소규모 MLLM 이 복잡한 시각적 추론 과제를 수행할 수 있는 능력을 강화하는 효과적인 방법을 제시했습니다.
• 강건한 추론 유도: 단순한 정답 맞추기를 넘어, 시각적 근거에 기반한 견고한 추론 과정을 학습하도록 유도하여 분포 밖 (OOD) 데이터에서도 안정적인 성능을 발휘합니다.
• 실용적 확장성: 계산 오버헤드가 거의 없으므로 실제 배포 환경에서도 적용 가능한 확장 가능한 프레임워크입니다.

요약하자면, NoisyGRPO는 시각 입력에 의도적인 노이즈를 주입하여 탐색을 촉진하고, 베이지안 추론을 통해 이를 보정함으로써 MLLM 의 멀티모달 CoT 추론 능력을 획기적으로 향상시킨 혁신적인 강화 학습 방법론입니다.