🤖 machine learning

From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

이 논문은 노이즈가 포함된 라벨 환경에서 멀티모달 대형 언어 모델 (MLLM) 의 강화 학습을 위해, 초기 탐색 단계에서 엔트로피 최대화를 통해 과적합을 방지하고 후기 활용 단계에서 엔트로피 최소화를 통해 정확도를 높이는 두 단계 엔트로피 기반 RLVR 접근법을 제안합니다.

원저자: Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

게시일 2026-03-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"지식인 (AI) 이 엉뚱한 정보를 가르쳐도 똑똑하게 배울 수 있는 방법"**을 찾아낸 연구입니다.

핵심 아이디어를 쉽게 풀어서 설명해 드릴게요.

🎨 비유: "어리석은 학생과 엉터리 선생님"

상상해 보세요. AI 는 지식을 배우려는 학생이고, 우리가 주는 데이터는 선생님입니다. 문제는 현실 세계의 데이터는 완벽하지 않다는 거죠. 때로는 선생님이 **엉터리 답안 (노이즈)**을 가르쳐 주기도 합니다.

기존의 AI 학습 방법 (GRPO) 은 이 엉터리 선생님을 너무 맹신해서, "아, 이 답이 맞나 보네!"라고 착각하고 잘못된 답을 외워버리는 문제가 있었습니다.

이 논문은 이 문제를 해결하기 위해 **"두 단계 학습법 (Two-Stage Entropy Approach)"**을 제안합니다. 마치 학생이 새로운 과목을 배울 때 거치는 두 단계를 거치는 것과 같습니다.

🚀 1 단계: "호기심 폭발" (탐험, Exploration)

"일단 다 시도해 봐! 틀려도 괜찮아!"

학습 초반에는 AI 에게 **"정답을 빨리 찾으려 하지 말고, 가능한 한 다양한 답을 생각해 내라"**고 명령합니다.

비유: 마치 탐험가가 미지의 숲에 들어설 때, "어디든 가보자!"라고 하며 모든 길을 다 걸어보는 것과 같습니다.
효과: 엉터리 선생님이 "이게 정답이야!"라고 속여도, AI 는 "아니, 저길 가보면 다른 답도 있을 것 같아"라고 생각하며 다양한 가능성을 탐색합니다. 이렇게 하면 엉뚱한 정보에 너무 일찍 매몰되어 틀린 답만 고집하는 것을 막을 수 있습니다.

🎯 2 단계: "집중과 확정" (이용, Exploitation)

"이제 진짜 좋은 답을 찾아서 확실히 기억해!"

학습이 어느 정도 진행되어 AI 가 다양한 가능성을 살펴봤다면, 이제 **"가장 유력한 답에 집중해서 확신을 가지라"**고 바꿉니다.

비유: 탐험가가 여러 길을 다 걸어본 후, "아, 저 길이 가장 빠르고 안전한 길이구나!"라고 결론을 내리고 그 길만 정면으로 달리는 것과 같습니다.
효과: 이제 AI 는 엉터리 정보에 흔들리지 않고, 스스로 찾아낸 가장 확실한 지식을 바탕으로 정확한 답을 내놓습니다.

🌟 왜 이 방법이 특별한가요?

기존 방법들은 두 가지 중 하나만 고집했습니다.

항상 다양하게 생각하게 하기 (최대 엔트로피): 너무 많은 길을 헤매다가 정작 정답을 못 찾음.
항상 확신 있게 답하게 하기 (최소 엔트로피): 엉터리 선생님의 말만 믿고 잘못된 길로 곧장 달려가서 헤매임.

이 논문은 **"처음엔 호기심 있게 (다양하게) 배우고, 나중엔 확신 있게 (집중해서) 익히라"**는 순서를 바꾼 것입니다.

📊 실제 성과는 어떨까요?

연구진은 다양한 AI 모델 (Qwen, InternVL 등) 과 복잡한 작업 (화면 속 버튼 찾기, 이미지 분류 등) 에서 이 방법을 테스트했습니다.

결과: 데이터의 50% 가 엉터리 (오류) 라도, 이 방법을 쓴 AI 는 엉터리 없이 깨끗한 데이터로 학습한 AI 와 거의 비슷한 실력을 냈습니다.
의미: 현실 세계처럼 데이터가 완벽하지 않은 상황에서도 AI 가 훨씬 더 튼튼하고 똑똑하게 작동한다는 뜻입니다.

💡 한 줄 요약

"AI 에게는 처음엔 '다양하게 생각하라'고 가르쳐 엉뚱한 정보에 속지 않게 하고, 나중에 '확신 있게 답하라'고 가르쳐 실력을 완성하게 하는, 지혜로운 학습 전략입니다."

이 방법은 AI 가 불완전한 세상에서도 더 잘 적응하고 성장할 수 있도록 돕는 중요한 기술적 발전입니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 검증 가능한 보상을 이용한 강화학습 (RLVR, Reinforcement Learning with Verifiable Rewards) 은 멀티모달 대규모 언어 모델 (MLLM) 의 추론 능력을 향상시키는 데 효과적입니다. 특히 DeepSeek-R1 에서 사용된 그룹 상대적 정책 최적화 (GRPO) 알고리즘은 수학 추론, 코드 생성 등 다양한 분야에서 성과를 보이고 있습니다.
문제점:
- RLVR 은 고품질의 정답 레이블 데이터에 크게 의존합니다. 그러나 실제 환경에서는 데이터에 **주석 노이즈 (Annotation Noise)**가 포함되는 경우가 많습니다.
- 기존 RLVR 방법들은 노이즈가 있는 레이블에 과적합 (Overfitting) 하거나, GRPO 의 핵심인 '그룹 내 보상 순위 신호'를 위해 필요한 **응답의 다양성 (Response Diversity)**을 억제하여 학습이 불안정해지는 문제가 있습니다.
- 기존 엔트로피 기반 방법들은 단순히 엔트로피를 최소화하거나 최대화하는 것만 선택하여, 노이즈 환경에서 수렴 실패나 최적해 미달의 문제를 야기했습니다.

2. 제안 방법론 (Methodology)

저자들은 "탐색 (Exploration) 에서 활용 (Exploitation) 으로" 전환하는 2 단계 엔트로피 최적화 (Two-Stage Entropy Optimization) 전략을 제안합니다. 이 방법은 GRPO 학습 과정에 토큰 수준의 엔트로피를 동적으로 조절하는 손실 함수를 추가합니다.

핵심 메커니즘:

토큰 수준 엔트로피 (Token-Level Entropy): 시퀀스 전체의 불확실성이 아닌, 각 토큰 생성 단계에서의 예측 불확실성을 정량화하여 사용합니다.
2 단계 스케줄링 (Two-Stage Schedule):
- 1 단계 (탐색 단계, 초기 학습):
  - 목표: 토큰 엔트로피 최대화.
  - 효과: 모델이 다양한 응답을 생성하도록 유도하여, 노이즈가 있는 레이블에过早하게 수렴하는 것을 방지합니다. 또한 GRPO 가 유효한 이점 (Advantage) 을 추정하기 위해 필요한 그룹 내 응답 다양성을 확보합니다.
- 2 단계 (활용 단계, 후기 학습):
  - 목표: 토큰 엔트로피 최소화.
  - 효과: 탐색을 통해 획득한 지식을 바탕으로 모델이 자신감 있고 결정론적인 (Deterministic) 출력을 생성하도록 유도하여 예측 정확도를 정제합니다.
목적 함수:
- 총 손실 함수는 $\mathcal{L}_{total} = \mathcal{L}_{GRPO} + \lambda(\tau)\mathcal{L}_{entropy}$ 로 정의됩니다.
- $\lambda(\tau)$ 는 학습 단계 $\tau$ 에 따라 부호가 변하는 계수입니다. 초기에는 양수 (최대화), 후기에는 음수 (최소화) 로 설정됩니다.

3. 주요 기여 (Key Contributions)

노이즈 내성 RLVR 프레임워크 제안: RLVR 학습에서 엔트로피의 동적 역할을 규명하고, 탐색과 활용을 균형 있게 조절하는 2 단계 엔트로피 가이드 방식을 도입했습니다.
광범위한 실험 검증:
- 모델: Qwen2-VL, Qwen2.5-VL, InternVL 등 다양한 아키텍처와 규모 (2B~7B) 에서 검증.
- 태스크: GUI 그리딩 (ScreenSpot), 세밀한 분류 (Pets37), 오픈 보카불러리 객체 탐지 (OVOD) 등.
- 노이즈 조건: 레이블 정답률 0% (완전 노이즈) 에서 100% (완전 정답) 까지 다양한 조건에서 실험.
성능 및 일반화 향상: 기존 GRPO, 단일 엔트로피 최소화/최대화 방법, 외부/내부 신호 기반 방법들보다 노이즈 환경에서 우수한 강건성 (Robustness) 과 OOD(Out-of-Distribution) 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

정량적 성능 (GUI 그리딩, ScreenSpot):
- 50% 노이즈 조건: 제안된 방법 (GRPO w. Two.) 은 80.2% 정확도를 기록하여, 표준 GRPO(76.2%) 보다 4.0%p, 베이스 모델 대비 9.6%p 향상되었습니다.
- 100% 노이즈 조건 (완전 잘못된 레이블): 75.8% 정확도로, 표준 GRPO(71.0%) 보다 4.8%p 향상되었습니다.
- 0% 노이즈 조건 (완전 정답): 83.6% 정확도로, 기존 방법들보다 여전히 우세한 성능을 보였습니다.
모델 확장성: 더 큰 모델 (Qwen2-VL-7B) 일수록 2 단계 스케줄링의 이점이 더 크게 나타났습니다 (50% 노이즈에서 8.6%p 향상).
정성적 분석:
- 엔트로피 최소화만 적용한 경우: 모델이 즉시 하나의 잘못된 경로로 수렴하여 노이즈에 취약했습니다.
- 엔트로피 최대화만 적용한 경우: 다양한 추론 경로를 생성했으나, 최종 정확도 확보에 한계가 있었습니다.
- 2 단계 방법: 초기에는 다양한 추론 경로를 탐색하여 노이즈를 견디고, 후기에는 올바른 경로를 확신 있게 선택하여 정확한 좌표를 예측했습니다.
OOD 일반화: 학습 데이터와 다른 도메인 (ScreenSpot-Pro, OS-World-G 등) 에서도 제안 방법이 가장 높은 정확도를 기록하며 지식 전이 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

실용적 가치: 실제 환경에서 고품질 레이블이 부족하거나 노이즈가 많은 데이터셋을 활용할 때, RLVR 기반 MLLM 학습의 장벽을 낮춥니다.
이론적 통찰: RLVR 학습 과정에서 엔트로피가 정적인 것이 아니라, 학습 단계에 따라 동적으로 조절되어야 함을 증명했습니다. 즉, 초기에는 **다양성 (Exploration)**이, 후기에는 **확신 (Exploitation)**이 각각 중요하다는 것을 보여줍니다.
미래 방향: 불완전한 데이터로부터 학습하는 멀티모달 AI 시스템의 강건성을 높이는 강력한 도구로서, 엔트로피 인식 정책 최적화 (Entropy-aware Policy Optimization) 의 중요성을 부각시켰습니다.

이 논문은 노이즈가 있는 레이블 환경에서도 MLLM 이 효과적으로 학습할 수 있도록 하는 새로운 패러다임을 제시하며, RLVR 기술의 실용성을 크게 확장시켰다는 점에서 의의가 큽니다.