💻 computer science

All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models

이 논문은 강화 학습 기반의 VLM 이 사고 다양성 붕괴를 겪는 문제를 지적하고, 이를 해결하여 다중 해결책에 대한 발산적 사고를 장려하는 'MUPO'라는 새로운 최적화 기법을 제안합니다.

원저자: Xinyu Tian, Shu Zou, Zhaoyuan Yang, Mengqi He, Peter Tu, Jing Zhang

게시일 2026-04-02

📖 3 분 읽기☕ 가벼운 읽기

원저자: Xinyu Tian, Shu Zou, Zhaoyuan Yang, Mengqi He, Peter Tu, Jing Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚗 1. 문제: "모든 길이 로마로 통한다"는 말의 오해

전통적으로 인공지능 (특히 강화학습을 쓴 모델) 은 문제를 풀 때 **"가장 확실해 보이는 한 가지 길"**을 찾아서 그 길만 쭉 따라가는 경향이 있습니다. 마치 **한 번 택한 길에서 절대 벗어나지 않는 '고집 센 운전사'**처럼요.

기존 AI (RL 모델): 복잡한 수학 문제를 풀 때, 무조건 '방정식'이라는 길만 고집합니다. 만약 그 길에 함정이 있거나 계산 실수가 생기면, 다른 방법을 시도하지 못하고 그대로 틀린 답을 내놓습니다.
원래 AI (Base 모델): 처음엔 조금 덜 똑똑해 보일 수 있지만, "아, 이 길은 안 되네? 그럼 저기서 한 번 더 시도해 볼까?" 하며 다양한 방법을 시도합니다. '제거법'을 쓰거나, '대충 estimation(추정)'을 해보기도 하죠.

비유하자면:

기존 AI: 미로에서 한 번 들어간 통로를 끝까지 가다가 막히면, "아, 내가 잘못 들어갔구나"라고 인정하지 않고 그 자리에서 계속 헤매다가 지쳐버립니다.
원래 AI: 미로에 들어갈 때 여러 갈래로 나누어 동시에 탐색합니다. 한 길이 막히면 바로 다른 길로 방향을 틀어 성공할 확률을 높입니다.

📉 2. 발견: "다양성 붕괴 (Diversity Collapse)" 현상

연구진들은 AI 를 훈련시키는 과정에서 놀라운 사실을 발견했습니다.

"AI 가 훈련을 시작하자마자, 갑자기 '다양한 생각'을 잃어버리고 '한 가지 생각'으로만 좁아진다!"

이를 **'다양성 붕괴'**라고 부릅니다.
AI 는 훈련 초기에 "어떤 방법이 가장 잘 먹히나?"를 빠르게 찾아내면, 나머지 모든 가능성은 버리고 그 방법만 반복적으로 연습합니다. 마치 유명해진 식당이 메뉴를 하나만 남기고 다 폐업하는 상황과 비슷합니다.

결과: 훈련이 끝난 AI 는 그 '하나의 방법'에서는 매우 능숙해지지만, 그 방법이 통하지 않는 새로운 문제 (예: 방정식이 아닌 시각적 추론이 필요한 문제) 가 나오면 완전히 무너집니다.

💡 3. 해결책: MUPO (멀티-그룹 정책 최적화)

이 문제를 해결하기 위해 연구진은 MUPO라는 새로운 훈련 방법을 제안했습니다.

MUPO 의 핵심 아이디어: "여러 팀을 만들어서 경쟁하게 하라"

AI 가 문제를 풀 때, 모든 답변을 한 덩어리로 보지 않고 여러 개의 '팀 (그룹)'으로 나누어 훈련시킵니다.

팀별 훈련: 각 팀은 서로 다른 접근 방식 (예: A 팀은 계산, B 팀은 그림 분석, C 팀은 논리 추론) 을 고수하도록 유도합니다.
서로 다른 길로 가라: "너희 팀은 저 팀과 너무 비슷하게 생각하지 마라"라고 채점해 줍니다. (다양성 보상)
최고의 답 찾기: 각 팀이 최선을 다해 답을 내놓으면, 그중에서 가장 정확한 답을 골라 AI 전체를 업그레이드합니다.

비유하자면:
기존 방식이 **"한 명의 천재에게 모든 문제를 해결하게 하는 것"**이라면, MUPO 는 **"10 명의 전문가를 모아서 각자 다른 관점에서 문제를 해결하게 한 뒤, 가장 좋은 아이디어를 채택하는 것"**입니다.

🏆 4. 성과: "로마로 가는 모든 길"을 확보하다

이 방법을 적용한 결과 (MUPO-Thinker), AI 는 다음과 같은 변화를 보였습니다.

더 넓은 시야: 한 가지 길만 고집하지 않고, 다양한 해결책을 찾아냅니다.
더 높은 정확도: 특히 수학이나 논리 문제에서, 기존 최고의 AI 들보다 더 높은 점수를 기록했습니다.
실패율 감소: 한 가지 방법이 실패하더라도, 다른 팀 (다른 전략) 이 성공하여 전체적인 정답률을 높였습니다.

📝 요약

이 논문은 **"인공지능이 똑똑해지려면, 한 가지 길만 깊게 파는 것보다, 여러 갈래의 길을 동시에 탐색하는 '다양한 생각'이 더 중요하다"**는 것을 증명했습니다.

MUPO 는 AI 가 "한 가지 길에 매몰되지 않고, 모든 길이 로마로 통할 수 있도록" 다양한 전략을 개발하도록 돕는 지름길이 된 것입니다. 이제 AI 는 더 유연하고 창의적으로 문제를 해결할 수 있게 되었습니다.

논문 요약: Vision-Language Model 에서의 발산적 사고 장려 (MUPO)

1. 문제 정의 (Problem)

최근 강화학습 (RL), 특히 **Group Relative Policy Optimization (GRPO)**을 활용하면 비전 - 언어 모델 (VLM) 의 추론 능력을 향상시킬 수 있음이 입증되었습니다. 그러나 기존 연구들은 RL 모델의 작동 메커니즘과 한계를 충분히 규명하지 못했습니다.

핵심 발견: 저자들은 RL 모델과 베이스 모델 (Base Model) 간의 근본적인 행동 차이를 발견했습니다.
- RL 모델: 단일 경로에 대해 깊게 사고하지만 (Deep), 사고의 폭이 좁고 보수적입니다. 주로 지배적인 전략 하나에 의존하여 국소 최적점 (Local Optima) 에 빠지기 쉽습니다.
- 베이스 모델: 단일 경로에서의 추론은 덜 정교할 수 있으나, 다양한 대안적 사고 경로를 탐색하는 발산적 사고 (Divergent Thinking) 능력을 보유하고 있습니다.
GRPO 의 한계 (Diversity Collapse): GRPO 를 적용한 학습 과정에서 모델은 초기 단계에 급격하게 사고의 다양성이 감소하는 '다양성 붕괴 (Diversity Collapse)' 현상을 겪습니다. 이로 인해 모델은 잠재적인 대안 전략 대부분을 버리고 제한된 전략 집합만 최적화하게 되어, 테스트 시 확장성 (Test-time Scaling) 이 저하되고 다양한 문제를 해결하는 능력이 떨어집니다.

2. 제안 방법: MUPO (Multi-Group Policy Optimization)

이러한 문제를 해결하기 위해 저자들은 **MUPO(Multi-Group Policy Optimization)**를 제안했습니다. 이는 GRPO 를 대체할 수 있는 간단하면서도 효과적인 정책 최적화 알고리즘입니다.

핵심 아이디어: 모델이 생성한 응답들을 여러 그룹으로 분할하여, 각 그룹 내에서 국소적인 이점 (Advantage) 을 추정하고 그룹 간의 다양성을 장려합니다.
주요 구성 요소:
1. 그룹 분할 (Partitioning): 생성된 $N$ 개의 응답을 임베딩 공간 기반의 제약 클러스터링을 통해 $K$ 개의 그룹으로 나눕니다. 각 그룹은 서로 다른 추론 전략 (Mode) 을 대표합니다.
2. 국소적 이점 추정 (Localized Advantage Estimation): 기존 GRPO 가 전체 그룹에 대해 전역적으로 이점을 계산하는 것과 달리, MUPO 는 각 그룹 내에서만 이점을 계산하여 각 전략 모드를 독립적으로 정제합니다.
3. 다양성 보상 (Diversity Reward): 그룹 간의 거리를 최대화하도록 보상을 설계합니다.
  - $R_{div}$ : 특정 응답의 추론 임베딩과 다른 그룹의 응답들 간의 평균 코사인 거리를 계산합니다.
  - 최종 보상 $R_i = R_{acc} + R_{fmt} + \lambda \cdot R_{div}$ 로 구성되며, 정확도 ( $R_{acc}$ ) 조건이 충족될 때만 다양성 보상이 적용되어 '보상 해킹 (Reward Hacking)'을 방지합니다.
4. 가중치 어닐링 (Weight Annealing): 다양성 보상의 가중치 $\lambda$ 는 학습 초기에는 높게 설정하여 다양한 전략을 탐색하게 하고, 학습 후기에는 점차 낮춰 전역 최적 해를 찾도록 유도합니다.

3. 주요 기여 (Key Contributions)

행동적 차이 규명: RL 모델이 베이스 모델보다 깊은 추론을 하지만 발산적 사고를 잃어버려 다양한 문제 해결 능력이 저하됨을 실험적으로 증명했습니다.
다양성 붕괴 현상 발견: GRPO 학습 과정에서 모델이 조기에 특정 전략 집합으로 수렴하여 확장성이 제한되는 '다양성 붕괴' 문제를 최초로 지적하고 분석했습니다.
MUPO 알고리즘 제안: 발산적 사고를 장려하는 새로운 정책 최적화 알고리즘을 제안하고, 이를 통해 모델이 깊이와 폭을 동시에 확보할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

저자들은 MUPO 를 적용한 모델 (MUPO-Thinker) 을 다양한 벤치마크에서 평가했습니다.

성능 향상:
- Math Benchmarks (수학): MUPO-Thinker-7B 는 기존 최강 모델 대비 평균 Acc@1 에서 2.5%, Acc@4 에서 6.0% 향상된 성능을 보였습니다.
- General Benchmarks (일반): 평균 Acc@1 에서 2.3%, Acc@4 에서 6.2% 향상되었습니다.
- 3B 모델: MUPO-Thinker-3B 는 동규모 베이스 모델 및 기존 RL 모델들을 상회하며, 일부 7B 모델 수준의 성능을 달성했습니다.
테스트 시간 확장성 (Test-time Scaling): 여러 응답을 샘플링했을 때 (Acc@4), MUPO 모델은 기존 RL 모델보다 훨씬 더 많은 문제를 성공적으로 해결했습니다. 이는 다양한 사고 경로를 탐색할 수 있기 때문입니다.
시각화 분석: t-SNE 프로젝션 결과, GRPO 모델은 응답 임베딩이 좁은 영역에 밀집된 반면, MUPO 모델은 여러 모드 (다양한 전략) 에 걸쳐 넓게 분포되어 있음을 확인했습니다. 이는 MUPO 가 실패 사례에서도 대안적 경로를 통해 정답을 찾을 수 있음을 의미합니다.

5. 의의 및 결론 (Significance)

이 논문은 RL 기반 VLM 의 한계를 극복하고 **발산적 사고 (Divergent Thinking)**를 체계적으로 장려하는 새로운 패러다임을 제시합니다.

이론적 의의: RL 모델이 단순히 정답을 찾는 것을 넘어, 인간과 유사하게 다양한 관점에서 문제를 접근하는 능력을 회복할 수 있음을 보였습니다.
실용적 의의: MUPO 는 복잡한 시각적 추론 문제 (기하학, 객체 세기 등) 에서 기존에 접근하지 못했던 전략들을 발견하게 하여, 모델의 성능 상한을 높이고 확장성을 개선합니다.
향후 전망: 이 연구는 RL 학습 과정에서 '탐색 (Exploration)'과 '활용 (Exploitation)'의 균형을 맞추는 것이 중요함을 강조하며, 향후 더 강력한 추론 모델 개발의 기초를 마련합니다.

요약하자면, 이 논문은 **"모든 길이 로마로 통한다"**는 제목처럼, 정답에 도달하는 단일한 최적 경로가 아니라 다양한 경로 (다양한 사고 방식) 를 탐색하는 것이 VLM 의 추론 능력을 극대화하는 핵심임을 증명하고, 이를 실현하기 위한 MUPO 알고리즘을 제시했습니다.