💬 NLP

GeometryZero: Advancing Geometry Solving via Group Contrastive Policy Optimization

이 논문은 보조 도형 작도가 필수적인 기하학 문제 해결을 위해 무조건적인 보상을 개선한 '그룹 대비 정책 최적화 (GCPO)' 프레임워크를 제안하고, 이를 통해 GPT-4o 와 같은 거대 모델 없이도 소규모 모델이 효과적으로 추론할 수 있는 'GeometryZero'를 개발하여 기존 강화학습 기반 방법론들을 능가하는 성능을 입증했습니다.

원저자: Yikun Wang, Yibin Wang, Dianyi Wang, Zimian Peng, Qipeng Guo, Dacheng Tao, Jiaqi Wang

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yikun Wang, Yibin Wang, Dianyi Wang, Zimian Peng, Qipeng Guo, Dacheng Tao, Jiaqi Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

📐 기하학 문제를 푸는 '똑똑한 보조 도구'의 탄생: GeometryZero

안녕하세요! 오늘 소개해 드릴 논문은 **"기하학 문제를 풀 때, 언제 선을 그어야 하고 언제 그냥 풀어야 하는지 스스로 판단하는 AI"**를 개발한 이야기입니다.

이 기술을 **GeometryZero(기하학 제로)**라고 부르는데, 마치 기하학 문제를 풀 때 "아, 이 문제는 그냥 계산하면 되는데, 저 문제는 보조선을 그려야 해결되네!"라고 직관적으로 아는 현명한 학생을 만든 것과 같습니다.

1. 왜 이런 연구가 필요했을까요? (기존의 문제점)

기하학 문제를 풀다 보면, 주어진 그림만으로는 답을 찾기 어려운 경우가 많습니다. 이때 **보조선 (Auxiliary Line)**을 그려주면 문제가 훨씬 쉬워지죠.

과거의 방식 1 (대형 모델): 구글의 Gemini 나 GPT-4o 같은 거대 모델은 이 보조선을 잘 그립니다. 하지만 이 모델들은 너무 비싸고 무겁습니다. 마치 "작은 문제를 풀기 위해 대형 트럭을 부르는" 것과 같아서, 실제로 쓰기엔 비용이 너무 많이 듭니다.
과거의 방식 2 (기존 AI): 작은 모델을 훈련시켰는데, 이 AI 는 무조건 보조선을 그리는 버릇이 생겼습니다. "어떤 문제가든 일단 선을 그려보자!"라고 생각해서, 오히려 문제를 더 복잡하게 만들거나 틀린 답을 내는 경우가 많았습니다. 마치 비행기 티켓을 사야 할 때, 항상 헬리콥터를 부르는 것과 비슷하죠.

2. 해결책: GeometryZero 의 등장 (새로운 훈련 방법)

연구팀은 **"보조선은 상황에 따라 '필요한 도구'이기도 하고, '불필요한 방해물'이기도 하다"**는 점에 착안했습니다. 그래서 AI 에게 무조건 선을 그리라고 강요하지 않고, "언제 그릴지 스스로 판단하게" 훈련시켰습니다.

이를 위해 **GCPO(그룹 대비 정책 최적화)**라는 새로운 훈련 방식을 개발했습니다.

🎭 비유로 설명하는 GCPO 훈련 방식

이 훈련 과정을 요리 대회에 비유해 볼까요?

두 팀의 요리사 (그룹 대비):
- 팀 A: 문제를 보고 "아, 이거 보조선이 필요하겠네!"라고 생각하며 선을 그어 문제를 푼다.
- 팀 B: "아, 이거 보조선 없이 바로 풀 수 있겠네!"라고 생각하며 선 없이 푼다.
- 두 팀이 같은 문제를 풀고 정답을 맞췄는지 확인합니다.
심사위원의 판단 (마스크링):
- 상황 1 (보조선이 도움이 된 경우): 팀 A(선 그은 팀) 가 팀 B 보다 정답을 더 잘 맞췄다면? 👉 "잘했다! 보조선을 그은 행동에 점수를 더 줘!" (보상 강화)
- 상황 2 (보조선이 방해된 경우): 팀 B(선 안 그은 팀) 가 더 잘 맞췄다면? 👉 "아, 이 문제엔 선을 그으면 안 되네. 선을 그은 행동에 감점!" (벌점 부과)
- 상황 3 (차이가 없는 경우): 둘 다 비슷하다면? 👉 "이번엔 점수 안 줘/안 뺐어." (중립)

이렇게 AI 는 **"어떤 문제엔 선을 그려야 이기고, 어떤 문제엔 선을 안 그려야 이긴다"**는 것을 스스로 깨닫게 됩니다.

긴 생각의 미덕 (길이 보상):
- 보조선을 그으며 복잡한 추론을 할 때는 생각의 과정이 길어집니다. 연구팀은 **"생각을 깊고 길게 하라"**는 점수 시스템도 추가했습니다. 그래서 AI 는 성급하게 답을 내기보다, 차근차근 논리를 펼치도록 훈련됩니다.

3. 결과: 작은 모델이 거대 모델을 이기다

이 방법으로 훈련된 GeometryZero는 놀라운 성과를 거뒀습니다.

비용 절감: 거대 모델 (GPT-4o 등) 을 쓸 필요 없이, **중소형 모델 (70 억 개 파라미터 수준)**로도 기하학 문제를 아주 잘 풉니다.
정확도 향상: 보조선을 무작정 그리는 기존 AI 들보다 훨씬 정확하게, 상황에 맞춰 선을 그을지 말지 판단합니다.
범용성: 수학 경시대회 문제나 복잡한 도형 문제에서도 뛰어난 성능을 보여줍니다.

4. 한 줄 요약

"GeometryZero 는 기하학 문제를 풀 때, '언제 보조선을 그려야 할지' 스스로 판단하는 현명한 AI 입니다. 거대하고 비싼 모델을 쓰지 않아도, 작은 모델이 상황에 맞춰 가장 효율적인 해결책을 찾아냅니다."

이 기술은 앞으로 AI 가 복잡한 문제를 풀 때, 무작정 도구를 쓰는 것이 아니라 상황에 맞춰 지혜롭게 판단하는 능력을 키우는 중요한 디딤돌이 될 것입니다. 🚀

GeometryZero: 그룹 대비 정책 최적화 (GCPO) 를 통한 기하 문제 해결 능력 향상

이 논문은 대규모 언어 모델 (LLM) 이 기하학 문제, 특히 **보조선 (Auxiliary Construction)**이 필요한 복잡한 문제를 해결하는 데 있어 직면하는 한계를 극복하기 위해 제안된 새로운 강화 학습 프레임워크인 GeometryZero와 그 핵심 알고리즘인 **그룹 대비 정책 최적화 (Group Contrastive Policy Optimization, GCPO)**에 대해 다룹니다.

1. 문제 정의 (Problem)

기하학 문제 해결은 시각적 컨텍스트 (도형) 인식과 복잡한 추론이 모두 필요한 어려운 작업입니다. 기존 연구들은 다음과 같은 한계를 가지고 있었습니다:

과도한 의존성: 보조선을 그리는 등의 도구 사용 능력을 향상시키기 위해 초대규모 모델 (예: GPT-4o, Gemini) 에 의존하거나, 방대한 주석 데이터가 필요한 지도 학습 (SFT) 에만 의존했습니다. 이는 비용이 많이 들고 실제 배포에 제한이 있습니다.
무분별한 도구 사용: 기존 강화 학습 (RL) 방법 (예: GRPO, ToRL) 은 보조선 생성과 같은 도구 사용을 '무조건적으로 (Unconditionally)' 장려하는 보상 구조를 가집니다. 이로 인해 모델은 보조선이 필요 없는 문제에서도 무작위로 보조선을 그리거나, 오히려 해가 되는 보조선을 추가하여 오류를 범하는 경향이 있었습니다.
효율성 부족: 작은 규모의 모델 (1.5B~7B) 이 보조선 생성과 기하학적 추론을 동시에 잘 수행하도록 훈련하는 효과적인 방법이 부재했습니다.

2. 방법론 (Methodology)

저자들은 **Group Contrastive Policy Optimization (GCPO)**을 제안하여, 모델이 "언제" 보조선을 그려야 하는지 스스로 판단하도록 학습시킵니다. GCPO 는 기존의 GRPO 를 기반으로 하며, 두 가지 핵심 구성 요소를 도입합니다.

2.1 그룹 대비 마스킹 (Group Contrastive Masking)

이 메커니즘은 보조선 사용의 이점을 정량적으로 평가하여 조건부 보상 (Conditional Reward) 을 제공합니다.

과정: 동일한 질문에 대해 세 가지 그룹의 응답 (Rollouts) 을 생성합니다.
1. 일반 응답 그룹 ( $O$ )
2. 보조선 생성이 강제된 그룹 ( $O_w$ )
3. 보조선 생성이 금지된 그룹 ( $O_{wo}$ )
마스킹 로직: 두 그룹 ( $O_w$ $O_{w}$ 와 $O_{wo}$ $O_{w o}$ ) 의 정답률 (Accuracy Reward) 평균을 비교합니다.
- 보조선 그룹의 정답률이 더 높다면: 보조선 생성에 **긍정적 보상 (+)**을 부여.
- 보조선 금지 그룹의 정답률이 더 높다면: 보조선 생성에 **부정적 보상 (페널티, -)**을 부여.
- 두 그룹의 차이가 미미하다면: 0 보상을 부여.
효과: 모델은 보조선이 문제를 해결하는 데 도움이 되는 경우에만 이를 사용하고, 그렇지 않은 경우에는 사용하지 않는 것을 학습하게 됩니다.

2.2 길이 보상 (Length Reward)

보조선 생성과 같은 복잡한 추론은 더 긴 사고 과정 (Chain-of-Thought) 을 필요로 합니다.

모델이 더 길고 심층적인 추론을 하도록 유도하기 위해 응답 길이에 비례하는 보상을 추가합니다.
이는 모델이 단순한 답변을 넘어, 보조선 생성과 관련된 다차원적인 분석을 수행하도록 장려합니다.

2.3 GeometryZero 모델

GCPO 프레임워크를 기반으로 1.5B 에서 7B 크기의 경량화된 기하학 추론 모델 시리즈인 GeometryZero를 훈련시켰습니다. 이 모델들은 시각적 도형을 공식 언어 (TikZ 코드 또는 논리 형식) 로 변환하여 처리하며, 보조선 생성 여부를 자율적으로 결정합니다.

3. 주요 기여 (Key Contributions)

조건부 도구 사용 학습: 보조선 생성이 항상 유익한 것이 아님을 인식하고, RL 을 통해 모델이 "언제" 도구를 사용할지 스스로 판단하도록 하는 새로운 메커니즘 (GCPO) 을 제안했습니다.
새로운 RL 프레임워크 (GCPO): 무조건적인 보상을 대체하여, 보조선 생성의 이득을 정량화하고 상황에 따라 장려하거나 억제하는 '그룹 대비 마스킹'을 도입했습니다.
성능 입증: GeometryZero 모델은 다양한 기하학 벤치마크에서 기존 GRPO 및 ToRL 기반 모델들을 일관되게 능가하며, 보조선을 적절히 선택적으로 사용하는 능력이 기하학 문제 해결 성능을 극대화함을 증명했습니다.

4. 실험 결과 (Results)

저자들은 Geometry3K, Geomverse, MathVista, OlympiadBench 등 다양한 벤치마크에서 실험을 수행했습니다.

성능 우위: GeometryZero (GCPO 적용) 는 1.5B, 3B, 7B 모든 모델 크기에서 기존 GRPO 및 ToRL 모델보다 높은 평균 정확도를 기록했습니다.
- 예: 7B 모델 기준, GeometryZero-7B 는 MathVista 에서 87.15% (ToRL: 83.48%, GRPO: 86.23%) 의 정확도를 보였습니다.
일반화 능력: SFT(지도 학습) 모델은 도메인 내 (In-domain) 데이터에서는 잘 작동하지만, 도메인 외 (Out-of-Distribution) 데이터에서는 성능이 떨어지는 반면, RL 기반인 GeometryZero 는 두 영역 모두에서 우수한 일반화 능력을 보여주었습니다.
시각 - 언어 모델 적용: 텍스트 전용 모델뿐만 아니라 Qwen2.5-VL-7B 와 같은 시각 - 언어 모델에도 GCPO 를 적용하여 동등한 성능 향상을 확인했습니다.
사례 연구: 보조선이 불필요한 문제에서는 직접 추론하고, 복잡한 문제에서는 TikZ 코드를 통해 보조선을 그리는 등 모델이 상황에 맞는 전략을 선택하는 것을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 기하학 문제 해결에서 보조선 생성과 같은 도구 사용이 무조건적인 장점이 아니라 맥락에 의존적임을 강조합니다.

비용 효율성: 초대규모 모델 없이도 중소규모 모델 (7B 이하) 이 복잡한 기하학 문제를 해결할 수 있게 함으로써, 실제 응용에서의 배포 비용을 크게 낮췄습니다.
지능적 추론: 모델이 단순히 도구를 사용하는 법을 배우는 것을 넘어, "언제" 도구를 사용해야 하는지 판단하는 메타 인지 능력을 강화했습니다.
미래 방향: GCPO 는 수학, 과학, 코딩 등 다양한 도구 사용이 필요한 추론 작업에 적용 가능한 범용적인 강화 학습 프레임워크로 확장 가능성이 큽니다.

결론적으로, GeometryZero 는 보조선의 필요성을 상황에 따라 판단하는 '지혜로운' 추론 능력을 갖춘 경량 기하학 모델의 새로운 표준을 제시했습니다.