Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code

이 논문은 시각적 도식과 기호적 추론 간의 정렬을 강화하기 위해 프로그래밍 코드를 기반으로 복잡한 기하학 문제를 생성하는 'GeoCode' 데이터셋과 학습 파이프라인을 제안하며, 이를 통해 기존 벤치마크에서 뛰어난 성능 향상을 입증했습니다.

핵심

이 논문은 **"기하학 문제를 그림으로만 보고 해결하는 AI 를 어떻게 더 똑똑하게 만들까?"**에 대한 해답을 제시합니다.

기존의 AI(비전-언어 모델) 는 수학 문제를 풀 때 그림을 보더라도, 그 안에 숨겨진 기하학적 구조를 제대로 이해하지 못해 헷갈리거나 틀리는 경우가 많았습니다. 이 연구는 그 문제를 해결하기 위해 새로운 데이터 만드는 방법과 새로운 학습 방식을 제안했습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "그림을 보지만, 구조를 못 보는 AI"

기존의 AI 는 기하학 문제를 풀 때, 그림을 보고 "아, 이 선이 저 선과 평행하네"라고 말로 설명하는 데는 능숙했지만, 그림 속의 복잡한 관계들을 논리적으로 연결하는 능력이 부족했습니다. 마치 건축 도면을 보고 "벽이 여기 있네"라고 말은 할 수 있지만, "이 벽이 왜 저기 있어야 하는지, 기둥과 어떻게 연결되어 있는지"를 이해하지 못하는 상태와 같습니다.

또한, 기존에 학습시킨 데이터들은 너무 단순하거나, 사람이 일일이 만들어서 다양성이 부족했습니다.

2. 해결책 1: "완벽한 시뮬레이션 공장" (GeoCode 데이터 생성)

연구팀은 AI 가 배울 수 있는 **새로운 기하학 문제 데이터 (GeoCode)**를 0 부터 직접 만들었습니다. 이 과정은 마치 정교한 건축 시뮬레이터를 가동하는 것과 같습니다.

• 1 단계: 뼈대 설계 (Symbolic Seed)
  먼저 수학 공리 (원리) 만으로 건물의 뼈대 (도형의 관계) 를 설계합니다. "A 와 B 는 수직이고, B 와 C 는 평행하다" 같은 논리적 뼈대만 먼저 잡는 거죠.
• 2 단계: 실제 재료 입히기 (Instantiation)
  이제 AI 가 이 뼈대에 구체적인 숫자 (길이, 각도) 를 채우고, 자연어로 된 문제 문장을 작성합니다. "삼각형 ABC 에서 AB 길이는 5 입니다..." 같은 식이죠.
• 3 단계: 3D 렌더링 및 검증 (Visualization & Verification)
  가장 중요한 부분입니다. 단순히 그림을 그리는 게 아니라, 컴퓨터 코드로 정확한 좌표를 계산하여 그림을 그립니다. 그리고 그 그림이 문제의 조건과 100% 일치하는지, 수학적으로 모순이 없는지 자동으로 검증합니다.

이 과정을 통해 문자, 논리, 그림, 코드가 완벽하게 일치하는 고품질 문제 1 만 8 천 개를 만들었습니다.

3. 해결책 2: "그림을 코드로 다시 그리게 하기" (Plotting Code Alignment)

이 연구의 가장 혁신적인 아이디어는 학습 방법에 있습니다.

기존에는 AI 에게 "그림을 보고 답을 말해봐"라고만 시켰습니다. 하지만 연구팀은 **"그림을 보고, 그 그림을 그리는 '코딩 명령어'를 먼저 작성하게 하라"**고 시켰습니다.

• 비유:
  • 기존 방식: 그림을 보고 "이건 사각형이야"라고 말하게 하는 것. (그림의 표면만 이해)
  • 새로운 방식: 그림을 보고 "점 A 를 (0,0) 에 두고, 점 B 를 (5,0) 에 두고, 선분을 연결해"라는 **구체적인 건축 명령어 (코드)**를 작성하게 하는 것.

이렇게 하면 AI 는 단순히 그림을 '보는' 것을 넘어, 그림이 어떻게 만들어졌는지 그 구조와 논리를 직접 재구성하게 됩니다. 그림을 그리는 코드를 작성하는 과정 자체가 AI 의 눈과 뇌를 기하학적 구조에 맞게 훈련시키는 강력한 도구 역할을 한 것입니다.

4. 결과: "진짜 기하학 천재로 성장한 AI"

이 새로운 방법 (GeoCode 데이터 + 코드 학습) 으로 훈련된 AI 는 다음과 같은 성과를 거두었습니다.

• 더 어려운 문제도 해결: 기존에 풀지 못했던 올림피아드 수준의 복잡한 기하학 문제에서도 성능이 크게 향상되었습니다.
• 다른 문제에도 적용 가능: 학습한 데이터가 아니더라도, 새로운 기하학 문제를 만나도 잘 풀어냈습니다. (이것은 AI 가 패턴을 외운 게 아니라, 진짜 원리를 이해했기 때문입니다.)
• 구조 이해도 향상: 그림 속의 점과 선이 어떻게 연결되어 있는지 정확히 파악하는 능력이 비약적으로 발전했습니다.

요약

이 논문은 **"AI 가 그림을 제대로 이해하게 하려면, 그림을 단순히 보는 게 아니라 그 그림을 그리는 '설계도 (코드)'를 직접 작성하게 해야 한다"**는 것을 증명했습니다. 마치 건축가가 도면을 보고 건물을 짓는 법을 배우는 것처럼, AI 도 그림을 그리는 논리를 학습함으로써 기하학의 본질을 깨우치게 된 것입니다.

이 방법은 앞으로 AI 가 복잡한 시각적 문제를 해결하는 데 큰 전환점이 될 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

기존의 시각 - 언어 모델 (VLM) 은 복잡한 기하학적 문제 해결에 있어 두 가지 주요 한계에 직면해 있습니다.

• 데이터 부족 및 구조적 단순성: 현재 사용 가능한 기하학 데이터셋은 수동 제작이나 제한된 템플릿 기반 생성으로 인해 구조적 다양성이 부족하고, 추론의 깊이가 얕은 경우가 많습니다.
• 약한 시각 - 심볼릭 정렬 (Visual-Symbolic Alignment): 모델이 다이어그램에서 기하학적 구조 (점, 선, 관계) 를 정확하게 복원하여 심볼릭 추론으로 연결하는 능력이 부족합니다. 기존 방법들은 주로 최종 정답이나 텍스트 기반 추론만 감독하여, 모델이 시각적 구조를 명시적으로 학습하지 않고 언어적 상관관계나 편향에 의존하게 만듭니다.

이러한 문제의 핵심은 논리적 추론 자체보다는 시각적 레이아웃을 신뢰할 수 있는 심볼릭 표현으로 변환하는 과정에 있습니다.

2. 제안 방법론 (Methodology)

저자들은 GeoCode라는 새로운 멀티모달 기하학 데이터셋을 구축하기 위해 3 단계로 구성된 합성 파이프라인을 제안했습니다. 이 파이프라인은 기하학적 문제의 생성, 검증, 시각화를 엄격하게 분리하여 일관성을 보장합니다.

A. 데이터 생성 파이프라인 (Generation Pipeline)

1. 심볼릭 시드 생성 (Seed Generation):
   • AlphaGeometry 와 같은 시스템을 활용하여 무작위 예측자 (predicates) 집합을 샘플링합니다.
   • 의존성 그래프 (Dependency Graph) 를 구축하여 논리적으로 파생 가능한 목표 (Target Finder) 를 찾습니다.
   • 단순하거나 퇴화된 (degenerate) 경우를 필터링하고, 구조적 복잡성과 추론 깊이가 높은 시드만 선택합니다. 이 단계에서는 수치나 언어가 포함되지 않은 순수한 심볼릭 구조만 생성됩니다.
2. 구체화 (Instantiation):
   • Instructor: 심볼릭 시드를 기반으로 구체적인 수치 (예: 피타고라스 삼형수), 자연어 문제 문장, 추론 과정 (CoT), 정답을 생성합니다.
   • Coder: 문제 문장만을 입력받아 모든 기하학적 개체의 좌표를 계산하는 실행 가능한 메타 코드 (Meta Code) 를 생성합니다. 이때 추론 과정이나 정답은 입력되지 않아 정보 누출을 방지합니다.
   • 2 단계 검증: 생성된 데이터는 (1) 의미적 검증 (문장, 추론, 정답의 일관성) 과 (2) 기하학적 검증 (생성된 좌표가 문제의 제약 조건을 수치적으로 만족하는지) 을 거칩니다.
3. 시각화 및 편향 제거 (Visualization & Debiasing):
   • 메타 코드를 실행하여 OpenCV 로 다이어그램을 렌더링합니다.
   • 텍스트 편향 제거 (Textual Debiasing): 다이어그램에서 직접 추론 가능한 정보 (예: "점 A, B, C 는 일직선 위에 있다") 를 문제 문장에서 제거합니다. 이는 모델이 텍스트 힌트에 의존하지 않고 시각적 정보를 활용하도록 강제합니다.

B. 명시적 정렬을 위한 플롯팅 코드 (Plotting Code as Explicit Alignment)

기존의 텍스트나 정답 감독을 넘어, **플롯팅 코드 (Plotting Code)**를 명시적인 학습 목표로 도입합니다.

• 구조: JSON 형식의 코드로, 점의 좌표, 선분, 원, 각도/길이 주석 (annotations) 등을 명시적으로 정의합니다.
• 학습 전략: 모델이 다이어그램을 보고 직접적인 추론을 수행하기 전에, 먼저 해당 다이어그램의 구조를 플롯팅 코드로 복원하도록 학습시킵니다.
• 효과: 이는 시각적 이해를 암시적 (latent) 인 과정이 아닌, 검증 가능한 구조적 예측 작업으로 변환하여 시각 - 심볼릭 정렬을 강화합니다.

3. 주요 기여 (Key Contributions)

1. GeoCode 데이터셋 구축: 18,000 개의 멀티모달 기하학 문제 (13,000 개의 수치 문제, 5,000 개의 증명 문제) 를 포함하며, 다이어그램, 솔루션, 그리고 플롯팅 코드가 모두 쌍을 이루는 고품질 데이터셋입니다. 기존 벤치마크보다 구조적 복잡성과 추론 난이도가 현저히 높습니다.
2. 종단간 합성 파이프라인: 심볼릭 시드 생성, 수치 구체화, 코드 기반 시각화를 분리하여 엄격한 교차 모달 일관성 (Cross-modal Consistency) 을 보장하는 파이프라인을 제안했습니다.
3. 코드 기반 정렬 전략: 플롯팅 코드 예측을 통한 명시적 구조 학습이 텍스트 기반 감독보다 시각 - 심볼릭 정렬에 훨씬 효과적임을 증명했습니다.
4. 범용성 입증: GeoCode 로 학습된 모델은 OOD(Out-of-Distribution) 설정을 포함한 여러 공개 기하학 벤치마크 (Geometry3K, OlympiadBench 등) 에서 일관된 성능 향상을 보였습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: Qwen3-VL 및 Qwen2.5-VL 모델을 GeoCode 로 학습 (SFT 및 GRPO 강화학습) 시켰을 때, 기존 벤치마크에서 상당한 성능 향상을 기록했습니다. 특히 OlympiadBench 에서 Qwen3-VL 의 성능이 +11.5% 향상되었습니다.
• 구조 복원 능력: 모델이 예측한 플롯팅 코드의 구조적 정확도 (Segment-level F1) 가 높을수록 문제 해결 정확도가 비례하여 증가함을 확인했습니다. 이는 모델이 단순히 형식만 학습한 것이 아니라, 실제 기하학적 구조를 복원하는 능력을 향상시켰음을 의미합니다.
• 정렬 방식 비교: 텍스트 캡션 감독보다 플롯팅 코드 감독이 성능 향상에 훨씬 효과적이었으며, 텍스트 편향 제거 (Debiasing) 와 결합했을 때 효과가 극대화되었습니다.

5. 의의 및 결론 (Significance)

이 연구는 멀티모달 기하학 추론의 병목 현상이 시각적 구조의 복원에 있음을 규명하고, 이를 해결하기 위해 코드 기반의 명시적 감독을 도입했습니다.

• 교육 및 연구: 고품질의 합성 데이터를 통해 복잡한 기하학적 추론을 학습할 수 있는 환경을 제공하며, 해석 가능한 시각 - 심볼릭 모델 개발의 새로운 방향을 제시합니다.
• 방법론적 혁신: "시각 이해를 구조적 예측 (코드 생성) 으로 변환한다"는 접근법은 단순한 이미지 인식 이상으로, 모델이 다이어그램의 논리적 구조를 깊이 있게 이해하도록 유도합니다.

결론적으로, GeoCode 와 제안된 코딩 기반 정렬 전략은 멀티모달 모델이 복잡한 기하학적 문제를 해결하는 데 있어 시각적 지각과 심볼릭 추론 간의 간극을 효과적으로 메우는 강력한 솔루션임을 입증했습니다.