기술 요약: GeoMathCode

문제 정의

다중 모달 대규모 언어 모델 (MLLM) 에서의 수학적 추론은 종종 기하학 문제에 대한 다단계 해법을 생성하는 데 의존합니다. 최근 MathCanvas와 같은 접근 방식은 보조 시각적 구성 (예: 선이나 점 그리기) 을 포함하여 인간의 추론을 모방하려 시도하지만, 일반적으로 픽셀 기반 이미지 생성에 의존합니다. 저자들은 이 패러다임에서 두 가지 주요 한계를 식별했습니다:

1. 정렬 및 검증: 정밀한 교차 모달 생성 (텍스트에서 픽셀 기반 이미지로) 은 본질적으로 정렬하고 검증하기 어려워 오류 전파 가능성을 높입니다.
2. 시스템 복잡성: 픽셀 기반 접근 방식은 종종 추가적인 비전 전용 생성기를 필요로 하여 시스템 아키텍처를 복잡하게 만듭니다.

이 논문은 프로그래밍적 표현 (코드) 이 정밀하고 검증 가능하지만, 교차된 수학 - 코드 추론이 다중 모달 추론의 잠재적 기하학을 근본적으로 재형성하는지, 아니면 단순히 보조 출력으로만 기능하는지는 여전히 불분명하다고 주장합니다. 구체적으로 저자들은 추론 궤적이 계층을 어떻게 따라 진화하는지, 그리고 기호적 코드 표현이 시각적 표현과 다르게 기하학적 개념을 포착하는지 이해하려 합니다.

방법론

1. 데이터셋 구축: GeoMathCode

저자들은 교차된 수학 - 코드 추론을 위해 설계된 공개 다중 모달 데이터셋인 GeoMathCode를 소개합니다. 구축 파이프라인은 다음과 같습니다:

• 소스: MathCanvas를 주요 자원으로 활용하며, 대수학, 해석 기하학, 미적분학 등 여덟 가지 수학 도메인을 포괄합니다.
• 생성: Gemini 3-Flash를 활용하여 텍스트 추론, 실행 가능한 Python 코드, 해당 시각화를 포함하는 교차된 해법을 생성합니다.
• 검증: 품질을 보장하는 다단계 자동 검증 파이프라인을 적용합니다:
  • 규칙 기반 엔진 (GPT-5.1): 주요 추론 단계 ("pick-points") 와 수학 규칙을 추출합니다.
  • 체커 (Gemini 3-Pro): 최종 답변의 정확성, 텍스트 추론 논리, 코드 실행을 검증합니다.
  • 샌드박스: 오류가 있는 코드 실행이 포함된 샘플을 필터링하여 반복적 재생성을 유도합니다.
• 규모: 최종 데이터셋은 10,000 개의 학습 샘플과 1,000 개의 테스트 샘플로 구성되며, 다이어그램이 있는 질문과 없는 질문의 비율을 1:1 로 균형을 맞췄습니다.

2. 경험적 분석 프레임워크

이 연구는 전체 파라미터 감독 미세 조정 (SFT) 과 LoRA 를 모두 사용하여 대표적인 MLLM(Qwen3/3.5, LLaVA-Next, InternVL3.5) 을 평가합니다. 분석은 두 가지 관점에 초점을 맞춥니다:

• 학습 후 성능: 답변 정확도 (Ans Acc), 텍스트 추론 정확성, 코드 정확도, 코드의 수학적 정확성, 텍스트 - 코드 일관성을 포함한 지표를 평가합니다.
• 잠재 기하학 분석: 모델의 내부 표현 공간을 다음과 같이 조사합니다:
  • 궤적 분석: 트랜스포머 계층을 가로지르는 추론 단계와 코드 단계 간의 유클리드 거리를 측정합니다.
  • 매니폴드 정규화: **유효 랭크 (ERank)**와 **본질 차원 (ID)**을 사용하여 정보 용량과 기하학적 복잡성을 정량화합니다.
  • 코드 공간 구조: KNN 과 선형 SVM 을 사용하여 코드 구문 (제어 흐름, 함수 호출, 데이터 흐름) 의 잠재 표현을 분석하여 로컬 클러스터링과 글로벌 선형 분별력을 평가합니다.
  • 기호 탐지: 코드 임베딩과 시각 임베딩이 정밀한 수학 기호 (예: $\sqrt{}$, $\triangle$, $\angle$) 를 포착하는 능력을 비교합니다.

주요 결과

1. 성능 및 분리

• SFT 는 성능을 향상시킵니다: 감독 미세 조정 (SFT) 은 모든 모델에서 성능을 크게 향상시킵니다. Qwen3.5-9B-SFT는 평균 점수 0.73 으로 가장 좋은 전체 결과를 달성하여 베이스라인 및 LoRA 변형 모델을 능가했습니다.
• 추론 - 코드 분리: PCA 시각화 및 궤적 분석은 추론 단계와 코드 생성 단계가 분리된 잠재 부분 공간을 형성함을 보여줍니다.
  • 모델은 최종 답변 예측을 위해 주로 텍스트 추론 궤적에 의존합니다.
  • 중간 코드 생성은 최종 답변을 직접 안내하는 능동적 추론 모달리티가 아니라 보조 실행 가능 표현으로 작용합니다.
  • 이는 잠재 공간에서 수학적 추론과 프로그래밍적 실행 간의 기능적 분리를 시사합니다.

2. SFT 를 통한 매니폴드 정규화

• 구조화된 추론: SFT 는 추론 표현의 **유효 랭크 (ERank)**를 증가시켜 (더 풍부한 정보 다양성 표시) 동시에 **본질 차원 (ID)**을 감소시킵니다 (더 낮은 로컬 기하학적 복잡성 표시).
• 해석: 이는 SFT 가 단순히 표현을 압축하는 것이 아니라, 정보 다양성과 기하학적 규칙성 사이의 균형을 유지하면서 추론 궤적을 더 구조화되고, 표준화되며, 재사용 가능한 계산 경로로 재구성함을 시사합니다.

3. 계층적 코드 공간

• 구문 부분 공간: 계층적 구문 구조 (예: 제어 흐름, 함수 호출) 는 구조화된 잠재 부분 공간으로 나타납니다.
• 추상화 역학: 고수준 의미 범주는 유지되지만, 정밀한 어휘 클러스터링은 더 깊은 계층에서 혼합됩니다. 모델은 기능적 역할에 따라 API 를 공유 실행 - 의미 매니폴드로 재구성합니다.
• 시각 대비 코드의 우위: 잠재 코드 표현은 시각적 표현보다 정밀한 수학 기호적 개념 (예: 특정 연산자 및 기하학적 모양) 을 더 효과적으로 포착하며, 이는 탐지 작업에서 더 높은 분류 정확도로 입증됩니다.

중요성 및 주장

이 논문은 교차된 수학 - 코드 추론의 기반이 되는 잠재 기하 구조에 대한 새로운 데이터셋과 체계적 분석을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 데이터셋: 기하학 문제 해결에서 프로그래밍적 중간 출력의 연구를 촉진하는 GeoMathCode의 도입.
2. 잠재 기하학 통찰: 추론과 코드 단계가 잠재 공간에서 분리되어 있음을 보여줌으로써, 코드 생성이 시각적 모달리티와 동일한 방식으로 능동적 추론 모달리티라는 관념에 도전합니다.
3. SFT 효과: SFT 가 추론 매니폴드를 정규화하여 복잡성을 단순히 증가시키는 것이 아니라, 더 정보적이면서도 기하학적으로 규칙적으로 만든다는 발견.
4. 코드 대 시각: 정밀한 수학 개념을 포착하는 데 기호적 코드 표현이 시각적 표현보다 우수하다는 증거.

저자들은 이러한 발견이 코드 실행과 관련하여 LLM 의 기계적 해석 가능성에 대한 향후 연구와 추론 신뢰성을 향상시키기 위한 pick-point 기반 강화 학습의 잠재력을 고무한다고 결론지었습니다. 그들은 LLM 기반 평가자에 대한 의존성과 상대적으로 낮은 최종 답변 정확도에 관한 한계를 인정하며, 향후 연구는 자동 기호 평가 및 강화 학습 접근법 (예: GRPO, DAPO) 에 초점을 맞춰야 한다고 제안합니다.