1. 연구 배경 및 문제 제기 (Problem)

대규모 언어 모델 (LLM) 은 수학 추론 능력에서 괄목할 만한 성과를 보이고 있지만, **동일한 문제를 서로 다른 표현 방식 (Representation) 으로 제시했을 때의 강건성 (Robustness)**은 여전히 불명확합니다. 특히 기하학 분야에서는 동일한 문제도 **유클리드 (Euclidean, 기하학적/언어적), 좌표 (Coordinate, 데카르트 평면), 벡터 (Vector, 내적/외적)**라는 세 가지 형태로 표현될 수 있습니다.

기존의 벤치마크는 고정된 형식 (주로 유클리드 또는 좌표 형식) 에만 초점을 맞추어 정확도를 보고함으로써, 표현 방식의 변화만으로 발생하는 실패를 간과하고 있습니다. 이 논문은 LLM 이 추상적인 기하학적 추론 능력을 갖추고 있는지, 아니면 특정 표현 방식에 의존하는 휴리스틱 (heuristic) 을 사용하는지 규명하는 것을 목표로 합니다.

2. 방법론 (Methodology)

저자들은 GeoRepEval이라는 새로운 평가 프레임워크를 제안했습니다. 이 프레임워크는 통계적으로 엄밀한 지표를 사용하여 표현 불변성 (Representation Invariance) 을 측정합니다.

A. 데이터셋 구축 (Dataset Construction)

• 소스: 인도 고등학교 및 주니어 칼리지 수학 교과서 (NCERT, RD Sharma, RS Aggarwal) 에서 158 개의 핵심 기하학 문제를 추출했습니다.
• 병렬 생성: 각 문제를 유클리드, 좌표, 벡터 세 가지 형태로 변환하여 총 474 개의 인스턴스를 생성했습니다.
• 검증: 모든 변형은 수학 전문가 패널에 의해 의미적 동등성 (Semantic Equivalence) 과 정답의 유일성이 검증되었습니다.

B. 평가 지표 (Evaluation Metrics)

단순한 정확도 (Accuracy) 를 넘어 다음과 같은 고차원 지표를 도입했습니다.

1. Invariance@3: 3 가지 표현 방식 (유클리드, 좌표, 벡터) 모두에서 정답을 도출한 문제의 비율.
   • 성질: 모델의 전체 정확도는 Invariance@3 과 '취약한 정확도 (Fragile Correctness, 특정 표현에서만 맞는 경우)'로 분해될 수 있음.
   • 상한선: Invariance@3 은 가장 약한 표현 방식의 정확도보다 클 수 없음 (Weakest-link effect).
2. Consistency@3: 3 가지 표현 방식에서 출력값이 동일한 비율 (정답 여부와 무관).
   • 의미: Consistency@3 과 Invariance@3 의 차이는 모델이 모든 표현에서 동일한 오류를 범하는지 (체계적 오류) 를 보여줌.
3. 통계적 검증: McNemar 검정, 부트스트랩 신뢰구간, 표면 복잡도 (토큰 길이, 기호 밀도) 에 대한 회귀 분석을 통해 관찰된 차이가 통계적으로 유의미한지 확인.

C. 실험 설정

• 모델: 오픈 가중치 (LLaMA, Gemma, Qwen, Mistral 등) 와 독점 모델 (GPT, Gemini, Claude) 을 포함한 11 개의 LLM 평가.
• 조건: 제로샷 (Zero-shot) 환경, 온도 0.0, 구조화된 JSON 출력.
• 개입 실험: "Convert-then-Solve (변환 후 해결)" 프롬프트 전략을 적용하여 좌표/벡터 문제를 유클리드 형식으로 변환한 후 해결하도록 유도.

3. 주요 결과 (Key Results)

A. 표현 방식에 따른 정확도 격차

• 모든 모델에서 유클리드 형식이 가장 높은 정확도를 보였고, 벡터 형식이 가장 낮았습니다.
• 정확도 격차는 최대 **14 퍼센트 포인트 (pp)**에 달했습니다 (예: Claude-Haiku 는 유클리드 60% vs 벡터 46%).
• 모델의 규모 (Scale) 가 커져도 이 격차는 사라지지 않았습니다.

B. Invariance@3 의 낮은 값

• 대부분의 모델에서 3 가지 표현 모두에서 정답을 맞춘 비율 (Invariance@3) 이 매우 낮았습니다.
  • GPT-OSS-20B: 0.665 (가장 높음)
  • LLaMA-3.1-8B: 0.044 (158 개 문제 중 3 가지 형식 모두를 맞춘 경우가 5% 미만)
• 이는 LLM 이 특정 표현에 의존하고 있음을 강력히 시사합니다.

C. 실패 패턴 분석 (Failure Patterns)

• **CCW 패턴 (Correct Euclidean, Correct Coordinate, Wrong Vector)**이 가장 빈번하게 관찰되었습니다.
• 이는 모델이 유클리드나 좌표 형식의 추론 "템플릿"에는 익숙하지만, 벡터 연산 절차에서는 취약함을 의미합니다.
• 벡터 형식에서의 실패는 주로 **부호 오류 (Sign errors)**나 외적 (Cross-product) 계산 실수에서 발생했습니다.

D. Convert-then-Solve (CTS) 개입 효과

• 고성능 모델: CTS 프롬프팅을 적용했을 때 벡터 정확도가 최대 52 pp까지 급격히 향상되었습니다 (예: Gemini-2.5 Flash: 0.45 → 0.97). 이는 모델이 본질적인 문제 해결 능력이 있지만, 표현 방식에 민감할 뿐임을 의미합니다.
• 저성능 모델: LLaMA-3.1-8B 와 같은 저용량 모델은 CTS 적용 후에도 유의미한 향상이 없었습니다 (0.13 → 0.16). 이는 추론 능력 자체의 한계를 시사합니다.

4. 주요 기여 (Contributions)

1. GeoRepEval 프레임워크: 통계적으로 근거를 둔, 표현 불변성을 측정하는 새로운 평가 체계와 이를 뒷받침하는 수학적 성질 (Properties 1-3) 제시.
2. 병렬 벤치마크: 158 개의 핵심 기하학 문제를 3 가지 표현 (유클리드, 좌표, 벡터) 으로 변환한 474 개의 인스턴스로 구성된 검증된 데이터셋 공개.
3. 실증적 발견: 표현 선택에 따른 최대 14 pp 의 정확도 격차와 0.044 까지 떨어진 Invariance@3 값을 통해 LLM 의 추론이 추상적이지 않고 표현 의존적임을 입증.
4. 해석 및 개입: 벡터 표현의 취약성에 대한 4 가지 가설 (표면적 복잡성, 절차적 체인 길이, 학습 데이터 분포 편향, 대수적 오류 누적) 제시 및 Convert-then-Solve 전략을 통한 성능 개선 가능성 확인.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 현재 LLM 이 추상적인 기하학적 추론 능력을 완전히 갖추지 못하고, 학습 데이터에 빈번하게 등장하는 특정 표현 방식 (유클리드/좌표) 에 의존하는 휴리스틱을 사용함을 시사합니다.

• 안전성 및 신뢰성: 단일 형식 벤치마크에서의 높은 점수는 실제 추론 능력을 보장하지 않으며, 안전이 중요한 응용 분야에서는 표현 방식 선택이 시스템 신뢰도에 직접적인 영향을 미칩니다.
• 향후 방향: 모델의 추론 능력을 평가할 때는 형식 불변성 (Invariance) 을 필수적으로 고려해야 하며, 저용량 모델은 표현 변환 프롬프팅만으로는 한계가 있음을 보여줍니다.

결론적으로, GeoRepEval 은 LLM 의 기하학적 추론 능력을 평가하는 데 있어 **표현 강건성 (Representation Robustness)**이 핵심 척도임을 강조하며, 향후 모델 개발 및 평가 기준 수립에 중요한 통찰을 제공합니다.