How Far Are We? Systematic Evaluation of LLMs vs. Human Experts in Mathematical Contest in Modeling

1. 연구 배경 및 문제 제기 (Problem)

대규모 언어 모델 (LLM) 은 다양한 추론 벤치마크에서 뛰어난 성능을 보이지만, 실제 세계의 복잡한 문제를 해결하기 위한 엔드 - 투 - 엔드 (End-to-End) 워크플로우를 수행할 수 있는 능력은 여전히 불명확합니다. 기존의 벤치마크는 수학적 추론, 코드 생성, 글쓰기 등 개별 능력을 분리하여 평가하는 경향이 있어, 실제 문제 해결에 필요한 통합적인 역량을 측정하는 데 한계가 있습니다.

특히, **수학 모델링 대회 (Mathematical Modeling Competitions)**는 문제 정의, 가정 설정, 모델 구축, 계산적 구현, 결과 분석 및 검증에 이르는 전체 과학적 문제 해결 과정을 요구하므로 LLM 의 전문가 수준 능력을 평가하기 위한 이상적인 테스트베드입니다. 그러나 기존 연구들은 모델이 생성한 보고서의 전반적인 품질을 평가하는 데 그쳤거나, 문제의 특이성을 고려하지 않은 고정된 평가 기준을 사용하여, 국소적으로는 그럴듯하지만 근본적으로 문제와 불일치하는 (misaligned) 솔루션에도 높은 점수를 부여하는 오류를 범했습니다.

2. 제안된 방법론 (Methodology)

저자들은 **문제 지향적 단계별 평가 프레임워크 (Problem-Oriented, Stage-Wise Evaluation Framework)**를 제안했습니다. 이 프레임워크는 다음과 같은 핵심 단계로 구성됩니다.

• 하위 작업 분해 (Subtask Decomposition): 하나의 복잡한 모델링 문제를 여러 개의 독립적인 하위 작업 (Subtasks) 으로 분해합니다. 각 하위 작업은 자체적인 모델링 요구사항 (형식화, 가정, 모델 구축, 해결, 구현, 분석) 을 포함하며, 도메인 전문가의 검증을 거쳐 원래 문제의 의도를 정확히 반영하도록 정제됩니다.
• 단계별 평가 기준 인스턴스화 (Stage-wise Criteria Instantiation): 각 하위 작업에 대해 표준적인 모델링 7 단계 (문제 식별, 문제 공식화, 가정 개발, 모델 구축, 모델 해결, 코드 구현, 결과 분석) 에 맞춰 구체적인 평가 기준을 동적으로 생성합니다. 이 기준은 LLM 이 생성하되, 전문가의 개입을 통해 검증 및 수정됩니다.
• 평가 프로세스: 생성된 모델 보고서가 각 하위 작업 - 단계 쌍에 대해 정의된 기준에 따라 점수화됩니다. 이는 보고서 전체의 품질이 아닌, 구체적인 모델링 단계별 수행 능력을 정밀하게 측정합니다.
• 데이터셋: 중국 대학원생 수학 모델링 대회 (PMCM) 의 최근 문제 97 개를 사용했습니다. 이 데이터는 고도의 전문성과 복잡한 수학적 논증을 요구하는 실제 전문가 수준의 난이도를 가집니다.

3. 주요 기여 (Key Contributions)

1. 새로운 평가 프레임워크 개발: 문제의 의미와 모델링 단계를 기반으로 한 동적 평가 체계를 제안하여, 기존 문제 무관형 (problem-agnostic) 평가의 한계를 극복했습니다.
2. 평가 신뢰성 검증: 제안된 프레임워크의 점수가 독립적인 전문가 (수상 경력 보유자) 의 판단과 높은 일치도 (ICC 0.673) 를 보임을 입증했습니다. 반면, 기존 기준 (Baseline) 은 전문가 판단과 거의 일치하지 않았습니다 (ICC 0.012).
3. 이해 - 실행 간극 (Comprehension-Execution Gap) 발견: LLM 이 문제 이해 단계에서는 인간 전문가 수준에 근접하지만, 실행 단계 (모델 해결, 코드 구현, 결과 분석) 에서는 심각한 성능 저하를 보임을 체계적으로 규명했습니다.
4. 실패 원인 분석: 모델 스케일링만으로는 이러한 간극을 해결할 수 없으며, 실패의 주원인이 **부족한 명세 (Insufficient Specification), 검증 누락 (Missing Verification), 검증 부재 (Lack of Validation)**임을 규명했습니다.

4. 주요 결과 (Results)

4.1. 평가 프레임워크의 유효성

• 전문가 일치도: 제안된 프레임워크는 전문가 평가와 높은 상관관계를 보였으나, 기존 기준은 보고서의 외형적 완성도만 반영하여 실제 문제 해결 능력을 제대로 평가하지 못했습니다.
• 차별화 능력: 제안된 프레임워크는 모델링 단계별 결함을 명확히 드러내어 점수 분포를 넓게 분산시켰으나, 기존 기준은 대부분의 보고서에 중간~높은 점수를 부여하여 성능 차이를 구분하지 못했습니다.

4.2. LLM 의 성능 분석 (이해 vs 실행)

• 이해 단계 (Problem Identification & Formulation): LLM 은 문제의 핵심을 파악하고 목표를 재정의하는 초기 단계에서 인간 전문가와 유사한 높은 점수 (8~9 점대) 를 기록했습니다.
• 실행 단계 (Execution Stages):
  • 모델 구축 및 해결: 점수가 4~6 점대로 하락하며 중간 수준에 머물렀습니다.
  • 코드 구현 및 결과 분석: 점수가 2~3 점대로 급격히 떨어졌습니다. 코드가 실행 불가능하거나, 결과가 검증되지 않았으며, 분석이 부재한 경우가 많았습니다.
• 스케일링의 한계: Qwen(7B~235B) 및 DeepSeek 등 다양한 크기의 모델을 비교한 결과, 모델 크기가 커짐에 따라 초기 이해 단계의 성능은 향상되었으나, 실행 단계의 성능은 거의 개선되지 않았습니다. 이는 단순히 모델 크기를 늘리는 것만으로는 엔드 - 투 - 엔드 모델링 능력을 해결할 수 없음을 시사합니다.

4.3. 실패 패턴 분석

LLM 의 실패는 주로 아이디어 자체의 오류가 아니라 실행 수준의 결함에서 비롯되었습니다.

• 명세 부족: 가정이 검증되지 않거나, 모델 유도 과정이 생략됨.
• 검증 누락: 수치적 안정성 분석, 오차 분석, 결과의 재현성 부재.
• 오류 전파: 초기 단계의 불완전한 가정이나 모델이 후속 단계 (코드 구현, 결과 분석) 에서 수정되지 않고 그대로 전파되어 전체 솔루션의 실패를 초래함.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 복잡한 실세계 문제 해결에 얼마나 가까운지, 그리고 어디에 한계가 있는지를 체계적으로 규명했습니다.

• 핵심 통찰: LLM 은 "무엇을 해야 하는지 (What)"를 이해하는 데는 뛰어나지만, "어떻게 올바르게 수행하고 검증할지 (How)"를 실행하는 데는 여전히 미숙합니다.
• 향후 방향: 모델의 규모 확장 (Scaling) 에만 의존하는 것이 아니라, 프로세스 인식 (Process-aware) 접근법, 단계별 자기 교정 (Stage-wise Self-correction), 그리고 엄격한 검증 및 검증 메커니즘을 강화하는 방향으로 연구가 나아가야 함을 시사합니다.
• 실용적 가치: 제안된 평가 프레임워크는 LLM 이 실제 산업 및 연구 분야에서 신뢰할 수 있는 도구로 활용되기 전, 그 능력을 정밀하게 진단하고 개선 방향을 제시하는 표준적인 도구로 활용될 수 있습니다.

요약하자면, 이 논문은 LLM 이 수학 모델링과 같은 복잡한 작업에서 이해와 실행 사이의 심각한 간극을 가지고 있으며, 이를 해결하기 위해서는 단순한 모델 크기 증가가 아닌 검증과 실행의 엄격성을 높이는 새로운 패러다임이 필요함을 증명했습니다.