Assessment of Evolving Large Language Models in Upper Secondary Mathematics

기술 요약: 고등학교 수학 분야에서 진화하는 대규모 언어 모델(LLM)에 대한 평가

문제 정의
대규모 언어 모델(LLM)이 교육적 맥락에서 유망한 가능성을 보여왔음에도 불구하고, 이들의 수학적 추론 능력은 역사적으로 모호하고 진화 중인 것으로 간주되어 왔다. 기존의 평가는 MATH, AIME, CNMO와 같은 특정 데이터셋에 크게 의존해 왔는데, 이는 유용하기는 하지만 표준화된 국가 교육과정의 미묘한 차이를 완전히 포착하지 못할 수 있다. 또한, 초기 연구들은 LLM이 진정한 논리적 추론에 어려움을 겪으며, 일관된 증명이나 고품질의 계산을 생성하는 데 실패하고, 문제 구성의 미세한 변화에 따라 성능 저하가 발생하기 쉽다는 점을 시사했다. 따라서 고등 수학 분야에서 LLM의 현재 숙련도를 이해하기 위해, 고부담(high-stakes) 수준의 표준화되고 완전히 디지털화된 국가 고시를 기준으로 LLM의 급격한 진화를 엄격하게 벤치마킹할 필요가 있었다.

연구 방법론
본 연구는 네 가지 서로 다른 시기(2023년 8월, 2023년 11월, 2024년 4월, 2025년 1월)에 걸쳐 다양한 버전의 LLM의 수학적 역량을 평가하였다. 주요 테스트 데이터는 고부담 수준의 완전 디지털화된 국가 시험인 핀란드 대학 입학 자격시험(Matriculation Examination)의 심화 수학 과목이다. 연구진은 네 가지 특정 시험 버전(2001년 봄, 2023년 가을, 2024년 봄, 2024년 가을)을 활용하였다.

평가 과정은 다음과 같다:

1. 모델 선정: OpenAI의 GPT-3.5, GPT-4, GPT-4 Turbo, o1, o1-mini, o3, o3-mini; Google의 Bard, Gemini 1.5, Gemini 2.0 (Flash 및 Advanced); Microsoft의 Copilot; 그리고 DeepSeek의 Coderc, LLM, MoE, V2, R1을 포함한 다양한 모델을 테스트하였다.
2. 채점 프로토로콜: 모델이 생성한 답변은 L(최고점)부터 I(낙제)까지의 척도를 사용하는 공식 국가 채점 지침에 따라 채점되었다.
3. 시계열 분석: 연구는 성능 향상을 추적하였으며, 특히 2023년 11월 테스트에서 기호 계산 및 시각화를 위한 Python과 SYMPY 라이브러리의 통합과 같은 구체적인 기술적 개입을 주목하였다.
4. 상세 분석: 2025년 1월 평가에서는 개별 과제의 수행 능력과 상대적 강점을 세밀하게 분석하기 위해 2024년 가을 시험의 13개 과제 전체를 포함하도록 범위를 확장하였다.

주요 결과
본 연구는 중간 정도의 성능에서 완벽에 가까운 또는 완벽한 점수로 이동하는 급격한 개선 궤적을 기록하였다:

• 2023년 8월: GPT-4는 120점 만점에 64점(등급 E)을 기록했고, Google Bard는 120점 만점에 34점(등급 C)을 기록했다.
• 2023년 11월: 기호 계산을 위한 Python 통합 이후, GPT-4의 점수는 120점 만점에 93점(등급 L)으로 급등했다.
• 2024년 4월: GPT-4 Turbo는 120점 만점에 92점(등급 L)을 달성한 반면, Gemini와 Copilot의 무료 버전은 각각 40점과 66점으로 더 낮은 점수를 기록했다.
• 2025년 1월: 가장 최근의 평가에서는 여러 모델이 최상위권 성능을 달성했다. Google Gemini 2.0은 120점 만점에 115점을, ChatGPT o1은 120점 만점에 118점을 기록했으며, DeepSeek R1과 ChatGPT o3는 모두 120점 만점의 완벽한 점수를 받았다.

결과에 따르면, 최신 모델들은 현재의 채점 척도 한계에 부합할 뿐만 아니라 경우에 따라 이를 초과하였다. 표 IV는 2024년 가을 시험에 대한 과제별 상세 내역을 보여주며, DeepSeek R1과 ChatGPT o3는 13개 과제를 모두 완벽하게 해결한 반면, ChatGPT o1은 두 개의 과제에서 점수를 놓쳤음을 보여준다.

주요 기여

• 종단적 벤치마킹: 본 논문은 정적인 데이터셋이 아닌 일관된 고부담 국가 시험 프레임워크를 사용하여 LLM 진화에 대한 드문 종단적 평가를 제공한다.
• 급격한 발전의 정량화: 수학적 추론 능력이 18개월이라는 기간 내에 "중위권" 성능에서 "최상위 학생" 수준의 성능으로 어떻게 변화했는지 그 속도를 정량화하였다.
• 기술적 상관관계: 연구는 Chain-of-Thought (CoT) 추론, 강화 학습, 적응형 추론 노력(예: o3-mini), 그리고 숙고적 자기 수정(예: DeepSeek R1)과 같은 특정 구조적 및 방법론적 발전과 성능 도약을 상관 분석하였다.

의의 및 주장
본 논문은 최첨단 LLM의 현재 능력이 핀란드 국가 고등학교 수학 심화 시험에서 최상위 성적을 거두기에 충분하다고 주장한다. 결과적으로, 최신 LLM은 대학 입학 자격을 갖출 수 있으며, 의학, 법학, 공학과 같은 경쟁적인 분야에서 상위 지원자 중 하나로 분류될 가능성이 높다.

저자들은 이러한 모델들이 고부담 수학 문제를 해결하는 데 있어 인간의 성능을 넘어섰지만, '교수 학습 에이전트(instructional agents)'로서의 역할은 여전히 미결 과제로 남아 있다고 언급한다. 본 연구는 향후 연구의 초점이 문제 해결 능력(이미 포화 상태에 도달한)을 평가하는 것에서 벗어나, 의미 있는 교육적 대화에 참여하고, 오개념을 식별하며, 해답을 성급하게 공개하지 않고 스캐폴딩(scaffolding, 학습 조력)을 제공하는 교육적 역량을 평가하는 방향으로 전환되어야 한다고 결론짓는다. 연구는 LLM이 이제 수학 문제를 푸는 강력한 도구이지만, 적응형이자 형평성 있는 튜터로서 기능할 수 있는 잠재력에 대해서는 추가적인 조사가 필요함을 강조한다.