Investigating LLM's Problem Solving Capability -- a Study on Statics Questions

기술 요약: LLM의 문제 해결 능력 조사 – 정역학 문제를 중심으로

문제 정의
대규모 언어 모델(LLM)은 과제와 시험을 수행하는 능력을 입증하며 교육 분야에 빠르게 영향을 미치고 있습니다. 그러나 기존 연구는 공공 또는 공개된 문제 데이터셋에 의존하는 경우가 많으며, 기계공학과 같은 특정 주제에 대한 분석이 부족합니다. 특히 정역학(Statics)과 같은 특정 문제 유형에 대해 LLM이 어떻게 수행되는지, 그리고 그 능력이 업데이트된 교육적 평가를 요구할 만큼 충분히 진화했는지에 대한 체계적인 조사가 제한적입니다. 교과서 질문을 직접 프롬프트로 사용하는 전통적인 평가 방식은 3차원 문제 및 도해(diagram) 해석 측면에서 한계를 보여왔습니다.

연구 방법론
이러한 격차를 해소하기 위해, 저자들은 전통적인 직접 테스트 대신 모델 증류(model distillation)에서 영감을 얻은 접근 방식을 채택했습니다. 연구는 다음 단계로 진행되었습니다:

1. 초기 평가 및 전환: "McGraw Hill Connect"의 교과서 질문을 사용한 초기 테스트 결과, LLM(특히 ChatGPT)은 3차원 정역학 문제에서 좌표축 간의 벡터 성분을 잘못 할당하는 등 상당한 어려움을 겪는 것으로 나타났습니다. 또한, 정역학 문제를 생성하도록 유도했을 때 모델들은 반복적이고 대부분 2차원적인 단순한 질문들을 생성했습니다.
2. 증류를 통한 데이터셋 구축: LLM이 자신의 내부 학습 분포와 일치하는 문제에 더 잘 수행한다는 점을 인식하여, 연구진은 ChatGPT에게 대량의 정역학 문제를 생성하도록 요청했습니다. 생성과 비교의 반복적인 과정을 통해, 중복되는 사례를 필터링하여 최종적으로 25개의 고유한 2차원 정역학 **텍스트 전용 데이터셋(Text-only Dataset)**을 구축했습니다. 이는 난이도별로 다음과 같이 분류되었습니다:
   • 개념(쉬움): 정의와 질적 추론을 테스트하는 8개 문항.
   • 직접 계산(중간): 공식 적용을 요구하는 7개 문항.
   • 다단계 적용(어려움): 다단계 추론과 전략적 설정이 필요한 10개 문항.
3. 데이터셋 확장: 시각적 추론과 일반화 능력을 평가하기 위해, 텍스트 전용 세트로부터 두 개의 추가 데이터셋을 구성했습니다:
   • 도해 기반 데이터셋: 텍스트 설명을 Notability 앱을 사용하여 깔끔한 2D 도해로 수동 변환했습니다.
   • 수치 변경 도해 기반 데이터셋: 이전 세트의 도해에서 힘, 모멘트, 거리의 수치를 새롭게 수정하여, 모델이 단순히 솔루션을 기억하는 것인지 아니면 실제로 추론하는 것인지를 테스트했습니다.
4. 평가: 모델(ChatGPT-5 및 Gemini)을 세 가지 데이터셋 모두에 대해 테스트했습니다. 성능은 정확도($A = N_c / 25$), 즉 올바르게 해결된 문항 수로 측정되었습니다.

주요 기여

• 새로운 평가 프레임워크: 본 연구는 공학 교육에서 LLM을 평가하기 위한 모델 증류 관점을 도입합니다. 모델이 노출되지 않았을 가능성이 있는 외부 벤치마크를 테스트하는 대신, 모델이 직접 생성했거나 학습 중에 접했을 가능성이 높은 문제를 평가함으로써 모델의 내부 추론 능력을 더 명확하게 보여줍니다.
• 세밀한 성능 분석: 본 연구는 전체 점수뿐만 아니라 문제 유형(개념, 계산, 다단계) 및 입력 양식(텍스트, 도해, 수치 변경 도해)별로 LLM의 성능을 세분화하여 분석합니다.
• 추론 병목 현상 식별: 본 연구는 이미지 인식의 한계와 다단계 추론의 결핍을 구분하여 구체적인 실패 모드를 분리해 냈습니다.

결과
실험 결과는 문제의 복잡성과 양식이 변화함에 따라 성능이 크게 저하됨을 보여줍니다:

• 텍스트 전용 데이터셋: ChatGPT-5는 100%의 정확도를 달성한 반면, Gemini는 **60%**를 기록했습니다. 특히 Gemini는 다단계 적용 문제를 단 하나도 해결하지 못했습니다(정확도 0%).
• 도해 기반 데이터셋: ChatGPT-5의 정확도는 **68%**로 떨어졌습니다. 개념 문제에서는 100%의 정확도를 유지했으나, 직접 계산에서는 71.43%, 다단계 적용에서는 40%의 성능을 보였습니다.
• 수치 변경 도해 기반 데이터셋: ChatGPT-5는 60%의 정확도를 달성했습니다. 다단계 적용 성능은 60%로 약간 개선되었으나, 직접 계산은 42.8%로 하락했습니다.
• 오류 분석: 모든 테스트에 걸쳐 두 모델 모두 일관되게 올바른 풀이 절차와 방법론을 따랐습니다. 그러나 오류는 주로 최종 수치 계산이나, 연속적인 추론 단계 전반에 걸쳐 추출된 시각적 정보를 일관되게 적용하는 과정에서 발생했습니다.

의의 및 주장
본 논문은 텍스트 전용에서 도해 기반 및 다단계 문제로 이동할 때 관찰되는 LLM 성능 저하가 주로 이미지 인식의 한계 때문이 아님을 주장합니다. 대신, 저자들은 성능 저하가 다단계 추론의 어려움과 추출된 시각적 정보를 전체 솔루션 과정 동안 일관되게 적용하지 못하는 능력에서 기인한다고 결론지었습니다.

본 연구는 LLM이 구조화된 텍스트 기반 정역학 문제에서는 전문가 수준의 성능에 근접할 수 있지만, 엄격한 논리적 일관성을 요구하는 복잡한 다단계 공학 과제에는 여전히 신뢰하기 어렵다는 점을 시사합니다. 저자들은 이러한 통찰이 교육자와 커리큘럼 설계자들이 교수법과 평가 방식을 조정하는 데 필수적이며, 이를 통해 AI 도구에 대한 부적절한 의존을 완화하면서 개념적 이해와 고차원적 사고를 촉진할 수 있다고 제언합니다. 본 연구는 모델 생성 질문을 평가에 사용함에 따른 잠재적 편향과 25개라는 적은 데이터셋 규모를 포함한 한계를 인정하면서도, 본 연구의 결과가 현재 기계공학 교육에서의 LLM 역량을 이해하기 위한 필수적인 기준점(baseline)을 제공한다고 주장합니다.