Baseline Performance of AI Tools in Classifying Cognitive Demand of Mathematical Tasks

본 연구는 일반 및 교육 특화 AI 도구 11 개가 수학 과제의 인지적 요구 수준을 분류하는 데 있어 평균 63% 의 정확도만 보이며, 특히 극단적인 난이도 구분에서 실패하고 표면적 텍스트 특징에 과도하게 의존하는 등 교사 업무 지원 도구로서 아직 한계가 있음을 밝혔습니다.

핵심

🍳 핵심 비유: AI 는 '요리사'가 아니라 '레시피를 읽는 로봇'입니다

수학 문제를 분석할 때, 우리는 그 문제가 단순히 **공식을 외우는 것 (기억)**인지, **단순히 계산하는 것 (절차)**인지, **개념을 연결하는 것 (연결)**인지, 아니면 **새로운 해결책을 찾아야 하는 것 (수행)**인지 구분합니다. 이를 연구자들은 '인지적 요구도'라고 부릅니다.

이 연구는 11 가지의 다양한 AI 도구 (챗GPT, 클로드, 교육용 AI 등) 에게 수학 문제를 보여주고 "이 문제는 어느 수준의 요리인가?"라고 물었습니다.

📊 1. 실험 결과: AI 는 '중간'만 잘 찾습니다 (63% 정답률)

• 결과: AI 들은 평균 **63%**만 맞췄습니다. (완벽한 요리사라면 100% 여야 하죠.)
• 중요한 발견: AI 는 **가장 쉬운 문제 (기억)**나 **가장 어려운 문제 (창의적 수행)**를 구별하는 데 매우 서툴렀습니다.
  • 마치 AI 가 "이 요리는 너무 간단해서 그냥 밥 짓기 같고, 너무 복잡해서 미슐랭 스타일 같아. 그냥 일반적인 국물 요리로 분류해 줄게"라고 말하는 것과 비슷합니다.
  • AI 는 모든 문제를 중간 난이도로 치우쳐서 판단하는 경향이 있었습니다.

🕵️‍♂️ 2. 왜 틀렸을까? AI 의 '속임수'와 '착각'

AI 가 틀린 이유를 분석하니 재미있는 패턴이 나왔습니다.

• 표면적인 단어에 속다: AI 는 문제 속에 '공식', '절차', '알고리즘' 같은 단어가 나오면 바로 "아, 이건 단순한 계산 문제구나!"라고 판단했습니다. 하지만 실제로는 그 단어가 있어도 문제를 풀기 위해 깊은 사고가 필요한 경우가 많았습니다.
  • 비유: "이 요리에 '소금'이 들어갔으니, 이건 아주 간단한 요리겠지?"라고 생각해서 실패한 경우입니다. (소금이 들어갔지만, 소금의 양을 조절하는 과정이 매우 복잡할 수 있는데 말입니다.)
• 이유는 그럴듯하지만, 내용은 엉뚱함: AI 는 틀린 답을 내더라도 "왜 그런지"에 대한 설명을 매우 그럴듯하게 써냈습니다. 초보 교사들은 이 그럴듯한 설명에 속아 넘어갈 수 있습니다.
  • 비유: 요리사가 "이 요리는 실패했습니다"라고 말하면서, "왜 실패했는지"에 대한 매우 논리적이고 전문적인 설명을 해주는 것과 같습니다. 하지만 결론 자체가 틀렸다면 설명이 아무리 훌륭해도 소용없습니다.

🛠 3. 교육용 AI vs 일반 AI: 특별히 더 잘할까요?

• 결과: "교육용"으로 특별히 만들어진 AI 도구가 일반 AI (챗GPT 등) 보다 더 잘하는 것은 아니었습니다.
• 가장 잘한 도구: 교육용이 아닌 일반 AI 중 하나인 'DeepSeek'이 가장 높은 점수 (83%) 를 받았지만, 그래도 여전히 100% 는 아니었습니다.

💡 4. 이 연구가 우리에게 주는 교훈

이 연구는 AI 를 수학 수업 준비에 쓸 때 주의해야 할 점을 알려줍니다.

1. AI 를 '독립된 요리사'로 쓰면 안 됩니다: AI 가 문제의 난이도를 100% 정확히 판단해 줄 수는 없습니다. 선생님이 AI 의 판단을 **반드시 다시 확인 (검수)**해야 합니다.
2. AI 는 '중간'을 좋아합니다: AI 가 "이 문제는 보통 수준이야"라고 말하면, 실제로는 아주 쉽거나 아주 어려울 수도 있다는 경계심이 필요합니다.
3. 질문 (프롬프트) 을 잘해야 합니다: 지금처럼 "이게 뭐야?"라고만 물으면 안 되고, AI 에게 "이 문제를 풀 때 학생이 어떤 생각을 해야 하는지 단계별로 분석해 봐"라고 구체적으로 지시하면 더 나을 수 있습니다. 하지만 아직은 완벽한 해결책이 없습니다.

🎯 결론

"AI 는 수학 문제의 '난이도'를 판단하는 데 아직 초보 요리사 수준입니다."

AI 는 유용한 보조 도구가 될 수 있지만, 수업의 핵심인 '어떤 문제를 풀게 할지'를 결정하는 주요 판단자로 삼기에는 아직 신뢰할 수 없습니다. 선생님의 경험과 통찰력이 여전히 가장 중요하다는 것을 이 연구는 다시 한번 확인시켜 줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 교사는 개별 학생의 요구에 맞춰 고품질의 수학 교육과정을 적응시키고 유지하는 데 막대한 시간과 전문성을 요구하고 있습니다. 특히, 학생의 학습을 지원하는 과제를 선정하거나 수정할 때 인지적 요구도 (Cognitive Demand) 를 정확히 평가하는 것은 핵심적인 역량입니다.
• 문제: 최근 대규모 언어 모델 (LLM) 을 포함한 AI 도구가 교사의 업무 부담을 줄여줄 수 있다는 기대가 커지고 있으나, 현재 AI 도구들이 교육적 핵심 과제인 수학 과제의 인지적 요구도를 정확하게 평가할 수 있는지에 대한 체계적인 실증 데이터는 부족합니다.
• 연구 목적: 다양한 범용 및 교육 특화 AI 도구가 확립된 교육 프레임워크를 사용하여 수학 과제의 인지적 요구도를 얼마나 정확하게 분류할 수 있는지 그 기준 성능 (Baseline Performance) 을 평가하고, 오류 패턴 및 한계를 규명하는 것입니다.

2. 연구 방법론 (Methodology)

• 연구 대상 (AI 도구): 총 11 개의 AI 도구 테스트
  • 범용 도구 (6 개): ChatGPT, Claude, DeepSeek, Gemini, Grok, Perplexity
  • 교육 특화 도구 (5 개): Brisk, Coteach AI, Khanmigo, Magic School, School.AI
• 평가 기준 (Framework): 스타인과 스미스 (Stein & Smith, 1998) 가 개발한 과제 분석 가이드 (Task Analysis Guide, TAG) 를 사용.
  • 4 가지 인지적 요구도 수준:
    1. 기억 (Memorization): 사실/규칙의 단순 재생.
    2. 연결 없는 절차 (Procedures without Connections): 개념 이해 없이 알고리즘적 절차 수행.
    3. 연결 있는 절차 (Procedures with Connections): 절차 사용으로 개념적 이해 심화.
    4. 수학 수행 (Doing Mathematics): 비알고리즘적 사고, 자기 모니터링, 복잡한 추론 요구.
• 데이터셋: 4 가지 수준별 3 개씩 총 12 개의 수학 과제 (Tasks A-L) 를 선정. 모든 과제는 인간 전문가에 의해 TAG 기준에 따라 사전 분류됨.
• 프롬프트 전략: "Out-of-the-box" 접근법 사용.
  • 모든 도구에 동일한 표준 프롬프트 적용 (프롬프트 엔지니어링 최적화 시도 없이, 업로드된 TAG 문서와 과제만 제공).
  • 목표: 교사가 직관적으로 사용할 때의 초기 성능을 측정.
• 분석 방법:
  • 분류 정확도 계산.
  • 오류 분석 (Error Analysis): 광범위한 수준 (고/저) 의 오분류 사례에 대한 심층 분석.
  • AI 의 추론 과정 (Reasoning) 을 인간 전문가가 TAG 기준과 대조하여 코딩 (0~3 점 척도) 하여 논리적 결함 파악.

3. 주요 결과 (Key Results)

• 전체 정확도: AI 도구들의 평균 분류 정확도는 63% 였습니다. 이는 무작위 추측 (25%) 보다 높지만, 교육 계획에 신뢰할 수 있게 사용하기에는 부족합니다.
• 도구 간 차이:
  • 교육 특화 도구가 범용 도구보다 더 정확하지 않았습니다 (63% vs 61%).
  • 최고 성능 도구는 범용 도구인 DeepSeek (83%) 이었으며, 교육 특화 도구 중에서는 Coteach AI(75%) 가 가장 높았습니다.
• 과제별 편차:
  • 중간 카테고리 (연결 있는/없는 절차): 분류 정확도가 높음 (일부 과제는 100%).
  • 극단적 카테고리: 기억 (Memorization) 과 수학 수행 (Doing Mathematics) 과제는 정확도가 매우 낮았습니다 (Task K 의 경우 9% 까지 하락).
• 시스템적 편향 (Central Tendency Bias):
  • AI 도구들은 불확실한 경우 중간 카테고리 (연결 있는/없는 절차) 로 편향되어 분류하는 경향이 강했습니다.
  • ChatGPT 는 어떤 과제도 '기억'이나 '수학 수행'으로 분류하지 않았습니다.
• 오류 패턴 및 원인:
  • 표면적 특징 과부하: AI 는 과제의 본질적인 인지 과정보다는 텍스트의 표면적 특징 (예: "알고리즘"이라는 단어 명시 유무) 을 과도하게 반영했습니다.
  • 추론의 부재: 관련 기준을 언급하더라도 이를 올바르게 적용하지 못하거나 (부분적 정확), 잘못된 논리로 결론을 내렸습니다.
  • 맥락 오해: 실제 세계 맥락이 포함된 과제 (Doing Mathematics) 를 단순한 절차 수행으로 잘못 분류하는 경우가 많았습니다.

4. 주요 기여 (Key Contributions)

1. 기준 성능 확립: 교육 분야에서 AI 도구의 인지적 요구도 평가 능력을 평가한 최초의 체계적인 연구로서, 현재 기술 수준에 대한 객관적인 벤치마크를 제시했습니다.
2. 범용 vs 특화 도구 비교: 교육용 AI 도구가 반드시 범용 모델보다 더 나은 성능을 보이는 것은 아니라는 사실을 입증하여, 도구 선택 시 신중한 검토가 필요함을 시사했습니다.
3. 오류 메커니즘 규명: AI 가 단순히 '무시'하는 것이 아니라, 복잡한 인지적 차원을 잘못 추론 (mis-reasoning) 하여 오류를 범한다는 것을 심층 분석을 통해 밝혔습니다.
4. 실무적 함의: AI 가 교사의 독립적인 의사결정 도구가 되기보다는, 인간의 검토가 필요한 의사결정 지원 시스템 (Decision Support System) 으로 활용되어야 함을 강조했습니다.

5. 의의 및 시사점 (Significance)

• 현실적 기대치 설정: 현재 AI 는 교사가 과제의 인지적 수준을 평가하는 데 있어 완전한 자동화를 대체할 수 없으며, 인간 전문가의 감독이 필수적입니다.
• 프롬프트 엔지니어링의 필요성: "Out-of-the-box" 접근법의 한계를 보여줌으로써, 더 정교한 프롬프트, Few-shot 학습, 체인 오브 씽킹 (Chain-of-Thought) 프롬프팅 등을 통한 성능 개선 연구의 필요성을 제기했습니다.
• 교육적 적용 방향: AI 를 활용하여 과제를 생성하거나 수정할 때, 교사는 AI 의 분류 결과와 그 근거를 비판적으로 검토해야 합니다. 특히 AI 가 '수학 수행'과 같은 고차원적 과제를 과소평가할 가능성이 높으므로 주의가 필요합니다.
• 향후 연구 방향: 더 다양한 과목과 과제 유형으로 샘플을 확장하고, 인간 교사와의 비교 연구, 그리고 대화형 피드백을 통한 AI 의 점진적 학습 (Iterative refinement) 가능성 등을 탐구해야 함을 제안합니다.

결론적으로, 본 연구는 AI 가 수학 교육의 핵심 요소인 '인지적 요구도'를 평가하는 데 있어 유망하지만 아직 초기 단계임을 보여주며, 기술의 통합 과정에서 교사의 전문성과 비판적 사고가 여전히 대체 불가능함을 강조합니다.