Baseline Performance of AI Tools in Classifying Cognitive Demand of Mathematical Tasks

本論文は、11 種類の AI ツールが数学課題の認知的要求度を分類する際、平均 63% の精度しかなく、教育特化型ツールが一般ツールより優れておらず、また極端な難度の課題を中程度のレベルに誤って分類する傾向があることを明らかにし、教師の業務への AI 導入には慎重な検討とツール開発の改善が必要であると結論付けています。

要約

この研究論文は、**「AI は数学の授業で、生徒にどのくらい『頭を使う』必要があるかを正しく見抜けるのか？」**という疑問に答えたものです。

まるで、**「AI という新人教師が、教科書の『難易度』を正しく評価できるか」**を試した実験レポートだと考えてください。

以下に、専門用語を排し、わかりやすい比喩を使って解説します。

---

🍎 1. 実験の目的：AI 先生は「料理の難易度」がわかる？

先生たちは毎日忙しく、生徒一人ひとりに合わせた「良い授業」を作るのに追われています。そこで、「AI に任せて楽にしよう！」という話が出てきました。

でも、AI に「この数学の問題は、生徒が**『ただ暗記するだけ』なのか、『深く考えて創造する』**のか」を判断させたら、本当にできるのでしょうか？

研究者たちは、**「タスク分析ガイド（TAG）」**という、料理の難易度を 4 つのレベルに分類する「レシピ本」を使いました。

1. 暗記（レシピをそのまま読むだけ）
2. 手順の追従（レシピ通りに混ぜるだけ）
3. 手順＋理解（なぜ混ぜるのかを考えながら作る）
4. 数学の創造（レシピなしで、自分で新しい料理を作る）

この 4 つのレベルを、11 種類の AI（ChatGPT や教育向け AI など）に判定させました。

📉 2. 結果：AI は「中くらい」が好きすぎる！

結果は**「63% しか正解しなかった」**という、ちょっと残念なものでした。
（偶然の確率 25% よりはずっと良いですが、プロの先生がやるには不十分です。）

ここで面白い現象が起きました。AI は**「極端な難易度」を避けて、真ん中のレベルに分類する癖**があったのです。

• 本当は「暗記」なのに → AI は「手順の追従」だと言ってしまう。
• 本当は「創造的」なのに → AI は「手順＋理解」だと言ってしまう。

🍔 比喩で言うと：
AI は、**「ハンバーガー（手順）」と「寿司（暗記）」と「フレンチ料理（創造）」**を見分けようとしていますが、迷うと「とりあえずハンバーガー（中くらいの難易度）」だと言ってしまうのです。
「これはただの暗記だ！」という極端なケースや、「これは天才的な発想が必要だ！」という極端なケースを、AI は「まあ、普通の手順かな？」と誤って判断してしまいました。

🔍 3. なぜ間違えた？「表面だけ」を見ていた

AI がなぜ間違えたのか、その理由を詳しく調べました。

• 表面的な言葉に騙された
  AI は、問題文に「計算しなさい」という言葉があれば「手順だ」と判断し、長い文章があれば「難しい」と思い込みました。でも、**「本当に頭を使っているか（思考プロセス）」**は見ていませんでした。

  • 例： 「レシピ通りに作れ」と言われたら、AI は「ただの手順」と判断しますが、実はそのレシピ自体が非常に複雑で、工夫が必要な場合でも、AI は「ただの手順」だと見抜けないのです。

• 理由付けは上手いけど、中身は空っぽ
  AI は「なぜこれが難しいのか」という理由を、とてももっともらしく説明しました。「生徒が自分で考えなければならないから」などと言いますが、その理由が実は間違っていることが多々ありました。

  • 新人教師への警告： AI の説明は「もっともらしい嘘」のように聞こえるので、経験の浅い先生は「なるほど！」と信じてしまい、危険です。

🛠 4. 教育現場へのメッセージ：AI は「助手」であって「先生」ではない

この研究からわかることは、以下の 3 点です。

1. まだ「お任せ」はできない
   今の AI は、授業の質を自分で判断して先生に任せるには、まだ精度が低すぎます。6 割しか正解しないので、先生が必ずチェックする必要があります。
2. ツール選びは重要
   全ての AI が同じではありません。今回の実験では、教育特化型の AI よりも、一般的な AI の方が少し上手でした（それでも最高で 8 割程度）。
3. AI は「下書き」には使える
   AI は「ここが難しいかもよ？」とヒントを出す助手としては優秀です。でも、最終的な判断は、人間の先生が行うべきです。

🌟 まとめ

この研究は、「AI は魔法の杖ではない」と教えてくれます。
AI は、数学の問題の「難易度」を正しく見抜くための「優秀な見習い」にはなれますが、「ベテランの先生」にはまだなりきれません。

AI が「表面の言葉」だけで判断してしまう癖があるため、先生方は「AI が言ったから正しい」と盲信せず、**「本当に生徒は頭を使っているのか？」**を自分で最終確認する役割が、これからも不可欠だということです。

AI を使いながら、先生の「プロの勘」や「経験」をさらに輝かせる時代が来るでしょう。

技術概要

論文要約：数学タスクの認知的要求度を分類する AI ツールのベースライン性能

1. 研究の背景と問題意識

教師は、個別の生徒のニーズに応えるために高品質な数学カリキュラムを適応させる際、時間的制約と認知的厳密性の維持という二重のプレッシャーに直面しています。数学タスクの「認知的要求度（Cognitive Demand）」は、生徒の学習成果に大きな影響を与える要因であり、これを正確に評価・分類することは、効果的な授業計画や教材改編の基礎となります。

近年、大規模言語モデル（LLM）を含む AI ツールが教師の業務負担軽減に寄与する可能性が注目されていますが、既存の研究は主に AI を用いた生徒向け支援や、准教師の意識調査に焦点が当てられており、経験豊富な教師が実際の授業計画フローで AI を活用する際、AI が「認知的要求度の評価」という核心的な教育的タスクを正確に遂行できるかについては、体系的な証拠が不足していました。

本研究は、現在の AI ツール（汎用型および教育特化型）が、確立された教育フレームワークを用いて数学タスクの認知的要求度を正確に分類できるかどうかを検証することを目的としています。

2. 研究方法

2.1 評価フレームワーク

本研究では、数学教育研究および教師研修で広く用いられている**「タスク分析ガイド（Task Analysis Guide: TAG）」**（Stein & Smith, 1998）を基準として採用しました。TAG は、数学タスクを以下の 4 つのレベルに分類します。

1. 記憶（Memorization）: 事実や公式の再生。
2. 接続なしの手順（Procedures without Connections）: 概念的理解なしに手順を適用して正解を出す。
3. 接続ありの手順（Procedures with Connections）: 手順を通じて概念的理解を深める。
4. 数学の実践（Doing Mathematics）: 非アルゴリズム的かつ複雑な思考を要し、自己モニタリングを必要とする。

2.2 対象タスクとデータ

• タスク: 4 つの認知レベルそれぞれから 3 題ずつ、合計 12 題の数学タスク（A〜L）を選定。これらは人間による専門家（TAG の訓練を受けた者）によって事前に分類済み。
• AI ツール: 11 種類のツールを評価対象とした。
  • 汎用 AI（6 種）: ChatGPT, Claude, DeepSeek, Gemini, Grok, Perplexity
  • 教育特化 AI（5 種）: Brisk, Coteach AI, Khanmigo, Magic School, School.AI

2.3 実験プロトコル

• プロンプト: 高度なプロンプトエンジニアリングは行わず、「Out of the box（初期設定のまま）」のアプローチを採用。
  • 入力：アップロードした TAG ドキュメントと、1 つの数学タスク。
  • 指示：「アップロードした TAG に基づき、タスクが『高認知的要求』か『低認知的要求』かを判定し、詳細な理由と分析表を出力せよ」。
• 評価指標: 分類の正確性（4 段階分類の一致率）、広義の誤分類（高/低の逆転）、誤分類時の推論の質（TAG の特徴をどの程度正確に捉えられたか）。

3. 主要な結果

3.1 全体精度

• 平均正解率: 11 種類の AI ツールの平均正解率は**63%**でした。これは偶然の確率（25%）を上回りますが、専門家レベルの性能には程遠いものです。
• ツール間の差: 教育特化型ツールが汎用型より優れているという明確な傾向は見られませんでした。
  • 最高精度：DeepSeek（汎用）で83%。
  • 最低精度：Claude や ChatGPT などで50%。
  • どのツールも 83% を超えることはありませんでした。

3.2 タスクタイプによる精度の偏り

• 中間カテゴリの優位性: 「接続なしの手順」や「接続ありの手順」といった中間レベルのタスクは比較的高い精度（100% や 91%）で分類されました。
• 極端なカテゴリの困難さ: 「記憶（Memorization）」と「数学の実践（Doing Mathematics）」という極端なレベルのタスクでは、分類精度が著しく低下しました（最低 9%、平均 27-44%）。
  • 特に「数学の実践」タスク（例：複雑な実世界文脈を持つ問題）は、多くのツールが「接続ありの手順」と誤分類しました。

3.3 系統的なバイアスと誤分類パターン

• 中央傾向バイアス（Central Tendency Bias）: AI ツールは不確実な場合、極端なカテゴリを避け、中間のカテゴリ（手順系）に分類する傾向が強く見られました。全分類の 77% が中間カテゴリに集中しました。
• 表面特徴への依存: 誤分類の分析により、AI はタスクの表面的なテキスト特徴（例：「手順」という言葉の有無）を過剰に重視し、タスクが要求する本質的な認知的プロセスを分析できていないことが明らかになりました。
• 推論の欠陥: 誤分類したケースにおいて、AI は関連する特徴を無視したのではなく、複数の側面について誤った推論を行っていることが示されました。例えば、記憶タスクであっても「手順」が使われると判断し、高認知的と誤って分類するなど、論理的一貫性に欠けていました。

4. 主要な貢献と知見

1. AI の現状評価: 現在の AI ツールは、数学タスクの認知的要求度を評価する基礎的な教育的タスクにおいて、人間に代わって自律的に判断するには不十分であることを実証しました。
2. 教育特化ツールの限界: 教育向けに特化して開発されたツールであっても、汎用 LLM と比べて分類精度に有意な優位性は見られませんでした。
3. 誤りの質の分析: 単なる分類の誤りだけでなく、AI が「なぜその分類をしたか」という推論プロセスにおいて、認知的要求度の定義（TAG）を部分的にしか理解していない、あるいは誤解しているという構造的な弱点を明らかにしました。
4. 実用的なインプリケーション:
   • 意思決定支援ツールとしての位置づけ: 現時点では、AI を単独で使用するのではなく、教師による最終確認を前提とした「意思決定支援システム（Decision Support System）」として活用すべきです。
   • プロンプトエンジニアリングの必要性: 「Out of the box」の性能は低いですが、Few-shot learning（例示提示）や Chain-of-thought（思考の連鎖）などの高度なプロンプト技術により、精度向上の可能性が残されています。

5. 結論と意義

本研究は、AI が教育計画の核心である「タスクの質の評価」において、まだ完全な自律運用段階には達していないことを示しました。AI は教師の業務を支援する可能性を秘めていますが、特に「記憶」や「高度な数学的思考」を要するタスクの識別において、表面的な特徴に依存するバイアスが存在します。

今後の教育現場への AI 導入においては、ツールの選択（精度の差が大きい）や、教師による厳格な検証プロセスの組み込みが不可欠です。また、AI の推論能力を向上させるためのプロンプト設計や、より多様なタスクセットを用いた継続的な研究が求められます。最終的に、カリキュラム適応や授業設計における「教師の専門性」の価値は、AI によって代替されるものではなく、AI を活用しながらもより重要視されるべきであるという結論に至りました。