Can AI be a Teaching Partner? Evaluating ChatGPT, Gemini, and DeepSeek across Three Teaching Strategies

本論文は、C 言語の初学者向け教育において、ChatGPT、Gemini、DeepSeek の 3 種類の LLM が「例示・説明・アナロジー」と「ソクラテス式」の 3 つの教授戦略でどのように機能するかを人間評価者によって比較検証し、ソクラテス式でのモデル間の性能差が顕著であることを示しています。

要約

この論文は、**「AI は本当に『先生』になれるのか？」**という問いに答えるための、とても面白い実験の結果を報告したものです。

想像してみてください。3 人の異なる「AI 先生」が、プログラミング（C 言語）を全くの初心者（子供）に教える場面です。この 3 人の先生は、ChatGPT、Gemini、そしてDeepSeekという名前です。

研究者たちは、この 3 人の先生に、人間の先生が使う**「3 つの教え方」**を試してもらいました。

1. 実験の舞台：3 つの「教え方」

この実験では、AI が単に答えを教えるだけでなく、どうやって「考えさせる」かを評価しました。

• 🍎「例え話とヒント」作戦 (Examples)

  • どんな教え方？ 答えを直接教えるのではなく、「こんな例があるよ」とヒントを出す作戦。
  • 例： 「リンゴの数を足すプログラムが作りたい？」と聞かれたら、「じゃあ、まず『2 個のリンゴを足す』簡単な例を見てみようか」と示す。
  • AI の反応： 3 人ともそこそこ上手でしたが、Geminiが「リンゴ」と「数」のつながりを一番わかりやすく説明しました。

• 🧩「説明とアナロジー」作戦 (Explanations and Analogies)

  • どんな教え方？ 難しい概念を、日常のことに例えて説明する作戦。
  • 例： 「配列（データの箱）」という難しい言葉は、「タンスの引き出し」に例えて、「1 番目の引き出しに服を入れる感じだよ」と教える。
  • AI の反応： ChatGPTが最も上手でした。説明がクリアで、初心者にも伝わりやすかったです。一方、DeepSeekは少し難しすぎる説明をしたり、すぐに答えを言っちゃったりする傾向がありました。

• 🗣️「ソクラテス式」作戦 (Socratic Method)

  • どんな教え方？ 答えを言わずに、「質問」だけで相手を導く作戦。これが一番難しい！
  • 例： 「答えは 5 だよ」ではなく、「じゃあ、入力した数字はどうやって保存すると思う？」「変数って何だっけ？」と問いかけ、生徒が自分で気づくのを待つ。
  • AI の反応： ここが一番の分かれ目でした。ChatGPTとGeminiは、生徒を導く質問を上手に続けました。しかし、DeepSeekは「質問するつもり」が「答えを言っちゃう」ことに迷走し、生徒が自分で考える余地を奪ってしまいました。

2. 実験の結果：誰が「先生」にふさわしい？

6 人の専門家（評価者）が、AI たちの授業を採点しました。

• 🏆 優勝組：ChatGPT と Gemini

  • この 2 人は、どの教え方でも**「合格点」**を出しました。
  • 特に「ソクラテス式（質問で導く）」では、生徒のペースに合わせて、答えを言わずに考えさせるのが上手でした。まるで、経験豊富なベテラン教師のようです。
  • Geminiは、具体例と抽象的な概念をつなげるのが得意でした。
  • ChatGPTは、説明のわかりやすさと、生徒のレベルに合わせた対応が抜群でした。

• 🥈 課題あり組：DeepSeek

  • 残念ながら、他の 2 人に比べると**「半分しか合格」**という評価でした。
  • 一番の問題は、**「すぐに答えを言ってしまう」**こと。先生が「ヒント」を出すつもりが、「答え」を言っちゃって、生徒が自分で考える機会を奪ってしまいました。
  • また、質問をする時も、生徒のレベルに合わず、少しズレた質問をしてしまうことがありました。

3. 重要な発見：AI は「答え」ではなく「教え方」が大事

この実験でわかった一番大切なことは、「AI が正しい答えを出せるかどうか」よりも、「どうやって生徒に考えさせるか」の方が重要だということです。

• 悪い先生： すぐに「答えはこれ！」と教えてしまう。これでは生徒は成長しません。
• 良い先生： 「えーと、どう思う？」「もしこうだったらどうなる？」と問いかけ、生徒が自分で気づくのを待つ。

ChatGPTとGeminiは、この「待つ力」や「問いかける力」をある程度持っていますが、DeepSeekはまだその「先生としての振る舞い」を完全にマスターしていないようです。

4. まとめ：AI は「先生」になれる？

結論から言うと、**「AI は先生になれるが、まだ完璧ではない」**というのがこの論文の答えです。

• 可能性： 適切な指示（プロンプト）を与えれば、AI は生徒に合わせて例え話を使ったり、質問で導いたりできます。
• 注意点： どの AI を使うか、そして「どう指示を出すか」によって、教育の質は大きく変わります。特に、すぐに答えを言ってしまう AI をそのまま使うと、生徒が依存してしまう危険性があります。

この研究は、AI を教育現場で使う際、単に「正解を出す機械」としてではなく、**「生徒の思考を育てるパートナー」**としてどう使うべきかを示唆しています。

一言で言うと：

「AI は優秀な『教科書』にはなれるけど、まだ『名教師』になるには、もっと『生徒の考えを引き出す』練習が必要なんだよ！」

技術概要

論文概要：AI 教育パートナーとしての LLM 評価

この研究は、大規模言語モデル（LLM）が単に正解を提示するだけでなく、具体的な教育戦略を用いて学習を支援する「教育パートナー」として機能する能力を定量的に評価することを目的としています。特に、プログラミング教育（C 言語）の文脈において、3 つの主要な LLM（ChatGPT、Gemini、DeepSeek）の教育的パフォーマンスを比較分析しました。

1. 研究の背景と課題 (Problem)

• 現状: LLM は教育分野で急速に普及しており、適応型学習やフィードバック提供に利用されています。
• 課題: 既存のベンチマーク（MMLU など）は知識の正確性や汎用タスクの性能を測るものですが、「リアルタイムの対話において、どのように学習戦略を適応させるか」という教育的スキル（Pedagogical Skills）を評価する実証的な証拠が不足しています。
• 核心的な問い: LLM は、例示、説明・アナロジー、ソクラテス式問答法といった具体的な教育戦略を用いて、初学者の学習を効果的に支援できるのか？

2. 研究方法 (Methodology)

本研究は、C 言語の初学者向け演習（Backes, 2013 からの課題）を用いた厳密な評価プロトコルを設計・実施しました。

• 評価対象モデル:
  • ChatGPT (4.1-mini)
  • Gemini (2.5 flash)
  • DeepSeek (V3)
  • ※すべて無料版の Web インターフェースを使用。
• 評価戦略（3 種類）:
  1. Examples（例示）: 完全な解答を提示せず、関連するコード例を示して概念を理解させる。
  2. Explanations and Analogies（説明とアナロジー）: 概念を説明し、身近な例え（アナロジー）を用いて理解を深める。
  3. Socratic Method（ソクラテス式問答法）: 直接教えず、一連の問いかけ（仮説、反証、応用）を通じて思考を誘導する。
• 評価プロセス:
  • 評価者: 6 名の専門家が、各モデルと各戦略について 25 問の演習で対話（1 問あたり 5〜10 回ターン）を行いました。
  • シミュレーション: 評価者は「初学者」として振る舞い、意図的に「わからない」「誤答」「追加説明の要求」などを行い、モデルの適応力をテストしました。
  • 指標: 各戦略ごとに 0〜5 点の尺度で評価（例：関連性、正確性、詳細度、多様性、批判的思考の促進など）。また、「即座に解答を提示してしまう（望ましくない行動）」の頻度も記録しました。
• 統計分析: データの正規分布が確認できなかったため、ノンパラメトリック検定（Kruskal-Wallis 検定、Dunn's 検定、Bonferroni 補正）およびカイ二乗検定を使用し、モデル間の有意差を分析しました。

3. 主要な結果 (Key Results)

A. 全体的な傾向

• ChatGPT と Gemini: 多くの基準で高いスコアを獲得し、教育的な対話において「満足できる（Satisfactory）」と評価されました。
• DeepSeek: 全体的にスコアが低く、「部分的に満足（Partially Satisfactory）」と評価されました。特にソクラテス式問答法や即座の解答回避において課題が見られました。

B. 戦略ごとの詳細

1. Examples（例示）戦略:

   • 3 モデルとも「正確性」や「詳細度」では同程度の高いスコアでした。
   • 差異: 「具体と抽象の結びつき」では Gemini が最も高く、「関連性」では ChatGPT が DeepSeek よりも有意に優れていました。
   • 課題: どのモデルも「多様性（Variety）」のスコアが低く、文脈のバリエーションに欠ける傾向がありました。
   • 即座の解答: Gemini が最も解答を隠すことに成功し、DeepSeek が最も頻繁に解答を提示してしまいました。

2. Explanations and Analogies（説明とアナロジー）戦略:

   • ChatGPT: 「明瞭性」「重要部分の焦点」「有用性」において他モデルを有意に上回りました。
   • DeepSeek: 「レベル適応（初学者向けへの調整）」や「有用性」で低いスコアでした。
   • 共通課題: どのモデルも「既知の知識との接続」において低いスコアであり、学習者の前提知識を考慮した説明が不足していることが示されました。

3. Socratic Method（ソクラテス式問答法）戦略:

   • 最も顕著な差: この戦略においてモデル間のパフォーマンス差が最も大きくなりました。
   • ChatGPT & Gemini: 問いかけのみに依存し、反証（Counterexamples）を用いて思考を促す能力が高かった。
   • DeepSeek: 問いかけの質が低く、反証の提示が不十分でした。また、ソクラテス式であるべきにもかかわらず、直接解答を提示してしまう傾向が強く見られました。
   • Gemini の課題: 基礎概念から始めすぎる傾向があり、場合によっては目標の演習に到達するまでに時間がかかりすぎました。

4. 主要な貢献 (Key Contributions)

1. 教育特化型評価プロトコルの提案: 単なる正解率ではなく、教育戦略（例示、アナロジー、問答法）に基づいた LLM の行動を評価する動的なプロトコルを確立しました。
2. 実証データ: 人間の評価者によるリアルタイム対話に基づき、3 つの主要 LLM の教育的適性を比較した初の詳細なデータセットを提供しました。
3. 戦略の感受性の解明: LLM が教育戦略に対して異なる反応を示すこと（特にソクラテス式問答法におけるプロンプトへの依存度の高さ）を実証しました。

5. 意義と今後の展望 (Significance & Future Work)

• 教育的意義: AI を「答えを教える機械」ではなく、「学習を促すファシリテーター」として活用する際、モデルの選択とプロンプト設計が極めて重要であることを示しました。特に初学者向け教育では、DeepSeek などのモデルはそのままでは不適切な場合があり、調整が必要であることが判明しました。
• 社会的意義: 教育資源が限られた環境（AIED Unplugged）において、AI が教育格差を埋める可能性を探る上で、どのモデルが最も適しているかの指針となりました。
• 今後の課題:
  • 実際の学生との対話による生態学的妥当性の検証。
  • 小規模言語モデル（SLM）やローカルデプロイ可能なモデルへの評価の拡張。
  • 学習成果（テストの前後比較）の測定。

結論:
LLM は教育パートナーとしてのポテンシャルを有していますが、その能力はモデルによって大きく異なります。ChatGPT と Gemini は、特にソクラテス式問答法を含む指導的対話において優れたパフォーマンスを示しましたが、DeepSeek は教育的な適応性や指示の遵守において改善の余地がありました。教育現場での導入においては、モデルの特性を理解し、適切な教育戦略と組み合わせることが不可欠です。