AI-supported formative assessment of conceptual understanding in mathematics: LLM-based pre-coding of open student responses
本研究は、プロンプトベースの大型言語モデルが、ファインチューニングを行うことなく、自由記述形式の学生による数学の回答における概念的カテゴリを確実に特定できることを示しており、肯定的な特徴や深い概念的理解については高い精度を達成している一方で、欠落している特徴の検証や曖昧さの解決といった課題に対処するために、専門家による介入（expert-in-the-loop）のサポートや言語的に明示的なプロンプトが必要であることを浮き彫りにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
教室において、最も価値のある瞬間は、生徒が正解にたどり着いた時ではなく、そこに至るまでのプロセスを説明した時に訪れることが多い。教師たちは、生徒の精神を真に理解するためには、最終的な数値の先にある推論を見なければならないということを古くから知っている。これが形成的アセスメントの核心である。つまり、学習が進んでいる最中に学習状況を確認し、生徒が前進できるよう指導を調整するプロセスである。しかし、そこには実用的な問題がある。生徒が自分の考えを書き出したり、図を描いたり、独自の文章題を作成したりすると、教師は膨大な量のテキストを読み、解釈しなければならないという壁に直面する。これをすべての生徒に対して深く行うことは、多忙な学校生活の中ではほとんど不可能な時間のかかる作業である。その結果、多くの教師は最終的な答えのみを採点してしまい、生徒の説明の中に隠された豊かな洞察を見逃してしまうことになる。
長年、研究者たちは、これらの説明を読み取り、その中にある思考パターンを特定できるコンピュータを構築しようと試みてきた。初期の試みは、硬直したルールに依存していたり、学習のために大量のラベル付きデータが必要であったりしたため、しばしば失敗に終わった。大規模言語モデル（膨大な量のテキストで学習し、人間の言語を理解・生成できる強力なコンピュータシステム）の登場により、この問いが再び開かれた。これらのモデルは、特定のタスクごとに再学習させることなく、自然な英語で書かれた指示に従うことができる。しかし、決定的な疑問が残っている。言語においては非常に優れている機械が、数学特有の、しばしば微妙なロジックを実際に理解できるのだろうか。機械は、概念を真に把握している生徒と、単に推測しているだけ、あるいは正しい言葉を間違った理由で使っているだけの生徒を、見分けることができるのだろうか。
ドイツ・ドルトムント大学のある研究者は、数学教育の文脈においてこの問いに答えるべく研究に着手した。研究者は、これらの新しいAIツールが、自由記述形式の数学の回答に含まれる特定の思考タイプを確実に特定できるのか、そしてそれが実際の教室で役立つほど十分にうまく機能するのかを知りたいと考えた。研究は主に「自然数」と「分数」の2つの領域に焦点を当てた。研究者は、小学5年生および6年生から数千件の記述回答を集めた。これらの生徒たちは、例えば、分数がなぜそのような仕組みで機能するのかを説明したり、与えられた数式に対して独自の文章題を作成したりすることを求められた。目標は、人間の専門家によって作成された指示セットに基づき、AIがこれらの回答を「深い理解を示している」「特定の誤概念を持っている」「理解の証拠が示されていない」といった意味のあるカテゴリーに分類できるかどうかを確認することであった。
研究者は、4つの異なるオープンソースAIモデルをテストした。これらは、学校が学生のプライバシーを守るために自前のサーバーでホストできる技術のバージョンである。研究者は、AIによる採点を人間の専門家の採点と比較した。結果は驚くほど肯定的であった。13,000件を超えるコーディングされた回答を通じて、AIモデルは人間の専門家と高いレベルの一致を示し、生徒の思考の主要なカテゴリーを約82パーセントの確率で正しく特定した。この性能は、異なる種類の数学の問題や異なるモデル間でも一貫していた。AIは、例えば「掛け算とはアイテムをグループ化することである」という概念を正しく説明している場合や、生徒が明確で具体的な推論ミスを犯している場合を特定することにおいて、特に優れていた。
しかし、この研究は、機械が行き詰まる場所も明らかにしている。AIが、例えば「生徒のストーリーの中で数字が実際に正しく足し合わされているか」を確認するといった、単純な算術チェックを行う必要がある場合、モデルは苦戦した。また、生徒の回答が非常に短かったり曖昧であったりする場合や、生徒が曖昧な言葉を使用している場合にも困難に直面した。このような難しい状況において、AIは推測に頼る傾向があり、生徒が実際よりも理解していると想定してしまうことが多かった。研究者は、AIの性能は、知識のある非専門家（教員実習生など）と同程度であるが、即座に深い概念的誤りを見抜いたり計算を検証したりできる熟練した専門家のパフォーマンスには及ばないことを発見した。
最も重要な発見は、AIが機能するかどうかだけでなく、「どのように」機能し、「どこに」助けを必要としているかであった。研究者は、AIは生徒の回答が言語的に明示的である場合に最も信頼できることを発見した。もし生徒がグループ化の構造を明確な言葉で記述していれば、AIはそれを容易に捉える。しかし、生徒が曖昧であれば、AIは迷ってしまう。このことは、テスト問題自体の設計が極めて重要であることを示唆している。つまり、生徒に明確かつ完全な記述を促す質問こそが、AIツールからより良い結果を引き出すのである。さらに、本研究は、これらのAIツールは教師の代替物としてではなく、強力な触媒として機能すべきであると結論付けた。AIは、何千もの回答を読み、分類するという重労働を担うことができる。これにより、教師は最も困難なケースに集中し、クラスの理解に関するより明確で整理された図に基づいて、最終的な指導決定を下すことができるようになる。
研究者は、AIは教師の判断を置き換えるものではなく、教師のためのツールであることを強調している。このシステムは、機械が分析の初稿を作成し、人間である教師がそれをレビューして、間違いを修正し、人間だけが提供できる必要な文脈を加えるというループの中で機能するように設計されている。このアプローチは、教育の複雑さを尊重しつつ、人間の時間の現実的な限界を認めるものである。AIを使って初期の分類を処理することで、教師は一部の生徒だけでなく、すべての生徒の深い概念的思考に関与できる可能性が高まる。本研究は、AIがまだ熟練した教師の微細な理解に取って代わることはできないものの、数学における深い個別化された形成的アセスメントという夢を、学校にとって実用的な現実にする段階に達していることを裏付けている。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。