Using an LLM to Investigate Students' Explanations on Conceptual Physics Questions

技術的概要：概念物理問題における学生の説明を調査するための LLM の活用

問題提起
エネルギーと運動量の概念調査（EMCS）などの研究に基づく多肢選択式（MC）評価は、拡張性の高さから物理の概念理解を評価する標準的なツールとなっている。しかし、著者らは MC 形式には重大な限界があると主張している。すなわち、学生が物理概念についてどのように多様に推論しているかを明らかにせず、学生が活性化させる特定の概念的リソースを特定できず、また、誤った選択肢（ダストラ）への繰り返し曝露を通じて誤った連合を無意識に強化してしまう可能性があることである。一方、自由記述式の回答はより深い教育的洞察を提供するが、大規模（例えば、$N > 1,000$ のコース）での採点は労働集約的であり、一貫性の欠如を招きやすい。本研究は、これらの潜在的な概念的リソースを特定するために、学生による記述説明を評価するスケーラブルかつ一貫性のある手法の必要性に取り組むものである。

方法論
本研究は、米国の大規模大学における第 1 学期の微積基礎物理コースで実施され、1,131 名の学生が参加した。研究者らは、EMCS を事前テストおよび事後テストとして実施した。事後テストでは、3 つの特定の問題（Q05、Q16、Q23）を、元の多肢選択形式から自由記述式の提示に変換した。これらの問題は、事後テストでの獲得度が低く、成績が不良であることを示す文献に基づいて選択された。これは、学生がこれらの項目において頻繁に非生産的な概念的リソースを活性化していることを示唆している。

学生には、学期を通じて練習してきた主張・証拠・推論（CER）の枠組みを用いて回答するよう指示された。データ分析には、OpenAI の大規模言語モデル（LLM）である GPT-4o が用いられた。LLM には、「経験豊富な物理教育者」として機能する構造化されたテンプレートを通じて、特定のルーブリックに基づき以下の指示が与えられた：

1. 学生の主張（答え）の正しさを評価する。
2. 証拠と推論の正しさを評価する。
3. 明確な概念的パターンに基づいて、誤った説明に対して出現するカテゴリ（最大 6 つのカテゴリ）を割り当てる。
4. 採点する前に物理原則を段階的に検討するよう、「思考の連鎖（chain of thought）」プロンプトを活用する。

LLM の性能を検証するため、人間の採点者（HG）が回答のランダムな 20% のサンプル（$N=231$）を独立して分析した。本研究は、コホンのカッパ係数を用いて合意度を測定し、正しく分類された割合を比較した。また、温度設定を 0.5 に設定して、複数の実行間における LLM の一貫性もテストされた。

主要な結果

• 採点精度: LLM は人間の採点者と高い合意を示した。全体的な正しさ（正しい推論によって支持された主張）における不一致は極めて低く、3 つの問題すべてで 0% から 3% の範囲であった。LLM と人間の採点者間の平均コホンのカッパ係数は 0.77（実質的からほぼ完全な合意）であり、個別の問題ごとのスコアは 0.74、0.65、および 0.89 であった。
• 出現するカテゴリ: LLM は、事前に定義されていなかった誤った説明に対する出現するカテゴリを成功裡に生成した。例えば、Q05 において、LLM は元の MC の誤答選択肢には存在しなかった「衝突タイプの誤適用」や「衝突タイプの誤特定」といったカテゴリを特定した。
• 隠れた誤概念の露呈: 分析により、誤ったまたは非生産的な推論に基づいて正しい主張（答え）を提供した学生の事例が明らかになった。MC 形式であれば、これらの学生は正解として扱われたであろうが、LLM は、偶然または誤った論理によって正解に至らせた欠陥のある概念的リソース（例えば、非弾性衝突の文脈における運動量保存則の誤適用など）を特定した。
• 一貫性: LLM は、複数の実行において一貫した出現するカテゴリを生成し、完全に正解と判定された学生の割合の標準偏差は低かった。

意義と主張
著者らは、2 つの主要な貢献を主張している：

1. 信頼性: 適切にプロンプトされた LLM（特に GPT-4o）は、答えとそれを支える説明の両方を含む学生による記述回答の全体的な正しさを、人間の採点者と同等の合意度で信頼性高く評価できる。これは、LLM が大規模な自由記述式物理問題の採点というボトルネックを軽減し得ることを示唆している。
2. 洞察の深さ: LLM による分析は、従来の MC 評価の固定された選択肢では捉えられない、誤った推論の出現するカテゴリを明らかにする。本研究は、LLM が標準的な MC 形式では隠れたままとなる「多様な思考様式」や、生産的かつ非生産的な特定の概念的リソースを明らかにし得ることを実証している。

本論文は、MC 評価が正しい概念を持つ学生の割合を定量化するには十分であるが、LLM は大規模履修コースにおいて、特定の誤解を特定し、学生の推論の豊かさを調査するための有望な手段を提供すると結論付けている。著者らは、使用された問題のサブセットに関する限界（学生の疲労に関する懸念による）に言及し、今後の研究では、この分析を EMCS 全体およびより複雑な物理評価に拡大することを目指すと述べている。