A Tool-Invariant Framework for Teaching and Assessing Computational Methods in the Age of Agentic AI

新しい数学の授業：計算機がコードを書くとき

料理を学んでいるところを想像してみてください。何世紀もの間、料理で最も難しい部分は、野菜を刻んだり鍋をかき混ぜたりすることでした。完璧なソースを作るためには、包丁さばき、タイミング、そして筋肉の記憶を習得しなければなりませんでした。しかし、ある時、ロボットシェフが発明されました。このロボットはただ刻むだけではありません。あなたが自然な英語で説明したレシピを読み取り、玉ねぎを刻み、ソースをかき混ぜ、味見をし、もし塩辛すぎれば修正することさえできます。突然、「料理」という行為が変わります。あなたはもう熟練の包丁使いである必要はありません。熟練の「味見役」であり、明確な「指示出し役」である必要があるのです。もしあなたが単に「美味しく作って」と言えば、ロボットは見た目は美味しそうだが、実際には悲惨なものを作ってしまうかもしれません。

これは、物理学や科学教育の世界でまさに起きていることです。長い間、「計算物理学」を学ぶということは、コンピュータコードを書くこと、つまり、惑星の動きを予測したりウイルスの拡散を予測したりするような複雑な数学的問題を解くために、コンピュータへの指示をタイピングすることを意味していました。しかし、新しい種類の人工知能（AI）が登場しました。これらは単に質問に答えるチャットボットではありません。「エージェント的（agentic）」なツールなのです。これらは「空気抵抗のある跳ねるボールをシミュレートして」といった単純な一文を受け取ると、コードを書き、シミュレーションを実行し、グラフを描き、自らの間違いを修正することさえできます。

教師にとっての大きな問いはこうです。もしロボットが料理をするなら、学生は何を学ぶ必要があるのでしょうか？彼らはまだ「刻み方」を知っておく必要があるのでしょうか？そして、もしロボットが完璧に見えるレポートを提出してきたら、学生が実際にレシピを理解していることをどうやって確認すればよいのでしょうか？本論文はこのまさにその問題に取り組み、古い採点方法（単に最終的なレポートを見るだけ）は壊れており、タイピングではなく「なぜ」「どのように」という理解に焦点を当てた、新しい教え方とテストの方法を提案しています。

---

論文の核心的なアイデア：タイピングから思考へ

著者であるラリー・エンゲルハルト（Larry Engelhardt）は、私たちが計算機が計算尺に取って代わった時と同じような、大規模な転換期にいると主張しています。かつて、学生はツールの「メカニクス（仕組み）」、つまり特定のコマンド、構文、そしてコンピュータを動かすためのタイピングスキルを学ぶ必要がありました。現在、これらの「メカニクス」は機械によって処理されます。学生の役割は「オペレーター（操作者）」から「ディレクター（監督者）」へと移行したのです。

論文は、ツールは変わっても、学生が知っておかなければならない核心的なことは、何世紀も変わっていないと示唆しています。エンゲルハルトは、鉛筆を使っていようが、計算機を使っていようが、あるいは超スマートなAIを使っていようが、変わることのないこれらを5つの「柱」として整理しています。

1. 入力と出力： システムに何を投入し、どのような結果を期待しているかを知っていること。
2. 概念的理解： その手法が実際に何を行い、どのように機能するのかを、単にタイピングの方法としてではなく、理解していること。
3. 用語： 問題を明確に記述するために、正しい科学用語を使用すること。
4. センスメイキング（意味付け）： 結果を見て、「それは理にかなっている」あるいは「それはおかしい」と言える能力。
5. ツールの操作： 現在のツールを使いこなすスキル（かつてはタイピングでしたが、現在はAIに対して明確な指示を与えることです）。

論文の主な知見は、AI時代において最も重要なスキルはセンスメイキング（第4の柱）になったということです。AIがコードとグラフを即座に生成できるため、それらの結果が真実であるかどうかを「検証」する学生の能力が、今や最も重要なスキルとなっています。著者はこれを「検証権限（verification authority）」と呼んでいます。AIが「これが答えです」と言ったとしても、それが正しいとは限りません。学生が審判を務めなければならないのです。

なぜ古いテストは壊れているのか

論文は、計算クラスにおける伝統的な採点方法に対して明確に異議を唱えています。数十年の間、教師は「振り子のシミュレーションを行うコードを書き、グラフを作成し、レポートを提出せよ」というプロジェクトを課してきました。そこには、もし学生が動作するレポートを提出したならば、その学生は物理学を理解しているはずだ、という前提がありました。

エンゲルハルトは、これはもはや真実ではないと述べています。彼はこれを「プロキシの崩壊（proxy collapse）」と呼んでいます。「プロキシ（代理物）」とは、他の何かを代弁するもののことです。かつて、レポートは学生の理解の代弁者でした。しかし現在、AIが要求に応じて完璧なレポートを生成できるため、レポートはもはや学生が何かを知っていることの証明にはなりません。それは、もし学生が有名な作家によって書かれた完璧なエッセイを提出したようなものです。エッセイは素晴らしいものですが、それは学生が文章を書けることの証明にはなりません。論文は、私たちは「アーティファクト（成果物としてのコードやグラフ）」を学習の証拠として扱うのをやめなければならないと主張しています。

新しい解決策：「口頭試問」

では、宿題を信頼できない場合、どのように学生をテストすればよいのでしょうか？論文は、物理学が通常教えられる小規模なクラス向けに設計された、実用的な二部構成のシステムを提案しています。

1. AIフリーのクイズ： 学生は依然として、AIを使用できない状況で行われる短いクラス内コーディングクイズを受けます。これにより、コードの基本的な「筋肉の記憶」を失っていないことを確認します。壊れたコードを修正させたり、小さな関数をゼロから書かせたりする場合もあります。
2. 口頭試問（Oral Defense）： これが新しい大きなアイデアです。学生がAIの助けを借りてプロジェクトを構築した後、教師との10分間の対話に臨みます。
   • ひねり： 面談の前に、教師はツールを使用して、学生の提出物からすべてのコメント（コードを説明する注釈）を削除します。
   • テスト： 教師は学生に対し、自身のコードを辿りながら説明させ、グラフが何を意味するかを述べさせ、「なぜこの手法を選んだのか？」「もし質量を2倍にしたらどうなるか？」といった質問に答えさせます。
   • 門番（ゲートキーパー）： 特定の「検証ゲート」が存在します。学生は、自分の作業を検証したことを証明しなければなりません。もし結果がなぜ正しいのかを説明できなければ、たとえコードが完璧に動作していたとしても、不合格となります。

著者は、この口頭試問こそが、学生が実際にその成果物を「所有」していることを証明する唯一の方法であると示唆しています。これは、博士課程の学生が学位論文を防御（ディフェンス）する仕組みに似ています。論文は単に文章に基づいて採点されるのではなく、学生がそれを説明し、防御できる能力に基づいて評価されるのです。

論文が述べていること（および述べていないこと）

論文は、これが大規模で長期的な科学的研究の結果ではなく、著者の経験と適応に基づいた新しいフレームワークであることを慎重に記しています。著者は、AIに切り替える前に必要なコーディング練習の「適切な量」がまだ分かっていないことも認めています。学生がメンタルモデルを構築するためには、少なくとも一度は「ホワイトボックス（透明な状態で動作するコード）」を見る必要があると考えていますが、それが具体的にどの程度であるかは確信を持っていません。

また、論文はAIを単に「禁止」するという考えも退けています。著者は、自宅でのAI使用を阻止しようとする試みは、計算機の使用を阻止しようとするのと同様に不可能であると論じています。代わりに、AIを使うことが「ズルをするための簡単な方法」ではなく、「学習のための正しい方法」となるような、動機付けと評価設計に焦点を当てる必要があります。

結論

論文は、計算物理学コースの「成果物」は、もはやコードやグラフではないと結論づけています。それらは今や安価で簡単に手に入るものです。真の成果物は、物理学の言葉を用いて結果を説明し、防御できる学生の能力です。

機械が重労働を行える世界において、人間の価値は判断力にあります。論文は、教育の未来とは、ロボットがコードを書くのを止めることではなく、ロボットが何をしているのか、なぜそうしているのか、そしてその答えが本当に正しいのかを正確に把握している、賢明で批判的なディレクターになるよう学生を教えることであると示唆しています。学生と教師の対話こそがクラスの中で最も重要な部分となります。なぜなら、そここそが真の理解を証明できる唯一の場所だからです。