Supervised Practice Time and the AI-Code Workflow: Evidence from Finance Undergraduates at a Regional Chinese University

現代の金融教育の教室において、静かな革命が起きた。数十年の間、市場を分析することを学ぶということは、コンピュータ・コードの構文を習得することを意味していた。それは、多くの学生が経済学のより深い論理に到達することを阻む障壁となっていた。今日、新しい種類の人工知能は、そのコードを即座に書くことができ、平易な英語の文章を動作するプログラムへと変えることができる。この変化により、課題は指示を書くことから、プロセスを管理することへと移行した。つまり、適切な質問を投げかけ、スクリプトを実行し、結果を確認し、エラーを修正することである。教育者にとっての中心的な問いは、もはや学生がコマンドを打ち込めるかどうかではなく、この新しいデジタル・アシスタントを効果的に指揮できるかどうかである。もし機械が執筆という重労働を担えるのであれば、学生は依然としてその技術を練習する必要があるのだろうか。もしそうなら、どのようにしてだろうか。

研究チームは、中国の地方大学の学生を観察することで、この問いに答えようとした。彼らは、一つの単純な変数に焦点を当てた。それは「監督下での練習時間」である。これは、デモンストレーションをただ見ているだけだったり、自宅で一人で作業したりするのではなく、インストラクターが室内にいる状態で、学生がコンピュータを使って作業に費やす時間のことである。研究者たちは、教師の指導を受けながらその追加の時間を持つことが、学生がAIを操ることに長ける助けになるのではないかと考えた。彼らは、合計138名の金融学部の学部生からなる4つのまとまったクラスを募集し、それらを2つのグループに分けた。一方のグループは、すべての授業セッションに自分のノートパソコンを持参することが許可され、教師が見守る中で、AIへのプロンプト作成、コードの実行、そして出力の確認というサイクルを練習することができた。もう一方のグループは標準的なスケジュールに従い、授業時間の大部分はインストラクターによる画面上での実演を見守ることに費やし、特定の予定されたラボ・セッションの間にのみコンピュータを使用することができた。

研究は2学期にわたって展開された。第1学期、学生たちはMATLABと呼ばれる金融モデリング・プログラムを用いた。彼らは、債券価格の計算や株式市場のトレンド分析といった現実世界の課題を解決しなければならない、4回の実践的なテストに直面した。ルールは厳格であった。コードはエラーなく実行され、特定の数値解を出さなければならない。結果は明確な分岐を示した。最初、両方のグループの成績は似通っており、スケールの下限付近を漂っていた。しかし、週が進みタスクが複雑になるにつれ、より多くの監督下での練習時間を持ったグループがリードし始めた。最終テストまでに、クラス内でノートパソコンを使用して練習した学生は、ただ見ていただけの学生よりも約11ポイント高いスコアを記録した。この差は単なる統計上の誤差ではなかった。それはクラス全体の分布の変化を意味していた。より多くの練習をした学生は、最初のステップで立ち往生する可能性がはるかに低く、一連のタスクを最後まで完了できる可能性が高かったのである。

研究者たちはその後、2つのクラスを第2学期へと追跡し、そこではコーポレート・ファイナンスの問題を扱うStataと呼ばれる別のソフトウェアプログラムに取り組んだ。一方のクラスには、追加の「マイ・デバイス持参」の仕組みが適用されたが、もう一方は標準的なスケジュールを維持した。これは新しいソフトウェアツールであり、新しい一連の問題であったにもかかわらず、パターンは繰り返された。追加の監督下での時間を過ごしたクラスは、複数のステップを連鎖させる必要があるより困難なタスクにおいて、著しく優れた成績を収めた。より多くの練習を行った学生は、指導の下でワークフローをリハーサルする時間が少なかった仲間と比較して、最も難しいタスクを完了できる確率がほぼ2倍高かった。

なぜこのようなことが起きたのかを理解するために、研究者たちは学生に直接尋ねた。その回答は、技術的な特性ではなく、人間的な特性を指し示していた。AIのワークフローの習得を妨げるものは何かと問われると、両方のグループの大多数の学生が、自己モチベーションの欠如を挙げた。彼らは、クラスという構造と教師の存在がなければ、自分たちだけでプロンプト作成と確認のサイクルを行うことは決してなかっただろうと認めた。監督下の時間は、その欠けていた意欲の代わりとして機能し、そうでなければ起こらなかったはずの練習を強制的に発生させたのである。この研究は、これらの追加時間の価値がテクノロジーそのものにあるのではなく、学生にそれを使わせる環境にあることを示唆している。

しかし、研究は、学生がコードを実行できるようになった後に現れる新たなボトルネックも明らかにした。彼らが報告した最大の困難は、もはやプロンプトを書くことでも構文エラーを修正することでもなく、AIが出した答えが実際に正しいかどうかを判断することであった。コードが結果を生成すると、学生たちはその結果が現実世界において意味を成しているかどうかを検証することに苦慮した。AIは流暢で説得力のある回答を提示しながらも、微妙に間違った内容を生み出すことがあるため、これは極めて重要な障壁である。研究者たちは、追加の練習時間がコードを実行させる助けにはなったものの、出力が正しいかどうかを知るという問題までは完全には解決できなかったと指摘した。この検証ステップには、ほとんどの学生が持ち合わせておらず、授業終了後に自力で習得する可能性も低い、ドメイン知識の深さが必要であることを彼らは発見した。

これらの知見は、教育が人工知能にどのように適応していくかについて、明確かつ微細な描写を提供している。研究は、単に学生にコンピュータやAIツールへのアクセスを与えるだけでは、スキルを向上させるには不十分であることを示した。むしろ、学習環境の構造が極めて重要であることを示した。学生がインストラクターの注視の下でAIを指揮する全サイクルを練習する機会を与えられるとき、彼らはそのワークフローをより効果的にナビゲートすることを学ぶ。この優位性はタスクが難しくなるにつれて拡大しており、これらのツールを管理する能力は、反復と指導を通じて築かれるスキルであることを示唆している。しかし、研究は一つの問いを残している。完璧に見えるコードに隠された間違いを、どうやって学生に気づかせるのか、という問いである。研究は、監督下の練習が「機械を動かす」という問題は解決するものの、「機械が正しいかどうかを知る」というより困難な課題は、今後の探求すべき課題として残されていると結論づけている。