LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning

あなたは料理教室にいるところを想像してみてください。そこでは、完璧なピザを作る技術を習得するために、学期全体が費やされます。生地の捏ね方、ソースの選び方、そして黄金色になるまで焼く方法を学びます。学期の終わりには、通常、先生はあなたが実際に作ったピザに基づいて成績をつけます。しかし、ここに問題があります。素晴らしいピザを作れるからといって、それが「なぜ」うまくいくのかを真に理解しているとは限りませんし、そのスキルを使ってケーキを焼いたり、壊れたオーブンを修理したりできるとも限りません。あなたは単にピザの手順を暗記しただけかもしれません。あるいは、ロボットシェフ（AIのようなもの）に手助けをしてもらい、あなたはただ見ていただけだったのかもしれません。

これは、コンピュータサイエンスの教師が**プロジェクト型学習（PjBL）**で直面するまさにこのパズルです。学生はクールなソフトウェア・プロジェクトを構築しますが、従来のテストでは、コードをコピー＆ペーストできるか、あるいは自分が作った特定の物事についてレポートを書けるかを確認することしかできない場合があります。これでは、「高次思考（HOT）」、つまり学んだことを全く新しい、困難な状況に応用できる能力を見逃してしまいます。

新しいツール：「デザイン問題（Design Problems）」

これを解決するために、この論文の著者たちは**「デザイン問題（DPs）」**と呼ばれるものを導入しました。これは、ピザのクラスの直後に行われる「キッチン・チャレンジ」のようなものです。先生が「あなたのピザを見せて」と言う代わりに、こう言います。

「よし、想像してください。ある病院が、高齢の患者の手の動きを追跡して健康上の問題を検知するシステムを必要としています。あなたがピザアプリで使用したのと同じロジックを用いて、この新しいシステムのハイレベルな計画を設計してください。時間は30分です。」

これにより、学生は単に事実を暗唱することをやめ、知識を**転移（トランスファー）**することを強制されます。彼らは、自分が書いた特定のコードではなく、概念を本当に理解していることを証明するために、分析、評価、そして新しいものを創造しなければなりません。

ロボットの助手：AIは問題を生成できるか？

これらのトリッキーで新しいシナリオの問題を作成することは、教師にとって大変な作業です。すべての学生のプロジェクトに適合する新鮮な状況を考案するには、膨大な時間がかかります。そこで研究者たちは、大規模言語モデル（LLM）——超スマートなAIチャットボット——が私たちのためにこれらの問題を書いてくれるのではないか？と問いかけました。

彼らは、2つの異なるAIモデル（標準的なものと、ステップバイステップで考える「推論型」のもの）を使用して、4つの異なる学生プロジェクト（セキュリティツール、分散型ゲーム、モバイルアプリなど）に基づいた80個のデザイン問題を生成させ、これをテストしました。

判明したこと：

• AIはかなり優秀である： 特に「推論型」のAIは印象的でした。それは、現実的で学習目標に完璧に一致するシナリオを作成しました。実際、AIが生成した問題の50%が、人間の専門家から満点を得ました。
• AIは完璧ではない： 時にはAIが怠慢になることがありました。元のプロジェクトにあまりにも似すぎたシナリオを作成したり（すでにピザを作ったのに、ピザを求めるようなケース）、質問が曖昧すぎたりすることがありました。
• 結論： この論文は、AIは質問のドラフトを作成する精力的な助手として、非常に大きな助けになり得ると示唆していますが、問題が簡単すぎたり混乱を招いたりしないように、人間の教師がレビューする必要があります。

教室でのテスト：学生は理解できたのか？

研究者たちは、これらのAIが作成したデザイン問題を3つの実際の大学のクラスに投入しました。学生には、これらの新しいシナリオの1つを個人で解くための30分間が与えられました。

ここにはひねりがあります：
学生たちのこれらの新しいデザイン問題における成績と、学期を通じた元のプロジェクトの成績を比較したところ、両者の間にはほとんど関連性がありませんでした。

• 一部の学生は「マスター（達人）」でした。彼らはプロジェクトでも新しいチャレンジでも満点を取りました。
• 一部の学生は「インプリメンター（実装者）」でした。彼らは素晴らしいプロジェクトを構築しましたが（おそらく助けを得たか、レシピに従ったため）、新しい状況にロジックを適用できなかったため、新しいチャレンジには失敗しました。
• 一部の学生は「コンセプチュアライザー（概念化者）」でした。彼らはプロジェクトでは苦戦しましたが、深い概念を理解していたため、新しいチャレンジでは圧倒的な成果を出しました。

これは、従来のプロジェクトの成績は物語のすべてを語っているわけではないことを証明しています。優れたアプリを構築できても、エンジニアのように新しい状況で考えることができない学生もいるのです。デザイン問題がこの違いを捉えました。

学生は実際にどのように考えていたか

研究者たちは、学生がどのように回答を入力したか（キーストローク・データを使用）についても調査しました。彼らは、学生がただ猛烈にタイピングしていたわけではないことを発見しました。

• 学生は開始時に約2分間停止しており、これはおそらく思考し、計画を立てていたためです。
• 彼らは回答の一部を削除して書き直していました（削除された文字数は、入力された100文字に対して約12〜16文字という「リビジョン比率」でした）。
• 彼らは執筆中に頻繁に休憩を取っていました（10秒以上の休止）。

この行動は、学生が単にコピー＆ペーストをしているのではなく、アイデアを分析し、統合するという困難な精神的作業を行っていたことを示唆しています。

この論文が否定していること

この論文は、この手法が何ではないかについても慎重に述べています。

• これは、他のすべてのテストに代わる「魔法の杖」ではありません。
• これは、学生がテスト中にAIを使用できる場合に機能するものではありません（そのため、教師は携帯電話なしでクラス内で行わせました）。
• これは、かかる時間を基準に学生を採点する方法でもありません。データによれば、時間をかけることが必ずしも良い成績につながったわけではありませんでした。
• これは、まだ完璧なシステムではありません。論文では、これらのオープンエンドな回答の採点は依然として主観的であり、助けなしではスケールさせることが難しいと明記されています。

結論

この研究は、デザイン問題を生成するためにAIを使用することが、学生が単に特定の物事の作り方を暗記しているのではなく、コンピュータサイエンスの概念を真に理解しているかどうかを確認するための有望な方法であることを示唆しています。それは、レシピに従うことができる学生と、全く新しい料理を作り出すことができる学生の違いを、教師が見分ける助けとなります。AIは完璧ではなく人間の監督が必要ですが、それは、問題が練習したものと全く同じに見えることはない現実の世界において、学生たちが準備できていることを確認するための鍵となる可能性があります。