Is Solving Better Than Evaluating GenAI Solutions?
ある大学の学部3年生向けアルゴリズム講座におけるランダム化比較試験では、欠陥のある生成AIによる解答を学生に評価させることが、試験のパフォーマンスを損なうことなく宿題のスコアを向上させた一方で、意図的なスキャフォールディング（足場かけ）を伴わない従来の課題解決と比較して、概念的な転移や学習効果を自動的に向上させるまでには至らなかったことが判明した。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、熟練したシェフになるための修行をしているところだと想像してみてください。長年、料理を理解していることを証明する唯一の方法は、キッチンに立ち、自分で野菜を刻み、ゼロからスフレを焼き上げることでした。しかし今、数秒で完璧なスフレを作り上げる魔法のロボットが現れました。これにより、料理学校は少しパニックに陥っています。ロボットを禁止すべきでしょうか？ それとも、学生にそれを使わせる代わりに、テストの内容を変えるべきでしょうか？ 例えば、学生に「焼く」ことを求めるのではなく、ロボットのスフレを味わい、焦げた部分を見つけ、なぜ失敗したのかを説明させるのです。これが、今日のコンピュータサイエンス教育が直面している大きな問いです。私たちは、コンピュータがコードを書いたり数学の問題を解いたりすることをほぼ瞬時に行える「生成AI」の時代にいます。教育者たちはこう疑問に思っています。もし私たちが、学生に解決策を構築させるのをやめて、AIの解決策を批判させるように変えたとしたら、彼らは本当に、より多くのことを学ぶのでしょうか？ それとも、単に自分で考える力が衰えてしまうのでしょうか？
この論文は、その論争に決着をつけるために設計された、現実世界の実証実験です。パデュー大学の研究者たちは、「アルゴリズム」を学んでいるジュニアレベルの学生220人のクラスを対象としました。アルゴリズムとは、地図上の最短ルートを見つけたり、膨大なリストを整理したりするための、複雑な問題を解決するための「洗練されたステップ・バイ・ステップのレシピ」のようなものです。彼らは、誰にどの宿題を与えるかを決めるためにコイン投げのようなものである「A/Bテスト」という大規模な実験を設定しました。学期の前半では、あるグループ（「ベイカー（作り手）」と呼びましょう）は、難しいアルゴリズムの問題をゼロから解かなければなりませんでした。もう一方のグループ（「クリティック（批評家）」）は、AIに同じ問題を解かせ、その後、ロボットのどこが間違っていたのかを指摘しながら、AIの成果物を採点しなければなりませんでした。その後、学期の後半で役割を入れ替えました。「クリティック」が「ベイカー」になり、「ベイカー」が「クリティック」になったのです。
研究者たちは、「クリティック」の方が「ベイカー」よりもよく学んだかどうかを知りたいと考えました。AIのミスを見つけることは、概念をより深く理解することに役立ったのでしょうか？ それは、後で自分自身で問題を解決する能力を高めたのでしょうか？ 答えは驚くべきことに、少し「微妙なもの」でした。学生が中間試験と期末試験を受けた際、「クリティック」のスコアは「ベイカー」よりも高くなることはありませんでした。事実、彼らのスコアは低くなることもありませんでした。両グループの成績はほぼ同じでした。この研究は、解決策を構築する行為を、AIの解決策を批判する行為に置き換えたとしても、それが自動的にあなたをより賢い問題解決者にすることはない、ということを示唆しています。それは単に、時間の使い方が変わるだけなのです。「クリティック」はエラーを診断し論理を判断することにエネルギーを費やし、「ベイカー」は基礎から論理を構築することにエネルギーを費やしました。どちらのアプローチも、試験においては同じ目的地に到達したようです。
しかし、一つ小さなひねりがありました。AIを採点していた「クリティック」の学生たちは、特定の宿題において、実際に高いスコアを獲得していました。ロボットの仕事の間違いを見つけることは、全体を構築することよりも簡単だったのです。しかし、ここに落とし穴があります。その追加の宿題のポイントは、より良い試験のスコアには結びつきませんでした。それは、練習クイズでAを取ったのに、本番のテストでは同じスコアを取るようなものでした。研究者たちは学生にも尋ねました。ほとんどの学生は、AIの課題によって学習方法が変わらなかったと答えました。しかし、学習方法を変えたと答えた数少ない学生たちは、「クリティック」の課題の方がはるかに役に立ったと感じていました。これは、単に学生にAIを採点させるだけでは、魔法の杖にはならないことを暗示しています。真に学ぶためには、単にバグを見つけるだけでなく、それを修正するか、あるいはなぜその修正が機能するのかを正確に説明させるなど、より多くのガイダンスが必要なのかもしれません。
結局のところ、この研究は、学校が学生の成績を落とすことなく、AIと対話して解決策を批判することを安全に許可できることを示唆していますが、それが自動的に彼らを天才にするわけではありません。魔法はAI自体にあるのではなく、教師がいかにタスクを設計するかにあります。もし目標が深い理解を築くことであるなら、単に壊れたロボットの解決策を学生に渡し、「直せ」と言うだけでは不十分かもしれません。その批判を本当の「アハ体験（気づき）」に変えるためには、もう少し多くの足場（スキャフォールディング）が必要なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。