Accelerating Accurate Assignment Authoring Using Solution-Generated Autograders

あなたは、何千人もの生徒に完璧なチョコレートケーキの焼き方を教えようとしている教師だと想像してください。昔なら、生徒全員のケーキを採点するために、あなた自身が一つひとつ味見をする必要がありました。しかし、生徒が何千人もいると、それは不可能です。そこで、あなたはケーキを味見するためのロボットシェフを作りました。このロボットは「自動採点機（オートグレーダー）」です。通常、このロボットに「良いケーキ」とはどのようなものかを教えるには、膨大な、退屈なルールのリストを書かなければなりません。「もしケーキが乾燥しすぎていたら、不合格とする。もし甘すぎたら、不合格とする。もしフロスティングが青色だったら、不合格とする」といった具合です。あなたは、生徒が犯す可能性のあるあらゆる間違いを予想し、そのためのルールを書かなければなりません。もし一つでもルールを書き漏らすと、ロボットが悪すぎるケーキを合格させてしまったり、あるいは、青いフロスティングが「ブルーベリー」ケーキとして実は正解であることを教え忘れたために、完璧なケーキを不合格にしてしまったりするかもしれません。このルールを書くプロセスは、遅くて退屈であり、結果としてあまり賢くないロボットを生み出すことにつながります。

この論文は、そのようなロボットシェフを作るための新しい方法について書かれたものです。ルールを長いリストとして書く代わりに、教師は自分が焼いた「完璧なケーキ」を単にロボットに見せるだけです。ロボットは、その完璧なケーキを使って、何が「良いケーキ」であるかを自分自身で理解します。ロボットは、完璧なケーキと「少し間違った」ケーキを比較して、それが本当の間違いなのか、それとも完璧なケーキとの違いを見分けられるかどうかを確認することで、ケーキを何百万通りもの異なる「間違った」方法で作ってみるのです。この手法は「ソリューション生成型自動採点（solution-generated autograding）」と呼ばれます。これは、退屈なルール作成の仕事を、「間違い探し」という楽しいゲームに変えるものであり、プログラミングを学ぶ生徒のための練習問題の巨大なライブラリを構築することを、はるかに迅速にします。

問題点： 「ルール作成」の罠

学生がプログラミングを学ぶとき、彼らは何百もの異なるパズルを解く練習をする必要があります。これを機能させるためには、教師は生徒のコードを即座にチェックする方法を用意しなければなりません。ここで自動採点機の登場です。伝統的に、自動採点機を作ることは、特定の侵入者だけを見分けることを知っているセキュリティガードを作るようなものです。教師は手動でテストケースのリストを書かなければなりません。「入力が2のときに出力が5なら、それは良い。出力が6なら、それは悪い」といった具合です。

このアプローチには、3つの大きな問題があります。第一に、非常に退屈です。生徒がどのようにミスをするかをすべて予想しなければならず、それは廊下で誰かがつまずくあらゆる方法をリストアップしようとするようなものです。第二に、自分のリストが十分であるかどうかを知るのが困難です。トリッキーなミスを見逃していませんか？ もし分からなければ、自動採点機は不正確になり、悪いコードを合格させてしまったり、良いコードを不合格にしてしまったりする可能性があります。第三に、これらのテストリストは学生にとって混乱を招くことがあります。テストが失敗した場合、学生は自分のコードが間違っているのか、それとも教師のテストリストの書き方が悪かったのかを判断できないかもしれません。

解決策： 「完璧なケーキ」戦略

著者であるジェフリー・チャレンとベン・ノルディックは、巧妙なひねりを提案しています。ルールをリストとして書く代わりに、教師は単に「正解（ソリューション）」、つまり問題を解決する完璧なコードを提供するだけです。彼らは、このツールを Questioner と呼んでいます。

Questionerがどのように機能するかを、遊び心のある比喩を使って説明しましょう。教師がロボットに、完璧で黄金色のケーキ（参照用ソリューション）を手渡したと想像してください。ロボットはただそれを見るだけでなく、それを「壊そう」とし始めます。ロボットは特別な「突然変異（ミューテーション）」ツールを使って、完璧なケーキに対して、小さくて愚かな間違いを加えていきます。例えば、砂糖を塩と入れ替えたり、オーブンの温度を1度変えたり、あるいは卵を混ぜるのを忘れたりします。これらが「突然変異体（ミュータント）」です。

次に、ロボットは自らに問いかけます。「私は、この壊れたケーキと完璧なケーキの違いを判別できるだろうか？」 ロボットは、ケーキをテストするために何千ものランダムな材料（インプット）を生成します。もしロボットが、ランダムな材料を使って完璧なケーキと壊れたケーキの違いを識別できるなら、それは優れたテストを持っていることを意味します。もし識別できないなら、識別できるようになるまで、より多くのランダムな材料を生成し続けます。

これが魔法です。ロボットは、完璧なソリューションを用いて、何を受け入れるべきではないかを自ら学びます。教師が「やってはいけないこと」のリストを書く必要はありません。ロボットは、完璧なソリューションをわざと壊してみることで、正しさの境界線を自ら導き出すのです。

彼らが発見したこと

チームはJavaおよびKotlin向けにQuestionerを構築し、イリノイ大学の巨大な入門プログラミングコースにおいて4年間にわたり使用しました。彼らは、何千人もの生徒が使用する、約800ものプログラミング問題を構築しました。

彼らの経験からの主なポイントは以下の通りです：

• スピードと楽しさ： Questionerを使って問題を作成することは、従来のテストスイートを作成することよりもはるかに速く、楽しいものでした。あるインストラクターは、3年間で約1つの新しい問題をほぼ毎日作成することができ、771の問題のバンクを構築できました。
• 正確性： ロボットは実際の完璧なソリューションに対してテストを行うため、正解と不正解を判断するのが非常に優れています。彼らのクイズにおいて、自動採点機が不正確であったために問題を削除しなければならないという事態は一度もありませんでした。
• 豊かなフィードバック： システムは単に「正解」か「不正解」かを言うだけではありません。コードの品質をチェックすることもできます。例えば、生徒のコードが（多くのステップを使いすぎて）完璧な解法に比べてあまりにも複雑すぎるかどうかを伝えることができます。また、もしそれがレッスンの目的であれば、再帰のような特定のテクニックを使用しているかどうかさえチェックできます。
• トリッキーな問題への対処： 時には、ランダムな材料だけでは不十分な場合があります。例えば、ある問題が動作するために「88」という特定の数字を必要とする場合、ロボットが偶然それを当てることはまずありません。このような場合、教師はロボットに「特別な材料」の小さなリストを与えることができます。しかし、それでもなお、ロボットは採点を行うために完璧なソリューションを使用するため、教師が完全なテストスイートを記述する必要はありません。

なぜ重要なのか

この論文は、優れた自動採点機を作るために、私たちが「テストケースの列挙者」である必要はないことを示唆しています。ソリューション自体にテストを生成させることで、より迅速に巨大な練習問題のバンクを構築できます。これにより、より多くの学生が、混乱を招くエラーで立ち止まることなく、プログラミングに関する即時かつ正確なフィードバックを得ることが可能になります。

著者らはまた、これはJavaに限ったことではないとも述べています。彼らはすでにPython版である Snapact を構築しており、初期の完璧なソリューションを書くためにAIを活用する方法についても研究しています。完璧なシステムは存在しない（学生が「ブルートフォース」的なハックでシステムを回避しようとする可能性がある）ことも認めていますが、彼らの手法は、システムの回避をより困難にし、教師が高品質な学習教材を作成することをより容易にします。

要約すると、あらゆる間違いを捕まえるために百万のルールを書く代わりに、教師はただ正解を示し、あとはロボットに任せるのです。これは、次世代のプログラマーを教えるための、より速く、よりスマートで、よりストレスの少ない方法なのです。