Evaluation in the Age of AI: Output as Evidence of Learning

1世紀以上にわたり、大学は単純かつ暗黙の合意に基づいて運営されてきた。それは、学生が提出した成果物が、その学習の証拠であるという合意である。それがエッセイであれ、数学の証明であれ、あるいはコンピュータプログラムであれ、最終的な成果物は、それを生み出すために必要であった精神的努力を直接的に反映したものとして扱われてきた。このシステムが機能したのは、それが実用的だったからである。つまり、学校が成果物の質に基づいてスキルを認定し、達成度をランク付けすることを可能にしていたからである。その根底にある信念は、もし学生が高い品質の成果物を生み出したのであれば、そこに至るまでの必要な思考プロセスを必ず経験したはずだ、というものであった。この「最終的な成果物」と「内部的な学習プロセス」との結びつきこそが、高等教育が成功を測るための基盤となってきたのである。

しかし、その結びつきは断たれた。人間のようなテキストやコードを生成できる能力を持つ強力な人工知能システムの台頭により、状況は一夜にして一変した。これらのツールは、かつては人間の思考と苦闘を数時間要したタスクを、わずか数秒で洗練された学術的成果物として作り出すことができる。初心者と専門家の間の境界線は事実上消失した。つまり、学生は自ら精神的な作業を行うことなく、説得力のあるエッセイや複雑なコンピュータ・スクリプトを生成できてしまうのである。これは教育における危機を生じさせている。もし最終的な成果物が、学生が教材を理解していることの証明にならないのであれば、学校はどうやって学習を評価すればよいのだろうか。従来の「アウトプット（出力）」を採点するという手法は、もはや「インプット（入力）」としての学習の信頼できる証拠ではなくなっている。

バージニア工科大学の研究者たちは、この混乱を調査し、単なるアカデミック・インテグリティ（学問的誠実性）の問題を超えて、「自動化された時代において教育はどうあるべきか」というより深い問いを投げかけている。彼らは、問題は単に学生がこれらのツールを不誠実に使用していることではなく、評価システム全体が、本来測定すべきものと乖離してしまっていることにあると主張している。学校が最終的な成果物のみを学習の唯一の証拠として頼る場合、学校は学生の実際の理解、推論、あるいは判断力を測っているのではなく、AIの使用を隠す能力や、高価なテクノロジーへのアクセス能力を測ることになってしまう。研究者たちは、現在の「不正行為を摘発すること」への注力は行き止まりであり、学校は焦点を学習のプロセスそのものへと移すべきであると示唆している。

この状況の実態を理解するために、研究者たちは北米とバングラデシュの大学に所属する20人の高等教育専門家と学生に対して調査を行った。彼らは、実際に教えている人々がこれらの新しいツールや、それらを阻止するために設計された政策をどのように感じているのかを知ろうとした。結果は、学校が行っていることと、教師が有効だと信じていることとの間の深い断絶を明らかにした。ほとんどの教育機関がAI生成物を検知するためのソフトウェアの使用を義務付けている一方で、教師自身はこれらのツールに対してほとんど信頼を置いていないことが判明した。調査では、20人中15人の回答者が、所属機関が検知ソフトウェアに大きく依存していると述べているが、その一方で、これらのツールが正確または公正であると確信しているのは20人中わずか4人であった。このギャップは、学校がプロセスの誠実さを真に信じることなく、形式的なコンプライアンス（法令遵守）を行っていることを示唆している。

研究によれば、問題はコンピュータサイエンスのような分野で特に深刻である。なぜなら、コードの「正しさ」はしばしば二値的（正しいか否か）だからである。これらの分野では、人工知能は完璧なコードを書くことに非常に長けており、正しい答えを確認するという伝統的な採点方法は、学生の理解を測る手段として無力である。また、研究者たちは、新たな形の不平等も発見した。プレミアム版のAIツールを購入できる費用を支払える学生は、無料版を使用している学生よりも、より明快で論理的な成果物を生み出していた。これは、現在の評価方法が、学生の先天的な学術的能力ではなく、より優れたテクノロジーを購入できる能力を、図らずも採点してしまっていることを意味する。さらに、無料のツールに頼らざるを得ない低所得層の学生は、二重の罰を受けることになる。すなわち、質の低い支援しか受けられないだけでなく、粗削りなAI出力を特定するように調整された検知ツールから、より強い疑いをかけられるのである。

監視重視のアプローチがもたらす人間的なコストも無視できない。研究者たちは、多くの教育者が燃え尽き症候群に陥っていると感じていることを発見した。彼らは、メンター（指導者）から「デジタル検察官」へと役割が変化していると述べている。授業を設計したり学生を助けたりすることに時間を費やす代わりに、教師は、信頼性の低い検知ソフトからのフラグに基づき、AIが使用されたことを証明するために、学生に対して立証工作を行うことに何時間も費やすことを強いられている。これは、教師と学生の関係を損なう疑念の雰囲気を作り出す。検挙されることへの恐怖は、「開示の罠」を生む。つまり、たとえAIの使用が許可されている場合であっても、結局は罰せられるのではないかと恐れて、学生がAIを使ったことを認めるのをためらう状況である。この恐怖がツールの使用を地下へと潜らせ、学習プロセスをより不透明で不誠実なものにしている。

研究者たちは、より優れた検知ソフトウェアとの敗北が決まっている戦いに挑むのではなく、評価対象そのものを変えることが解決策であると主張している。彼らは、最終的な成果物を評価することから、学習の道のりを評価することへの転換を提案している。これは、クラス内で自分の推論を説明させたり、注釈付きの下書きを提出させたり、あるいは自身の考えを弁護する口頭試験に参加させたりするなど、思考プロセスを可視化するような評価を設計することを意味する。研究者たちが「望ましい困難（desirable difficulties）」と呼ぶこれらの手法は、認知的な労力が教師の目の前で行われることを保証するものである。答えそのものだけでなく、どのようにしてその答えに到達したかに焦点を当てることで、学校は真の理解と批判的な判断力をより適切に測定することができる。

論文は、最終的な成果物を学習の唯一の証拠として用いる時代は終わったと結論づけている。古い手法に固執し続ける機関は、監視のサイクルに囚われ、モニタリングが不可能になりつつある境界線を監視するために、より多くのリソースを浪費することになるだろう。研究者たちは、この混乱は脅威であるだけでなく、より公平で有意義なシステムを構築するための機会でもあると示唆している。学習のプロセスを優先し、疑念の文化から脱却することで、大学は学生と教師が真の理解を示すために協力できる環境を築くことができる。進むべき道は、教育が「洗練された成果物を生み出す能力」ではなく、「思考という人間の能力」に焦り続けられるよう、新しい教え方と評価方法に投資する意志を持つことである。