The comparative evaluation of explanations for algorithmic programming problems provided by a Human vs. ChatGPT: an exploratory online user study

教室において、生徒と教師の関係は、人間の指導者が複雑な概念を理解しやすいステップへと分解していくという、知識の交換によって長らく定義されてきました。今日、新しい種類のガイドが教室に登場しています。それが人工知能です。これらのシステムは、テキストを生成し、数学の問題を解き、コンピュータコードを書くといった作業を、人間の専門家に匹らするスピードで行うことができます。しかし、教育者や保護者にとって、極めて重要な問いが残されています。生徒が学習しようとしているとき、「誰が説明しているか」は重要なのでしょうか。人間によって作られた解決策と、機械によって生成された解決策との間に、根本的な違いはあるのでしょうか。そして、学習者はその違いを見分けることができるのでしょうか。この問いは、プログラミングの難解な課題に対する説明が、生身の人間ではなくデジタルキャラクターによって提供された場合、生徒がそれをどのように認識するかを探求した最近の研究の中核に位置しています。

研究チームは、カザフスタンの大学に所属する科学者たちであり、この新興技術の限界を試すために、37人の高校生を対象とした実験を行いました。彼らは初心者ではありませんでした。参加者は15歳から17歳で、数学や科学のコンテストのためのトレーニングを行うことで知られる専門校の生徒たちでした。彼らはすでに数年間コーディングを学んでおり、多くは小学校時代から始めていました。目的は、これらの経験豊富な若いプログラマーが、人間によるインストラクターが書いた解決策と、テキストやコードを生成できる大規模言語モデル（一種の人工知能）によって作成された解決策を区別できるかどうかを確認することでした。テストを公平にし、声や外見によるバイアスを取り除くために、研究者は3Dのアニメーションキャラクター、すなわちアバターを使用して説明を行いました。このデジタルな姿はコンピュータ生成の声で話すため、生徒たちが声のトーンや感情といった人間の手がかりを利用して、ソース（情報源）を推測できないように配慮されました。

実験は一連のチャレンジ形式で構成されました。生徒たちには5つの異なるプログラミング問題が提示され、それぞれに解決策と解説が添えられていました。これらの問題は、競技プログラミングでよく使われるオンラインプラットフォームから引用されたものです。各問題において、解説は同じ3Dアバターによって提供されましたが、コードのソースは様々でした。あるケースでは、コードと解説はウェブサイト上で問題を解いた人間の専門家によるものでした。また別のケースでは、コードは人工知能システムによって生成されたものでした。生徒たちはアバターが解決策を説明する様子を視聴し、その後、一連の質問に答えました。彼らは、教材をどの程度理解できたか、コードが人間によって書かれたものか機械によって書かれたものかを推測し、さらにアバター自体についても評価しました。研究者たちはまた、プログラミングの経験やデジタルアバターとの過去の接点が、生徒たちの識別能力に影響を与えたかどうかも確認しました。

研究結果は、生徒たちがこのテクノロジーとどのように関わっているかについて、驚くべき洞察を与えました。コードのソースを特定するよう求められた際、データは微妙なパターンを明らかにしました。参加者は、実際にChatGPTによって提供されたタスクに対しては、より頻繁に、かつ断定的に「ChatGPTによって提供された」と選択しました。しかし、人間によって提供されたタスクについては、より躊躇が見られ、ソースの選択は人間とAIの間で均衡していました。これは、生徒たちがAI生成のコンテンツをある程度の確信を持って識別できた一方で、人間の解決策を区別することはより困難であり、明確で一貫した識別能力というよりは、正解と不正解が混在する結果となったことを示唆しています。生徒たちは、コードが人間によるものか機械によるものかにかかわらず、解決策に対する理解度は同程度であると評価しました。さらに、本研究では、生徒のバックグラップドが結果を変えることはないことも判明しました。小学校からコーディングを始めたか高校から始めたか、あるいはデジタルアシスタントとのやり取りの経験があるかどうかにかかわらず、ソースを識別する能力やエンゲージメントのレベルに大きな影響はありませんでした。

生徒たちは二つのソースの間の違いを容易に判別することはできませんでしたが、提供方法に関するフィードバックはより批判的でした。両方の解決策のナレーターを務めた3Dアバターは、賛否両論の評価を受けました。多くの生徒が、キャラクターの声は単調で、人間の話し方のような自然なリズムに欠けると指摘しました。彼らは、アバターの動きが時として反復的であり、話されている言葉と必ずしも一致していないことを指摘し、それが複雑なコードのロジックに集中することを難しくさせていると述べました。一部の生徒は、キャラクターのロボット的な性質が、学習体験をより個人的でないものにし、理解を難しくさせていると感じました。こうした批判にもかかわらず、全体的な感情は楽観的でした。ほとんどの生徒は、特に教師がいない時に難しい概念を説明するためのツールとして、このようなテクノロジーが将来的に有用であると考えていました。彼らは、現在のアバターには欠点があるものの、音声やアニメーションを改善すれば、教育における価値ある追加要素になり得ると認めました。

本研究は、人工知能が明快さと正確さの面で人間による説明と区別がつかないレベルに急速に達しつつある一方で、提供される媒体（メディア）がいまだ重要であることを結論付けています。生徒たちは、学習の補助手段としてこのテクノロジーを受け入れる意向がありましたが、現在のデジタルアバターの限界を鋭く指摘しました。研究は、これらのツールが進歩するにつれ、生成されるコードの質だけでなく、提供されるインタラクション（相互作用）の質へと焦点を移さなければならないことを示唆しています。教育者にとって、この知見は、生徒たちが間もなく機械生成のコンテンツから効果的に学ぶことができるようになる一方で、静止した単調なアバターにはまだ再現できない、教員特有の「つながり、適応し、関与する」という人間的なタッチが依然として重要であることを意味しています。教育の未来は、人間の教師と知的な機械とのパートナーシップを伴うものになるでしょうが、そのパートナーシップへの道は、デジタルツールを、それらが支援すべき人々と同じくらい魅力的なものへと洗練させていくプロセスを必要としています。