Conceptualising and Measuring Epistemic Dependence in AI-Mediated Learning: Development and Initial Validation of the ED-AIL Scale

あなたの脳を、活気ある建設現場だと想像してみてください。何世紀もの間、作業員（あなた）は、教科書、教師、図書館、友人といった、信頼できる道具が入った道具箱に頼ってきました。これは科学者が「認識論的依存（epistemic dependence）」と呼んでいるもので、要するに、私たちは皆、世界の理解を築くために助けを必要としているということです。これは悪いことではありません。実際、それが私たちの学び方なのです。しかし今、この現場に、非常に高速で、非常におしゃべりな新しいロボットがやってきました。生成AI（GenAI）によって動かされているこのロボットは、単にあなたにハンマーを手渡すだけでなく、設計図を書き、セメントを混ぜ、さらにはあなたの壁が真っ直ぐかどうかさえ教えることができます。大きな疑問は、そのロボットが役に立つかどうかではありません。それは明らかに有用です。本当の懸念は、「どの時点で私たちはロボットの仕事を確認することをやめ、ロボットにすべてを任せてしまうのか？」という点です。これは「無批判な認識論的依存（uncritical epistemic dependence）」の領域です。そこでは、ロボットが単に推測しているだけでも、それが常に正しいと信じ込み、事実を確認するために自分の脳を使うことをやめてしまう可能性があるのです。

この論文は、そのロボットがどれほど私たちの思考を乗っ取っているかを正確に測定するための「定規」を作ることについて書かれています。研究者のYiran DuとBin Zouは、「ED-AILスケール」と呼ばれる新しいツールを作成しました。これは「脳のオフロード（肩代わり）検知器」と考えてください。彼らは単に「AIを使っていますか？」と聞いたのではありません。なぜなら、電卓を使うことが数学の解き方を忘れたことを意味しないからです。その代わりに、彼らはこう尋ねました。「AIが、何が真実か、難しい概念が何を意味するか、あるいは自分の答えが十分であるかどうかを判断することを、自分自身でダブルチェックすることなく、AIに任せていますか？」彼らはこの定規を、イギリス、アメリカ、ヨーロッパの約1,550人の大学生に対してテストしました。結果は、この定規が、学生が研究、概念の理解、そして答えが正しいかどうかの判断において、どの程度AIに主導権を渡しているかを特定する上で、かなりうまく機能することを示唆しています。しかし、この定規は、学生が次に何を学ぶべきか、あるいはどのように学習を計画すべきかをAIに決定させているかどうかを測定する際には、少し不安定になります。この研究は、この「ロボットによる乗っ取り」が現実的で測定可能な現象であることを裏付ける一方で、この定規を個々の学生を罰したり、AIを使うことが常に悪いと言ったりするために使わないよう注意を促しています。これは問題を理解するためのツールであり、一晩で解決するための魔法の杖ではありません。

「脳のオフロード検察器」の物語

問題：ロボットがボスになったとき
あなたが物語を書いていると想像してください。あなたは超スマートなロボットにアイデアを求めます。もしあなたがそのアイデアを取り入れ、微調整し、それが意味を成すか確認した上で、自分自身のバージョンを書くとしたら、それは「有能な副操縦士」を持っているようなものです。しかし、もしロボットが物語全体を書き、あなたはそれをただコピー＆ペーストし、「待てよ、これは本当に正しいのか？」「これは意味が通るのか？」と一度も問いかけないとしたら、あなたは操縦桿を渡してしまったことになります。著者たちはこれを「無批判な認識論的依存」と呼んでいます。これは、あなたがどれくらいの頻度でロボットを使うかということではありません。あなたが「精神的な重労働」を行うのをやめてしまうかどうかについての問題なのです。

研究者たちは、既存のツールではこの特定の問題を捉えられないことに気づきました。あるツールは、あなたがどれほどロボットを「信頼」しているかを測定し、別のツールは、あなたがどれほど頻繁にそれを使用するかを測定し、また別のツールは、ロボットについてどれほど知っているかを測定します。しかし、あなたが自分で考えることをやめ、ロボットの出力を最終的な真実として受け入れてしまう瞬間を測定するものは、どれもありませんでした。

定規の構築（ED-AILスケール）
これを解決するために、チームは23の質問からなる新しいスケールを構築しました。彼らは61の質問からスタートし、専門家や学生に音読してもらうことで、それらが意味を成すかどうかを確認しながら、質問を絞り込んでいきました。完成した定規は、学生がロボットに主導権を渡す可能性がある5つの具体的な方法を測定します。

1. 知識獲得（「検索」の罠）： ロボットが要約を提示した後、他の情報源を探すのをやめてしまいますか？（例：「AIの概要を読んだ後、それを補完したり異議を唱えたりするような他の情報源を探すのを、しばлоよくやめてしまう」）
2. 概念解釈（「意味」の罠）： 難しい概念に対するロボットの説明を、唯一の真実として受け入れてしまいますか？（例：「自分の解釈がAIの説明と異なる場合、通常はAIのバージョンに合わせて自分の理解を修正する」）
3. 認識論的評価（「審判」の罠）： 自分の答えが正しいか、あるいはソースが信頼できるかどうかを、ロボットに判断させますか？（例：「AIが議論が弱いと言った場合、自分で確認する前に、通常はその通りだと扱う」）
4. 知識生産（「執筆」の罠）： ロボットの構成案や言い回しに、自分自身の執筆を左右されますか？（例：「AIが生成したアウトラインが、私の学術的な作業の構造を決定することが多い」）
5. 認識論的調整（「プランナー」の罠）： 次に何を学ぶべきか、あるいはいつ学習を完了したとみなすべきかを、ロボットに決定させますか？（例：「十分に理解できたかどうかを判断するためにAIを使用する」）

定規が見つけたこと
研究者たちは、この定規を2つの大きなグループの学生に対してテストしました。以下はその結果です。

• 強み： この定規は、最初の3つの領域、すなわち情報の検索、概念の理解、および回答の判断において非常によく機能しました。学生の回答は一貫しており、質問は意図した通りに明確に測定していました。
• 弱み： この定規は、最後の2つの領域、特に「認識論的調整（計画）」においては信頼性が低いものでした。この部分の質問は、他の項目ほど密接に結びついていませんでした。著者らは、学習を計画することは非常に大きく複雑なタスクであるため、現在の質問ではそれを完璧に捉えきれていない可能性があると考えています。
• 「ロボット vs 人間」の検証： 定規が単に学生がどれほどロボットを好んでいるかを測定しているのではないことを確認するため、彼らは他のテストと比較しました。その結果、この定規で高得点を得た学生は、実際に情報源を確認したり、ロボットのミスを見つけたりする可能性が低いことがわかりました。ただし、その関連性はそれほど強くはなく、この定規は、学生が現実の特定のタスクをどれほど上手くこなせるかではなく、ロボットに対する特定の「態度」を測定していることを意味しています。

この定規が「ではない」もの
この研究が「見つけなかったこと」を理解しておくことは極めて重要です。著者は非常に明確に述べています。

• これは嘘発見器ではありません： このスケールを、特定の学生の学問的不正行為や「依存」を告発するために使用することはできません。これは研究ツールであり、法廷の証拠ではありません。
• これはAIの禁止ではありません： この研究は、AIを使うことが悪いと言っているわけではありません。言っているのは、「無批判な」依存がリスクであるということです。AIを毎日使いながらも、自分の仕事をチェックしている学生もいます。このスケールは、チェックを行わない学生を測定するものです。
• これは最終的な判決ではありません： 著者らは、自分たちの「プランナー」セクションが不安定であり、さらなる改善が必要であることを認めています。また、この研究はオンラインで行われ、英語の話し手を対象としているため、異なる国籍の学生や、エンジニアリングや芸術などの異なる分野を学ぶ学生に対しても、この定規が同様に機能するかどうかは不明であることも指摘しています。

なぜこれが重要なのか
この研究は、教育者や研究者に、AIについて語るための新しい方法を提供します。単に「学生はAIを使いすぎている」と言う代わりに、「学生はAIに思考をさせてしまっていないか？」と問うことができるのです。著者らは、もし学校が支援したいのであれば、単にロボットを禁止するのではなく、学生にロボットの仕事をチェックさせ、複数の情報源を比較させ、なぜAIに同意するのか、あるいは反対するのかを説明させるような課題を設計すべきだと提案しています。

要するに、ED-AILスケールは、新しい領域への地図の「初稿」です。それは、「無批判な依存」という崖がどこにあるかを示してくれますが、その地図がまだ完璧ではないことも警告しています。私たちは、学習の未来を導くために、この地図を引き続け、テストし、洗練させていく必要があるのです。