Engagement Intensity as a Learner-Modeling Signal for Adaptive AI Ethics Instruction

技術的要約：適応型AI倫理教育における学習者モデリング信号としてのエンゲージメント強度

問題提起
AI倫理教育を受ける大学院生は、大規模言語モデル（LLM）に関する既往の経験や、その能力に対する認識が多様である。確立されたAIリテラシーの枠組みは学習者中心の指導を強調しているが、指導の個別化（パーソナライゼーション）を目的とした際、どの事前導入（インテーク）特徴量が学習者を最も適切に差別化できるかについての経験的証拠は不足している。直感的なプロキシ（代用指標）である過去の履修科目やワークショップへの参加などは、研究環境における効果的な適応型設計に必要な差異を捉えられるかどうか、行動的信号と比較して厳密に検証されていない。

方法論
本研究では、UCLAの必須科目である研究倫理（RCR）コースに登録している、バイオサイエンス分野の大学院生および博士研究員93名を対象とした、指導前調査データを分析した。研究では、3つの候補となるインテーク特徴量を評価した：

1. 自己報告による使用頻度（順序尺度、5段階：全く使用しない〜毎日）
2. 自己評価によるLLMの習熟度（順序尺度、5段階：全く知らない〜非常によく知っている）
3. 事前のAI教育歴（カテゴリ変数：フォーマル、インフォーマル、またはなし）

これらの特徴量を、5つの焦点となる知覚アウトカム（それぞれ5段階のリッカート尺度で測定）に対してテストした：

• 正確性への信頼（一般的な科学情報に対するLLMの正確性への信奉）
• 判別能力（事実と誤ったLLMの出力の分離能力）
• 複雑なタスクへの信頼（微妙な倫理的・科学的概念に対するLLMへの信頼）
• 批判的思考のリスク（過度な依存が批判的思考を損なうという信念）
• トレーニングへの関心（フォーマルなLLMトレーニングへの関心）

統計分析には、順序予測変数（使用頻度および習熟度）に対してはスピアマンの相関係数を、カテゴリ予測変数（教育歴）に対してはクラスカル＝ウォリスのH検定を用いた。多重比較に対処するため、各予測変数ファミリー内の5つのアウトカムに対してHolm補正を適用した。二群間の対比における効果量は、Cliffのδを用いて要約した。

主な結果
分析の結果、インテーク特徴量の予測能において明確な階層性が明らかになった：

• 使用頻度： この特徴量は、5つすべてのアウトカムに対してHolm補正を通過し、最も強力かつ一貫した関連性を示した。複雑なタスクへの信頼（$\rho = .409$）、正確性への信頼（$\rho = .370$）、および批判的思考のリスク（$\rho = -.346$）において最大の効果量を示した。
• 自己評価による習熟度： これは意味のある、しかしより弱い二次的な信号として機能し、判別能力、複雑なタスクへの信頼、および批判的思考のリスクの3つのアウトカムについてHolm補正を通過した。関連のパターンは「ボトムアンカー型（下限固定型）」であり、低習熟度（知らない、あるいは少し知っている）の段階では明確な分離が見られたが、高い習熟度レベル間では中央値が同一になることが多かった。
• 事前のAI教育歴： 3群コーディング（フォーマル／インフォーマル／なし）も、2群に統合したコーディング（既習／未経験）も、Holm補正後には5つすべてのアoutcomesとの統計的に有意な関連を示さなかった。最大の効果量も無視できる程度であった（Cliffの $|\delta| < .19$）。

注目すべき発見は、使用頻度・習熟度と批判的思考のリスクとの間の負の相関である。ヘビーユーザーおよび習熟度が高いと感じている学習者は、過度な依存が批判的思考を損なうことへの懸念が低いと報告していた。

主な貢献

1. インテーク特徴量の比較検証： 本研究は、バイオサイエンス分野の大学院生において、単純な行動的信号（報告された使用頻度）や自己認識信号（習熟度）が、教育履歴のラベル（過去の履修科目やワークショップ）よりも、指導前のセグメンテーションにおいてより情報量が多いことを実証的に示している。
2. 閾値効果の特定： データは、特にトレーニングへの関心や正確性への信頼において、一様な勾配ではなく閾値のようなパターンを示唆している。すなわち、非ユーザーと何らかの継続的なユーザーとの区別は、使用頻度のレベル間の差異よりも顕著である。
3. キャリブレーション（較正）に関する懸念： 結果は、高度にエンゲージメントの高い学習者（高い使用頻度／習熟度）が、過度な依存のリスクに対する感受性が低いという、潜在的なキャリブレーションの問題を浮き彫りにしている。これは、このサブグループに対するターゲットを絞った指導介入の必要性を示唆している。

意義と主張
本論文は、短時間の指導前調査を用いることで、報告されたLLMの使用状況と自己評価による習熟度を優先することにより、適応型のAI倫理教育のための軽量なインテーク・プロファイリングが効果的に達成できると主張している。著者らは、これらの行動的および自己認識的信号が、基礎的なオリエンテーションを必要とする学習者と、信頼、過度な依存、および失敗モードに関するキャリブレーションに焦点を当てた学習を必要とする学習者を区別するための、より信頼できる基盤を提供すると論じている。

本研究は、これらの知見が関連性と横断的なものであることを明示しており、測定が単一項目の自己報告に基づいているため、因果関係や多項目による信頼性を主張することはできないとしている。著者らは、これらの信号はインテークレベルのグルーピングには有用であるが、そのような差別化された指導が実際に学習成果を向上させるかどうかを判断するには、将来的な介入研究が必要であると結論付けている。