Generative AI Adoption in Statistics and Data Science Higher Education

技術的要約：統計学およびデータサイエンスの高等教育における生成AIの採用

問題提起
生成AI（GenAI）は、概念的な説明からコーディング、モデルの解釈に至るまで、定量的STEM教育への統合が進んでいるが、高度な統計学およびデータサイエンスのコースにおいてその採用を駆動する具体的な条件については、未だ十分に検証されていない。一般的な学術的設定とは異なり、これらの分野では、概念的な推論、プログラミング、モデルの診断、およびエビデンスの評価が密接に結合していることが求められる。既存の文献は、一般的な認識や整合性の懸念に留まることが多く、学生が複雑な分析ワークフローの中にどのようにAIを統合しているのか（手順の容易さが誤った仮定や解釈を隠蔽してしまう可能性がある状況において）という、規律固有の証拠を欠いている。したがって、「採用」（意図と使用）を促進する要因が、「責任ある規律に基づいた使用」（検証、統計的判断、および透明性のある開示）をも保証するのかどうかという点に、重大なギャップが存在する。

方法論
本研究は、適応させた「技術受容モデル2（UTAUT2）」フレームワークに基づき、部分的最小二乗構造方程式モデリング（PLS-SEM）を用いて分析を行う混合研究法を採用した。

• サンプル: エジプトの私立大学において、2つの高度な定量的コース（時系列分析およびカテゴリデータ解析）に在籍する、72名の学部4年生（対象となる全人口の約70%）からデータを収集した。参加者は、統計学、数学、およびプログラミング（R/Python）に関する実質的な背景を有していた。
• 調査手法: 検証済みのUTAT2尺度を適応させた調査を用い、閉鎖型項目には5段階のリッカート尺度を使用し、4つの開放型プロンプトを設けた。概念モデルには当初、行動意図（BI）の予測因子として、パフォーマンス期待（学習指向と技術・タスク指向の次元に分割）、努力期待（EE）、促進条件（FC）、ヘドニック動機付け（HM）、および自己効力感（SE）を含めていた。さらに、BIは使用行動（UB）を予測すると定義した。
• 分析: 分析にはRのseminrパッケージを使用した。手順は以下の通りである：
  • 測定モデルの評価: 指標の信頼性（外積ローディング）、内部一貫性（Cronbach's $\alpha$, $\rho_A$, 合成信頼性）、収束妥当性（AVE）、および判別妥当性（Fornell-Larker基準、ブートストラップ信頼区間を用いたHTMT比）の評価。
  • 構造モデルの推定: パス係数（$\beta$）は、3,000回のブートストラップ再サンプリングと95%パーセンタイル信頼区間を用いて推定された。効果量（$f^2$）および$R^2$値を算出した。
  • 予測能の評価: アウトオブサンプルでの予測関連性を、PLSpredictを用いてテストした（線形モデルのベンチマークに対するRMSE/MAEの比較）。
  • 頑健性チェック: 特定の指標（例：FC2, UB3, BI3）を除去することで、平均分散抽出量（AVE）とHTMTのオーバーラップの間のトレードオフを評価する感度分析を実施した。
  • 定性的要素: 定量的知見（利点、リスク、およびポリシーへの期待）を文脈化するために、開放型回答を記述的に分析した。

主要な結果
本研究は、判別妥当性と理論的区別性に基づいて、大幅なモデルの精緻化を行った：

1. モデルの精緻化:

   • **ヘドニック動機付け（HM）**は、行動意図（BI）への意味のある寄与を示さなかったため、除外された。
   • **パフォーマンス期待（PE）**は、最終的なモデルから除外された。拡張モデルにおいて学習指向のPEパスは名目上の有意性を示したが、判別妥当性の診断により、努力期待、BI、および使用行動との実質的な重複が明らかになった。著者は、このサンプルにおいてはPEの増分的な寄与を、使いやすさや意図から明確に分離できなかったと結論づけた。
   • 最終モデル: 保持されたモデルは、EE、FC、およびSEをBIの先行要因とし、BIがUBを予測するという構成をとった。

2. 構造パス推定:

   • **努力期待（EE）**は、行動意図の最強の予測因子であった（$\beta = 0.562, p < .001$）。効果量は大きかった（$f^2 = 0.905$）。
   • **促進条件（FC）**は、2番目に強い予測因子であった（$\beta = 0.329, p = .003$）。効果量は中程度であった（$f^2 = 0.330$）。
   • **自己効力感（SE）**は、より小さいながらも有意な正の効果を示した（$\beta = 0.195, p = .006$）。効果量は小さかった（$f^2 = 0.112$）。
   • **行動意図（BI）**は、使用行動（UB）を強く予測した（$\beta = 0.709, p < .001$）。効果量は大きかった（$f^2 = 1.012$）。

3. 説明力および予測能:

   • モデルは、行動意図の分散の73.2%（$R^2$）、および使用行動の分散の50.3%を説明した。
   • 予測関連性: アウトオブサンプルでの予測的証拠は弱かった。$Q^2_{predict}$値は低く（BIに対して0.086、UBに対して0.033）、線形ベンチマークに対するRMSEの改善も限定的であった。したがって、著者はこのモデルを、他の集団に対する堅牢な予測ツールとしてではなく、主にこの特定のサンプルに対する説明的なものとして解釈している。

4. 測定妥当性の懸念:

   • 判別妥当性の問題が認められた。ブートストラップによるHTMT信頼区間は、EE-BI [0.793, 1.053] および BI-UB [0.812, 1.170] であり、いずれも1を含んでいた。これは、このサンプルにおいてこれらの構成概念を経験的に区別されたものとして扱えないことを示している。著者はパスを保持したが、これらの構成概念の理論的な隣接性に留意し、慎重に解釈した。
   • 促進条件（FC）はAVEが0.479（ガイドラインの0.50を下回る）であり、FCおよびUBのCronbach's $\alpha$も0.70を下回っていたが、合成信頼性は許容範囲内であった。

5. 定性的知見:

   • 学生は、即時性、コーディング支援、および概念の簡略化に対してAIの価値を認めていた。
   • 重大な懸念事項には、不正確な出力、批判的思考の低下を招く過度の依存、および開示ポリシーに関する曖昧さなどが含まれていた。
   • 学生は、課題への使用（検証を伴う）と、クローズドブック形式の試験での使用を区別しており、明確な検証ルーチンの必要性を強調した。

意義および主張
本論文は、普遍的な法則としてではなく、規律固有の証拠として控えめに枠付けられた、主に3つの貢献を行っている：

1. 規律固有の採用エビデンス: コーディング、診断、および解釈がAIと交差する高度な定量的STEMコース（統計学/データサイエンス）におけるGenAI採用に関する経験的データを提供し、一般的な学術的認識を超えた知見を示した。
2. 厳密な方法論的評価: 単なるパスの有意性だけでなく、効果量、予測評価、および感度分析を用いて採用の関係を評価している。著者は、サンプルサイズ（$n=72$）と測定の重複といった制限を明示的に認めつつ、統計的有意性のみに頼るのではなく、理論的な解釈可能性を優先させている。
3. 採用と責任ある使用の区別: 中心となる理論的主張は、採用（容易さ、サポート、および自信によって駆動されるワークフローへのAIの導入）は、責任ある規律に基づいた使用（出力の検証、統計的判断の行使、および透明性のある開示）とは異なるものであるという点である。本研究は、使いやすさやサポートが普及を促す一方で、それらが学生による出力の検証や、規律に基づいた推論の維持を保証するものではないことを明らかにしている。

限界
著者は以下の制約を明示的に認めている：

• 一般化の可能性: 本研究はエジプトの単一機関における焦点化された事例であり、結果を他のSTEM学生に一般化するには再現が必要である。
• サンプルサイズ: 対象人口の70%をカバーしているものの、$n=72$は構造モデリングとしては限定的であり、小さな効果やサブグループの異質性を検出する能力を制限している。
• 横断的研究デザイン: データは単一時点での自己申告に基づいている。したがって、BIからUBへのパスは関連性を示すものであり、因果関係や時間的前後関係を示すものではない。
• 測定の問題: HTMT区間に1を含むことや、FCの低いAVEは、構成概念がこの文脈において完全に区別されていないことを示唆している。
• 予測力の弱さ: モデルのアウトオブサンプルにおける予測力の弱さは、このモデルが他の集団のための予測モデルではなく、この特定の文脈のための説明的フレームワークであることを裏付けている。

結論として、本論文は、高度な統計学およびデータサイエンス教育における課題は、単にAIの採用を促進することではなく、責任ある規律に基づいた使用を構成する「検証、判断、および開示」という特定の習慣を育むことにあると主張している。