Changes in Coding Behavior and Performance Since the Introduction of LLMs

技術要約：LLMの導入以降におけるコーディング行動とパフォーマンスの変化

問題提起
大規模言語モデル（LLM）およびエージェンティックなコーディングツールのソフトウェア開発ワークフローへの急速な統合は、学生がプログラミング課題に取り組む方法を根本的に変えてしまった。これらのツールは生産性の向上を約束する一方で、教育者に重大な課題を突きつけている。それは、学生の真の理解とAI生成された出力をどのように区別するか、そして「コーディングの機械的な負担」がオフロードされた際に、学習目標が達成されているかどうかをどのように評価するかである。既存の文献では、LLMが学習に与える影響について、チュータリング効果による強化から過度な依存による弊害まで、相反する見解が示されている。LLMの大量普及の前と後で、コーディング行動と学習成果が具体的にどのように進化したかを定量化した、長期的な実証的エビデンスは不足している。

方法論
本研究は、カーネギーメロン大学の大学院レベルのクラウドコンピューティング・コースにおけるソースコード提出物を分析する、準縦断的研究デザインを採用している。データセットは10学期分（2020年秋から2025年春まで）を対象としており、ChatGPTのリリース（2022年11月）前の5学期と、リリース後の5学期で構成される。

• データソース: 分析は、721人のユニークな学生登録者による2,066件の提出物に焦点を当てている。
• タスクの選択: 分析の主眼は、個人のプロジェクト内にある特定の静的な課題（「PageRankタスク」）である。このタスクは、仕様とスターターコードが変更されていないため、直接的な比較が可能であるという理由で選定された。これは、最小限のスターターコード（60行）を用いて、ソーシャルグラフ上のPageRankアルゴリズムを実装するものである。
• 定義された指標:
  • コーディング行動: 提出回数（試行回数）、総編集距離（Myersアルゴリズムを用いた連続する提出間の行変更の合計）、および平均編集距離。
  • パフォーマンス: タスクスコア（最終的なPageRank提出物の自動採点スコア）、IPスコア（個人プロジェクトのトップ5スコアの合計）、およびTPスコア（チームプロジェクトのスコア）。
  • 学習効率: 「平均提出効果」と定義される、連続する提出間のタスクスコアの変化の平均を、提出回数で除したもの。
• 制約事項: 個人プロジェクトにおいては、コラボレーションおよびAI支援によるコーディングは禁止されていた。本研究は、学生が誤用を過小報告する可能性があることを認め、自己申告によるLLM使用量ではなく、行動のプロキシ（編集距離や提出パターン）に依拠している。

主要な結果
本研究は、LLMの導入後にコーディング行動とパフォーマンスの相関関係における統計的に有意な変化を特定している。

1. 行動の変化（ポスト2022年）:

   • 提出ボリュームの増加: 学生1人あたりの提出回数の中央値が増加した（2回から3回へ）。
   • コードボリュームの拡大: 総編集距離の中央値が500%増加し、平均編集距離の中央値が300%増加した。これは、学生が提出の間に、より大きく、より漸進的ではない変更を行っていることを示唆している。
   • コードの肥大化: 完全なスコアを得るための最終提出物は、コードの行数が大幅に多くなっている（図1に示される通り）。これは、要求されていないフォーマット、ドキュメント、またはボイラープレートを生成するLLMの傾向と一致している。

2. パフォーマンスの成果:

   • タスクスコア: 安定しており、すべての学期においてほぼすべての学生がPageRankタスクで満点を獲得している。これは、タスク自体がパフォーマンスを差別化するには単純すぎる可能性を示している。
   • 個人プロジェクト（IP）スコア: ChatGPT導入後、平均スコアがわずかに低下した。
   • チームプロジェクト（TP）スコア: 中程度の増加が見られた。これは、AIが有能な個人を助ける「非公式なチームメンバー」として機能している可能性を示唆している。

3. 相関関係と効率性:

   • 学習効率の低下: 「平均提出効果」（1回の編集あたりのスコア向上）は、2024年春から大幅に減少した。学生はより多くの編集を行っているが、スコアの獲得は小さくなっている。
   • 負の相関: 平均編集距離とIPスコアの間には、統計的に有意な負の相関（$corr = -0.16, p < 0.001$）が存在する。平均編集距離が60行増加するごとに、IPスコアは約1%低下する。
   • チームダイナミクスの変化: ChatGPT以前は、高い編集距離は低いチームスコアと相関していたが、ChatGPT以降はこの相関が消失した。これは、LLMがチーム設定内での個人の学習のギャップを隠蔽している可能性を示唆している。

主要な貢献

• 実証的エビデンス: 本研究は、LLMの普及前後の期間を特定して分離した、10学期連続のコーディング行動の変化に関する包括的な縦断的データを提供する初の包括的な研究である。
• 行動プロキシ: 直接的な使用ログがない場合でも、増加した編集距離と提出回数、およびスコア向上の減少が、潜在的なLLLLMへの過度な依存を示す強力な行動指標として機能することを確立した。
• パフォーマンスと学習のデカップリング: 本研究は、高い課題スコア（タスクスコア）が必ずしも学習効率を保証しないことを示している。学生は、より「肥大化した」コードと、より戦略的ではない反復を用いて、完全なスコアを達成できる。これは、真の問題解決能力の低下を覆い隠している。

意義と主張
著者らは、観察された行動の変化は、学生がLLMに過度に依存しており、それが表面的なパフォーマンスの安定または向上にもかかわらず、学習成果に悪影響を及ぼしているという仮説と一致していると主張している。

• 教育的な警鐘: これらの知見は、LLM時代に労働市場に参入する最初の世代に対する懸念を呼び起こしている。データは、効率的かつ漸進的なコードを書く能力や、要求されていない過剰な変更を生成するツールへの依存が低下している可能性を示唆している。
• 評価のミスマッチ: 現在の評価手法は、AI拡張された世界で求められるスキルと乖離している可能性がある。本論文は、最終的な出力（スコア）のみに焦点を当てた指標は、学習の「プロセス」における劣化を捉えられないと論じている。
• 「ケンタウロス」モデル: 本論文は、教育哲学の転換を提案することで結論付けている。チェスの「ケンタウロス」モデル（人間＋機械が単独のいずれよりも優れている状態）を引き合いに出し、人間の開発者の役割は、戦術的なコード生成から、戦略的な監督（抽象化の定義、コンポーネントの統合、および出力の批判的評価）へと移行していると示唆している。著者らは、教育課程と評価が、単にコードを孤立して生成する能力ではなく、これらの戦略的なコンピテンシーを測定するように進化することを求めている。

本論文は、直接的な使用データがないため、すべての学生のLLM誤用を決定的に証明することはできず、他の要因（例：ソリューションの共有）の可能性も認めているが、統計的な傾向は、プログラミング課題へのアプローチや学習方法における体系的な変化を強く示唆している。