💻 computer science

What makes an Expert? Comparing Problem-solving Practices in Data Science Notebooks

本論文は、440 件の Jupyter ノートブックに対する多段階シーケンス分析を通じて、データサイエンスの専門家と初心者の問題解決プロセスを比較し、両者の違いは高レベルなフェーズ遷移ではなく、反復的で効率的なセルレベルの行動パターンや全体ワークフローの構造にあることを明らかにし、AI 時代における教育カリキュラム設計への示唆を提供しています。

原著者： Manuel Valle Torre, Marcus Specht, Catharine Oertel

公開日 2026-02-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Manuel Valle Torre, Marcus Specht, Catharine Oertel

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「データサイエンスの『プロ』と『初心者』の違いは、いったいどこにあるのか？」**という疑問に答える研究です。

結論から言うと、**「プロと初心者が使う『手順の順番』は実はほとんど同じ」ですが、「その手順をどう進めるか（スピードや繰り返しの仕方）」**に大きな違いがあることがわかりました。

この難しい研究を、**「料理」や「旅」**の例えを使って、わかりやすく解説します。

🍳 料理で例える：プロのシェフと料理初心者の違い

この研究では、440 人もの人が書いた「データ分析のレシピ（Jupyter ノートブック）」を分析しました。

1. 手順の順番は同じ（「何をするか」）

まず、驚くべき事実があります。

初心者： 材料を買いに行き、洗って、切って、炒めて、味付けして、盛り付ける。
プロ： 材料を買いに行き、洗って、切って、炒めて、味付けして、盛り付ける。

「何をするか（手順のリスト）」は、初心者もプロもほぼ同じです。
論文では、これを「データインポート」「探索的データ分析（EDA）」「モデル学習」「可視化」といった段階に分けて分析しましたが、「最初に A をして、次に B をする」という大まかな流れに、プロと初心者の間に決定的な違いはありませんでした。

2. 違いは「動き方」にある（「どうやるか」）

では、何が違うのでしょうか？ここが論文の核心です。

初心者の動き（直線的な旅）：
初心者は、「A をしたら B、B をしたら C」と、一直線にゴールを目指そうとします。
- 例え： 料理で言えば、「野菜を切ったから、次は炒める」と決め、一度切った野菜を戻すことを考えません。もし味が薄かったら、「あ、失敗した」と思って最初からやり直すか、あるいは無理やり味付けを足して完成させようとします。
- 特徴： 長い工程で、「試行錯誤」を繰り返すのではなく、「一発で終わらせよう」とする傾向があります。
プロの動き（ループする旅）：
プロは、「A をして、B を見て、あ、ここがおかしいから A のところに戻って修正して、もう一度 B をする」という、短いループ（繰り返し）を頻繁に回します。
- 例え： 料理で言えば、「野菜を炒めて味見をした。ちょっと塩気が足りない？よし、火を止めて塩を足して、また味見をする」という**「試行・評価・修正」のサイクル**を素早く回します。
- 特徴： 工程は短く、**「すぐに戻って改善する」**という柔軟な動きをします。

3. 具体的な「仕草」の違い

論文は、コードの細かい動き（セルレベル）まで分析しました。

初心者の「仕草」：
- 「特徴量エンジニアリング（データの加工）」を連続して何度も行う（「もっと加工しよう、もっと加工しよう」と、改善の判断をせずにひたすら作業を続ける）。
- データを CSV で読み込んで、すぐに表を表示して確認する（「とりあえず見てみよう」という感覚）。
プロの「仕草」：
- モデルの学習と評価を素早く交互に行う（「学習→評価→修正→再学習」のサイクル）。
- モデルの結果（係数など）を見て、そこから学習履歴を分析し、次のアクションに繋げる（「結果を見て、なぜこうなったかを考え、次の手を打つ」）。

🤖 AI 時代における重要な教訓

この研究は、「生成 AI（チャットボットなど）」が普及している今、特に重要です。

AI の落とし穴：
AI は「次のステップを教えて」と頼めば、すぐに正しいコードを生成してくれます。これにより、初心者は**「手順をただなぞるだけ」で、ゴールにたどり着けてしまいます。
しかし、それは「プロの思考」ではなく、初心者の「直線的な思考」を強化しているだけかもしれません。AI に任せてしまうと、「なぜこの手順が必要なのか？」「結果を見てどう修正すべきか？」という「プロが持っている、柔軟にループする思考」**が育たない恐れがあります。
教育への提言：
- 最終結果（料理の出来上がり）だけでなく、プロセス（調理中の様子）を評価すべき。
- 学生には、「AI に答えを聞く」のではなく、「AI を使って、自分の仮説を検証し、失敗して修正するループを回す練習」をしてほしい。
- 教育では、「正解のレシピ」を教えるだけでなく、「失敗したらどう戻るか」「どう改善するか」という**「柔軟な思考」**を教えることが、真のプロを育てる鍵です。

📝 まとめ

この論文が言いたいことはシンプルです。

「プロになるためには、特別な『手順』を覚える必要はない。
大切なのは、その手順を『直線的に進める』のではなく、『すぐに戻って改善するループ』を素早く回すことだ。」

データサイエンスの達人は、魔法のような特別な手順を知っているわけではありません。彼らは、**「試して、見て、戻して、直す」という、とても人間らしい「柔軟な動き方」**を身につけているのです。

論文概要

タイトル: What makes an Expert? Comparing Problem-solving Practices in Data Science Notebooks
著者: Manuel Valle Torre, Marcus Specht, Catharine Oertel (デルフト工科大学)
日付: 2026 年 2 月 18 日（arXiv 投稿日）

1. 研究の背景と課題 (Problem)

データサイエンス教育（DSE）において、技術的なスキル以上に重要視されるのは「創造的な問題解決能力」の育成です。しかし、エキスパート（熟練者）とノビース（初心者）が実際にどのように問題解決プロセスを実行しているかについては、実証的な理解が不足しています。

課題: 問題解決に必要な手続き的スキル（タキト知識）は、エキスパートには直感的ですが、初心者には不透明であり、直接教えることが困難です。
AI の影響: 生成 AI ツールの台頭により、学習者が思考を放棄し、タスク完了のみを重視する「表面的な行動」に陥るリスクが高まっています。
研究目的: 計算手法を用いて学習プロセスを可視化し、エキスパートとノビースの問題解決戦略の違いを多層的に分析することで、教育実践への示唆を得ることを目指します。

2. 研究方法 (Methodology)

本研究は、教育研究におけるシーケンス分析のための「5 要素フレームワーク」に基づき、以下の手法を適用しました。

データセット:
- Kaggle の「Code4ML」データセットから、テキスト分類タスク（Quora Insincere Questions Classification）に特化した 440 件の Jupyter ノートブックを抽出。
- 対象者分類: Kaggle のティア（段位）に基づき、ノビース（Novice/Contributor: n=339）とエキスパート（Expert/Master/Grandmaster: n=101）に分類。
- アウトライヤー除去のため、ノートブックの長さ（セル数）の上位・下位 5% を除外。
分析フレームワーク:
- マッピング: 11 の技術的 DS フェーズ（Code4ML）を、Wang et al. (2023) が提唱する 5 つの高次な「問題解決実践」にマッピングしました。
  1. 問題定義と分解
  2. データ収集
  3. データ記録
  4. データ解釈
  5. 振り返り（Reflection）
多段階シーケンス分析手法:
1. 全体プロセス構造の分析: 問題解決実践の全シーケンスに対して、最適マッチング（Optimal Matching）を用いた距離計算と、ウォード法による凝集階層クラスタリング（AHC）を実施。
2. フェーズ間の遷移分析: 11 の DS フェーズにおける遷移を、プロセスマイニング（Process Mining）とマルコフモデル（Markov Models）を用いてモデル化。遷移確率のクラスタリングも実施。
3. フェーズ内での微細な行動パターン分析: 特定の問題解決ステージ内での低レベルなコードアクションの連続性を、シーケンシャルパターンマイニング（Sequential Pattern Mining: PrefixSpan）で抽出。
統計的検証: クラスタ所属と専門性レベル（ノビース vs エキスパート）の関連性をカイ二乗検定で評価。

3. 主要な結果 (Results)

RQ1: 特徴的な問題解決戦略の特定
- 全体構造: 3 つのクラスタが特定されました。
  - クラスタ 1: 長くて直線的なプロセス（ノビースに多い）。
  - クラスタ 2: 短く反復的なプロセス、データ収集の 2 番目のピークが早い（エキスパートに多い）。
  - クラスタ 3: データ解釈の割合が高い。
- フェーズ遷移: 高次な 5 つのフェーズ間、あるいは 11 の詳細フェーズ間の遷移順序自体には、ノビースとエキスパートの間に本質的な違いは見られませんでした。両者とも類似したワークフロー順序（例：データインポート→EDA→モデル訓練など）をたどります。
- 微細な行動パターン: 特定のフェーズ内でのコードアクションの組み合わせに明確な違いが見つかりました。
  - ノビース: feature engineering の連続、load from csv の後に show table を実行するなど、探索的かつ直線的なパターン。
  - エキスパート: import modules の反復、model class と fit/compile の効率的な組み合わせ、save to csv の反復など、モデル構築や評価に特化した反復的なパターン。
RQ2: 専門性レベルによる戦略の識別可能性
- 全体構造: クラスタリング結果と専門性レベルの間には統計的に有意な関連性がありました（ $\chi^2 = 11.85, p = 0.0027$ ）。ノビースは直線的なクラスタに、エキスパートは反復的・効率的なクラスタに過剰代表されました。
- フェーズ遷移: マルコフモデルに基づくクラスタリングと専門性レベルの間には有意な関連性は認められませんでした（ $p = 0.97$ ）。つまり、「どのフェーズからどのフェーズへ移動するか」という順序そのものではなく、「その中でどのように行動するか」が専門性の鍵です。
- 微細行動: 上記の行動パターン（例：エキスパート特有の model class, fit 連鎖）が、高次な戦略の違い（反復的 vs 直線的）を裏付ける具体的な証拠となりました。

4. 主要な貢献と知見 (Key Contributions)

専門性の定義の再考: データサイエンスにおけるエキスパート性は、「異なるフェーズ順序をたどる」ことではなく、「同じ順序の中で、より短く、反復的（イテレーティブ）、かつ効率的な微細な行動パターンを実行する」能力にあることを実証しました。
多粒度分析の枠組みの適用: 高次な戦略構造、フェーズ間遷移、微細な行動パターンの 3 つのレベルで分析を行うことで、表面的には似ているプロセスの奥にある本質的な違いを浮き彫りにしました。
生成 AI 時代への示唆: 生成 AI がコード生成を自動化する時代において、学習者が陥りやすい「直線的・受動的なタスク完了」を避け、エキスパートのような「戦略的・反復的・反射的」な思考を育成する必要性を強調しました。

5. 教育的示唆と意義 (Significance)

カリキュラム設計: 単なるツールやアルゴリズムの暗記ではなく、反復的かつ柔軟な問題解決プロセスそのものを教えるべきです。プロジェクト型学習を通じて、ワークフローを循環させる経験を積ませる必要があります。
評価方法: 最終成果物（モデル精度やノートブックの完成度）だけでなく、学習者が辿った「行動の順序と構造」を評価するプロセス指向の評価を導入すべきです。
インテリジェント支援システム: 学習者のノートブックの行動パターンをリアルタイムで分析し、ノビース的な直線的な進捗を検知した際に、エキスパート的な反復的思考（例：「モデル評価前に特徴量エンジニアリングを繰り返す前に、まずモデルの解釈性を確認しましょう」など）を促すような AI 支援ツールの開発が可能になります。
生成 AI との共存: AI ツールを「次のステップを生成する道具」ではなく、「思考のパートナー」として活用し、批判的思考と反復的改善を促進する教育アプローチが不可欠です。

結論

この研究は、データサイエンスのエキスパート性は「何をするか（フェーズの順序）」ではなく「どのように行うか（反復的・効率的な微細行動）」に宿ることを明らかにしました。教育においては、AI ツールの活用が進む中で、学習者が単なるコードの生成者ではなく、戦略的かつ柔軟な問題解決者へと成長できるよう、プロセスそのものに焦点を当てた指導と評価が求められています。