CodeStylist: Supporting Early Undergraduate Programmers with Course-Aware Code Style Feedback

あなたは物語の書き方を学んでいるところだと想像してください。プロット（筋書き）が筋が通っており、キャラクターが適切に振る舞い、結末が納得のいくものである必要があることは分かっています。しかし、そこにはもう一つの層があります。あなたの先生は、特定のフォントを使い、段落をちょうど良い具合にインデントし、「そして（And）」で文章を始めるのを避けるように求めています。もしプロットが正しくても、フォーマットが間違っていれば、点数を失うかもしれません。コンピュータ・プログラミングの世界では、この「フォーマット」はコードスタイルと呼ばれます。これは、コンピュータがプログラムを実行できるかどうか（それがプロットです）ではなく、コードがどれだけ綺麗で、整理されており、他の人間にとって読みやすいかという問題です。

長い間、教師たちはこれに苦慮してきました。彼らは生徒にこうした「丁寧さのルール」を学んでほしいと考えていますが、それに対してフィードバックを与えるには膨大な時間がかかります。もし教師が学期の終わりにまで待ってから、「おい、変数の名前のフォントが間違っているぞ」と言ったとしても、生徒はすでにそのレッスンを忘れてしまっています。最近、**大規模言語モデル（LLM）**と呼ばれる新しいタイプの「スマート・アシスタント」が登場しました。これらは、あなたのコードを読み、それについてあなたとチャットができる、超スマートなロボットだと考えてください。しかし、ここには落とし穴があります。これらのロボットは一般的なアドバイスには長けていますが、あなたの特定のクラスの「具体的なルール」については知らないことが多いのです。彼らは、あなたが地元の学校のルールに従うことを望んでいるのに、まるで別の国のプロフェッショナルのように振る舞うよう指示してくるかもしれません。

これが、パーデュー大学の研究チームがCodeStylistという新しいツールで解決しようとした問題です。彼らは、あなたがコードを書いている最中に、提出した後ではなく、適切なヒントを与えてくれる、まさに「あなたの特定の先生」が何を求めているのかを正確に理解しているロボットを構築できるかどうかを検証したかったのです。彼らは単にツールを作っただけでなく、教師やティーチング・アシスタント（TA）のグループにそれを試してもらい、それが本当に役に立つものなのか、それとも学生を混乱させるだけの派手なおもちゃなのかを尋ねました。

実験：シラバスを知っているロボット

研究者たちは、コーディングを学ぶ学生のためのパーソナル・エディターとして機能するウェブアプリ、CodeStylistを構築しました。CodeStylistは、「コードをより綺麗にしてください」といった一般的なアドバイスをするのではなく、特定のコースの特定の「スタイルガイド」に基づいて**設定（構成）**されています。それは、まさにあなたの先生のシラバスやルーブリック（評価基準）の正確なテキストを参照するように与えられたロボットを持っているようなものです。

実際の現場では、このように動作します：学生は、単一のファイルだけでなく、プロジェクト全体を含む可能性のあるコードファイルをアップロードします。彼らがツールに「これは私のC言語のクラス用です」と伝えると、ツールはそのコードを大規模言語モデル（AI）に送信します。AIはコードを読み、特定の行を指し示すレポートを生成します。例えば、「おい、42行目だけど、君はこの変数を『x』と名付けているけれど、クラスのルールでは変数は『totalScore』のように説明的な名前にすべきだ。あと、ここには何をしているかを説明するコメントを忘れているよ」といった具合です。

極めて重要な点として、この研究でテストされたバージョンでは、ツールはこれらの判断を完全にAIに依存していました。 事実を確認するための別の厳格なコンピュータ・プログラム（決定論的なチェッカー）は備わっていませんでした。AIに対して、ルールを見つけ出し、間違いを一度に特定することを求めたのです。

目標は、学生のためにコードを修正したり、成績をつけたりすることではありませんでした。目標は、「修正の相棒（リビジョン・バディ）」として機能すること、つまり、ボタンを押して提出する前にミスを見つけるのを助けるツールとなることでした。研究者たちは、こう知りたかったのです。教師はこのロボットを信頼するだろうか？ 学生は実際にこれを使うだろうか？ そして最も重要なのは、ロボットのアドバイスが、教師が実際に求めていることと一致するかどうかです。

教師たちの声：賛否両論

これを知るために、研究者たちはパーデュー大学のコンピュータサイエンス・コースの指導スタッフ18名（ティーチング・アシスタントと1名のインストラクター）を集めました。彼らは実際に毎週学生のコードを読んでいる人々です。彼らにツールを与え、以前見た実際のコードの例を使ってテストしてもらいました。その後、彼らはアンケートに答え、率直な意見を共有しました。

結果は、俳優たちが懸命に演じているものの、脚本に編集が必要な学校の劇のようなものでした。

良いニュース：
教師たちは、その「アイデア」自体は素晴らしいという点で一致しました。彼らは、CodeStylistが「目に見えないルール」を可視化できることを認めました。ある教師は、それは瞬時にスタイルの間違いを見つけ出す「第二の目」を持つようなものだと指摘しました。彼らは、学生が少なくとも週に一度はコードをチェックすると予測し、学生は実際にこのツールを使うだろうと考えていました。教師たちは、これがスタイルエラーを最終的な成績が出る前にキャッチするための役立つ方法であり、長期的には全員の時間を節約できると感じました。

悪いニュース（そして大きな懸念）：
主な問題は**「信頼」**でした。教師たちは、ロボットの回答を完全には信頼していませんでした。

• 正確性： ロボットがどの程度の頻度で正解したかを尋ねたところ、教師たちの予想による平均は**60.7%**でした。つまり、10回中4回近くは、ロボットが間違っていたり、紛らわしかったり、あるいはクラスのルールと一致しないアドバイスをしたりする可能性があるということです。このツールは、厳格な「スペルチェッカー」のようなバックアップなしにAIのみに依存していたため、時として何かを見逃したり、作り話をしたりすることがありました。
• 有用性： 1から5のスケールで、教師たちは回答の「助けになる度合い」を3.50、「有用性」を3.33と評価しました。これらは「まずまず」のスコアですが、「素晴らしい」というほどではありません。
• 学習： 最大の懸念は、このツールが実際に学生の「学習」に役立つかどうかでした。「期待される学生の学習効果」の平均評価は5点満点中2.61でした。これは中間点を下回っています。教師たちは、もしロボットが間違ったアドバイスをした場合、学生が何も考えずに盲目的に従ってしまうか、あるいはロボットのアドバイスが教師の本当のルールと衝突したときに混乱してしまうのではないかと懸念しました。

あるティーチング・アシスタントは非常に懐疑的で、精度を**4%**と評価し、学生は「決して」使わないだろうと述べました。別の者は、もしロボットが悪質なアドバイスを行った場合、教師がその尻拭いをしなければならず、結果として教師の仕事を増やすことになるのではないかと危惧しました。

結論：完成品ではなく、有望な下書き

研究者たちは、CodeStylistは有望なスタートを切っているものの、教室における最終的な権威となる準備はできていないと結論付けました。教師たちは、このツールを「スタイルをチェック」し「潜在的な問題を見つける」ための有用なツールとは見ていましたが、学生に優れたコーディングの深い原則を「教える」ことができる信頼できるツールとはまだ見なしていませんでした。

論文は、このツールが真に機能するためには、「ハイブリッド」なアプローチが必要であると示唆しています。AIにすべてを推測させるのではなく、明らかなエラーを見つけるためには厳格で変更不可能なコンピュータ・ルール（スペルチェッカーのようなもの）を使用し、その上で、なぜそれらのエラーが重要なのかを説明するためにのみAIを使用するという方法です。また、教師たちは、学生が自身でアドバイスを検証できるように、正確な行をハイライトしたり、学生が破った特定のルールを表示したりといった、より優れた視覚的補助も求めています。

要約すると、本研究は、コースに応じたフィードバックは素晴らしいアイデアではあるものの、現在のバージョンのCodeStylistは、厳格なコンピュータによるバックアップを欠いているため、教師の最良の友となるには少し信頼性に欠ける、ということです。それは、学生にコードの書き方を間違った方法で教えてしまうことがないよう、さらなる改良が必要な、役立つ「下書き」なのです。研究者たちは、もし正確性の問題を解決し、フィードバックの検証を容易にすることができれば、この種のツールは学生がより綺麗でプロフェッショナルなコードを書くのを助けるゲームチェンジャーになり得ると信じています。