Conventional Commit Classification using Large Language Models and Prompt Engineering

本論文は、ファウショット・プロンプティングを用いたトレーニング不要の大規模言語モデル、特にDeepSeek-R1-32Bがコード差分から従来のコミットを効果的に分類できることを実証し、従来の教師あり機械学習アプローチに対する実用的な代替手段を提供することを示している。

要約

あなたは、毎日何千冊もの本が追加される巨大で混沌とした図書館の館長だと想像してください。秩序を保つため、この図書館には厳格なルールがあります：新しい本は背表紙に特定のラベル（「新機能」「バグ修正」「ドキュメント」など）を付けなければなりません。そうすれば、ロボットが自動的に本を分類し、目録を更新し、来館者に何が新しくなったかを伝えることができるのです。

しかし、実際には本を追加する人々はしばしばそのルールを無視します。「何かを直した」や「コードをいくつか変更した」のような乱雑なメモを書き散らすため、ロボットがその本がどのカテゴリに属するかを知ることは不可能になります。

この論文は、何千もの例を何年も勉強させることなく、超スマートなロボット（AI）にその乱雑なメモを読み、正しいラベルを特定させる方法について述べています。

問題：乱雑なメモ vs 厳格なルール

ソフトウェア開発において、プログラマーはコードに変更を加えるたびに「コミットメッセージ（メモ）」を書きます。業界には「Conventional Commits」と呼ばれる標準フォーマットがあり、これは厳格な分類システムのように機能します。メモは特定のタグ（例：feat:、fix:）で始まる必要があります。

しかし、人間は乱雑です。タグを忘れることがよくあります。従来の解決策では、研究者は数千のラベル付き例（教科書を暗記する学生のようなもの）をロボットに与えてカスタムロボットを構築していました。これには多くの時間とデータが必要です。

新しいアプローチ：「プロンプト」戦略

ゼロから新しいロボットを訓練する代わりに、著者たちは問いかけました：「非常に賢い既存の AI に、その仕事をさせるための指示（プロンプト）を与えるだけで済むでしょうか？」

彼らは、言語について多くのことを知っているが、正確に何をすべきかを知る必要がある優秀なインターンとして AI を扱いました。指示を与える 3 つの異なる方法をテストしました。

1. ゼロショット（「ただ教えてくれ」アプローチ）：

   • 比喩: インターンに近づき、「これは乱雑なメモだ。ルールに基づいて、これがどのカテゴリに属するか教えてくれ」と言います。例は示しません。
   • 結果: インターンは推測しますが、何を求めているか正確にわからないため、よく間違えます。

2. フューショット（「例を見せてくれ」アプローチ）：

   • 比喩: 「これは『新機能』を意味する乱雑なメモだ。これは『バグ修正』を意味する別のメモだ。さて、この新しい乱雑なメモを見て、それが何であるか教えてくれ」と言います。まずインターンにいくつかの明確な例を見せます。
   • 結果: これが最もうまくいきました。インターンはパターンを素早く理解し、本を正確に分類しました。

3. 思考連鎖（「声に出して考えろ」アプローチ）：

   • 比喩: 「答えをくれる前に、ステップバイステップの推論を書き出してくれ：『「fix」という言葉が見えるので、これはバグ修正だと思う…』」と言います。
   • 結果: 驚いたことに、これは役立ちませんでした。ラベルを分類するというこの特定のタスクでは、インターンに「声に出して考えさせる」ことは、最終的な答えを良くすることなく余分なステップを追加するだけでした。本を棚にしまう前に図書館員にエッセイを書かせるようなもので、結果を改善することなく彼らを遅らせただけでした。

競合者：脳はどれくらい大きく必要か？

研究者たちは、サイズが異なる 3 つの異なる「インターン」（AI モデル）をテストしました。

• Mistral-7B: 中サイズの脳（70 億パラメータ）。
• LLaMA-3-8B: 少し大きな脳（80 億パラメータ）。
• DeepSeek-R1-32B: 巨大な脳（320 億パラメータ）。

発見: 大きな脳が勝ちました。DeepSeek-R1-32B が、乱雑なメモを読み、正しいラベルを見つけるのに最も正確でした。これは、このようなタスクでは、より大きく強力な AI モデルを持つことが実際に大きな違いをもたらすことを示唆しています。

結論

この論文は、乱雑なソフトウェアメモを整理するために、ゼロからカスタム機械学習モデルを構築する必要はないと結論付けています。代わりに、強力な既存の AI を使用し、いくつかの良い例を与える（フューショット・プロンプティング）だけで仕事を済ませることができます。

• 最良の戦略: まず AI にいくつかの例を見せること。
• 最良の AI: 利用可能な最大かつ最も強力なモデル。
• 時間の無駄: 答えを出す前に AI に長い推論プロセスを書かせること。

このアプローチは、訓練例の収集とラベル付けの数千の例を集める必要性をスキップするため、時間と労力を節約し、開発者がすぐにファイル整理を自動化できるようにします。

技術概要

技術的概要：大規模言語モデルとプロンプトエンジニアリングを用いたコンベンショナルコミットの分類

問題定義

コンベンショナルコミットは、type: description といった構造化された形式でコミットメッセージを提供し、変更ログ生成ツールやセマンティックバージョニングシステムなどの自動化ツールを可能にする。しかし、開発者は頻繁に非構造化のメッセージを作成するため、この構造を復元するために自動分類が必要となる。従来のアプローチは、大規模なラベル付きデータセットで訓練された機械学習（ML）および深層学習（DL）モデルに依存している。これらの手法は、膨大なデータ前処理、特徴量エンジニアリング、プロジェクトの用語や分類体系が変化する際の頻繁な再訓練を必要とする。本論文では、ラベル付き訓練データの整備やモデルの微調整というオーバーヘッドなしで、プロンプトエンジニアリングを介して大規模言語モデル（LLM）を活用し、コミットメッセージを分類するトレーニング不要な代替案を検証する。

手法

本研究は、モデルの微調整を行わず、プロンプトに基づいて LLM がコード変更を直接分類するトレーニング不要なフレームワークを採用している。

• データセット: オープンソースの InfluxDB リポジトリから抽出された、3,200 のコミットからなるバランスの取れたデータセット。このデータセットには、コミットメッセージと対応するコード差分（変更）が含まれる。データはコミットタイプ（例：feat、fix、docs、refactor、test、chore）間で概ねバランスが取れている。
• 評価対象モデル: 異なるパラメータ規模の 3 つのオープンソース LLM をテストした。
  • Mistral-7B-Instruct（70 億パラメータ）
  • LLaMA-3-8B（80 億パラメータ）
  • DeepSeek-R1-32B（320 億パラメータ）
• プロンプト戦略: 3 つの異なるプロンプトアプローチを評価した。
  1. ゼロショット: モデルにクラス定義と指示を提供するが、例は提供しない。
  2. フューショット: モデルに、指示 alongside として、ラベル付きの代表的なコミットメッセージとコード差分の例を提供する。
  3. 思考連鎖（CoT）: 最終的な分類を出力する前に、中間的な推論ステップ（手がかりの特定とタイプへのマッピング）を生成するようモデルに指示する。
• 評価: モデルは、精度、適合率、再現率、F1 スコアという標準的な分類指標を用いて評価された。正解ラベルは、InfluxDB リポジトリに存在する既存のラベルから導出された。

主要な結果

実証的評価により、以下の知見が得られた。

1. プロンプト戦略のパフォーマンス:

   • フューショットプロンプティングは、すべてのモデルにおいて一貫して最高精度を達成した。例えば、DeepSeek-R1-32B はフューショットプロンプティングで 0.5749 の精度を達成し、ゼロショット（0.5652）や CoT（0.5497）と比較して上回った。
   • **思考連鎖（CoT）**は、この特定の分類タスクにおいて追加的な利益をもたらさなかった。いくつかのケースでは、CoT のパフォーマンスはフューショットより中間的か低く、構造化された分類は多段階推論よりもパターン認識に依存していることを示唆している。
   • ゼロショットは、特に Mistral-7B-Instruct（精度 0.3356）のような小規模モデルにおいて、一般的に最低またはそれに近いパフォーマンスをもたらした。

2. モデル規模の影響:

   • DeepSeek-R1-32B（320 億パラメータ）は、すべての指標とプロンプト戦略において最も強力な全体的なパフォーマンスを示し、平均精度 0.563 を達成した。
   • LLaMA-3-8B は最低のパフォーマンス（平均精度 0.372）を記録した。
   • Mistral-7B-Instruct は中間的なパフォーマンスを示した。
   • 結果は、モデル規模が文脈を理解し、コード変更を正確に分類する能力において意味のある役割を果たしていることを示唆している。

3. 集計指標:

   • すべてのモデルにわたって、フューショットプロンプティングは最高平均精度（0.531）と最高平均 F1 スコア（0.468）を達成した。
   • ゼロショットプロンプティングは最高平均適合率（0.508）を達成したが、再現率は低かった。

主要な貢献

本論文は、3 つの主要な貢献を概説している。

1. 新規アプローチ: ラベル付きデータセットを必要とする従来の ML/DL パイプラインとは対照的に、LLM とプロンプトエンジニアリングを用いたトレーニング不要なコンベンショナルコミット分類アプローチを提案する。
2. 実証的評価: 広範なデータセット（3,200 のコミット）と複数の最先端オープンソースモデルを用いて、このアプローチの包括的な実証的評価を提供する。
3. 実践的ガイダンス: プロンプトベース分類の有効性について議論し、このタスクにおいてはフューショットプロンプティングがゼロショットや CoT より優れていることを特定し、ソフトウェアエンジニアリングフレームワーク内でのトレードオフを強調する。

意義と主張

著者らは、この研究を、データ整備やモデル訓練というリソース集約的なプロセスなしにコミット分類を自動化しようとする研究者や実務家向けの実践的ガイドとして位置づけている。

• プロンプト設計の重要性: 本研究は、プロンプト設計がパフォーマンスに大きく影響し、しばしばモデルアーキテクチャ自体の影響を上回ることを強調している。具体的には、明確で多様な例（フューショット）を含めることが、暗黙的な訓練シグナルとして機能する。
• 推論の限界: 本論文は控えめに主張しており、CoT は複雑な推論には効果的であるが、パターン認識が最重要となるコミットタイプ付けのような構造化された分類タスクでは、パフォーマンスを向上させるとは限らないとしている。
• 比較の範囲: 著者らは明示的に、従来の ML/DL ベースラインを直接上回ることを目指していないと述べている。代わりに、本研究は、異なるプロンプト設計が LLM ベースの分類にどのように影響するかを分析することに焦点を当てている。「より大きなモデルがより良いパフォーマンスを発揮する」という主張は、評価された LLM 同士でのみ相対的なものであり、外部の教師ありベースラインとの比較ではない。
• 将来の方向性: 本論文は、将来の研究として、より多様なリポジトリ全体での汎化性のテスト、自動化されたプロンプト最適化の適用、および LLM と従来の ML 手法を組み合わせたハイブリッドアプローチの探求を提案している。また、これらの知見を自動化されたリリースノート生成やバグ予測に応用する可能性にも言及している。