🤖 machine learning

Merge-Bench: Resolve Merge Conflicts with Large Language Models

本論文は、実世界のマージコンフリクトの大規模データセットであるMerge-Benchを導入し、グループ相対方策最適化を用いて訓練されたJava固有のモデルであるLLMergeJを提示するが、これは複数の商用LLMを上回るものの、現在でも最良のモデルであっても11のプログラミング言語にわたるコンフリクトの60%未満しか解決できていない。

原著者： Benedikt Schesch, Michael D. Ernst

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Benedikt Schesch, Michael D. Ernst

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

2 人の友人が同時に同じドキュメントを編集しているグループプロジェクトを想像してください。友人 A が段落を変更し、友人 B が全く同じ段落を変更します。両者の作業を統合しようとすると、コンピューターは混乱し、「どちらのバージョンを保持すればよいかわからない！」と叫びます。これをマージコンフリクトと呼びます。

通常、人間が介入し、両方のバージョンを読み、友人たちが実際に何を意図していたかを特定し、手動でその混乱を修正する必要があります。これは時間を要し、ミスにつながる可能性があります。

この論文は、これらの混乱を「賢い」AI（大規模言語モデル）を用いて自動的に修正する新しい方法を紹介します。彼らの研究を簡単な言葉で分解すると以下のようになります。

1. 問題：コンピューターは見当違いだ

従来のツールは、文字だけを眺めるロボットのようなものです。友人 A が「cat」と書き、友人 B が「dog」と書いた場合、そのロボットは単に衝突を見ています。彼らがペットについて話していたのか、あるいはどちらかがタイプミスだったのかを理解していません。それは人間の「意図」の説明を必要とします。

2. 解決策：新しい訓練場（Merge-Bench）

AI にこれらのコンフリクトを修正させるためには、「ここが混乱状態であり、ここが人間のエリートがどのように修正したか」を示す膨大な事例のライブラリが必要です。

旧来の方法: 他の研究者は、これらのライブラリを手作業で作成したり、テストを実行したりしようとしました。これは遅く、高価であり、時には AI がコードを修正することを学ぶ代わりにテストの答えを暗記することで「不正」を行うこともありました。
新しい方法（Merge-Bench）: 著者らは、Merge-Benchと呼ばれる巨大な自動化ライブラリを構築しました。彼らは GitHub 上の 1,439 の異なる公開コードプロジェクトから、7,938 の実際のコンフリクトをスクレイピングしました。
- 比喩: 教師がすべての宿題を手作業で採点する必要がないと想像してください。代わりに、生徒の間違いと教師による正解の 8,000 件の実例を自動的に収集する機械を持っています。機械がすべての作業を行うため、巨大で尽きることのないライブラリを持つことができます。

3. 生徒：LLMergeJ

著者らは、LLMergeJという特定の AI モデルを訓練しました（「J」は彼らが焦点を当てたプログラミング言語である Java を表します）。

教え方: 標準的な教師のようにモデルに答えを見せるのではなく、強化学習と呼ばれる方法を使用しました。
- 比喩: 犬を訓練すると考えてください。犬が正しい芸をすればご褒美がもらえます。間違えれば何ももらえません。推測を拒否して「わからない」と言うだけ（コンフリクトを維持する）の場合、小さなパンくずがもらえます。
- AI は何千回も試行しました。コードを正しく統合する方法を見つけたとき、大きな報酬を得ました。時間の経過とともに、それは単に答えがどのようなものかだけでなく、そこに至るために問題をどのように考えるかを学びました。

4. 結果：小さな犬、大きな芸

彼らは、AI 基準としては比較的小さい 140 億パラメータのモデルを、利用可能な最大かつ最も高価な商用 AI モデル（Gemini、Claude、Grok など）と比較してテストしました。

驚き: 彼らの小さくカスタム訓練されたモデルは、ほぼすべての巨大な商用モデルよりも優れていました。 minor な書式の違いを無視した後、コンフリクトの約**59%**を正しく解決しました。
比較: 最高の商用モデル（Gemini 2.5 Pro）はわずかに優れていましたが、著者らのモデルは他のモデルを大幅に凌駕しました。
教訓: 報酬を用いて「マージコンフリクトの修正方法」に特化して訓練された小さなモデルは、一度だけその作業を依頼されただけの巨大な汎用モデルよりも優れています。

5. なぜこれが重要なのか

不正なし: 彼らのテスト方法はコードテストの実行（AI が時折だますことができる）に依存していません。コードを人間の開発者が実際に行ったことと直接比較します。
スケーラブル: データのラベル付けに人間を必要としなかったため、トレーニングセットを好きなだけ大きくすることができました。
言語非依存: モデルを Java のみで訓練しましたが、C、Python、Rust などの 11 の異なる言語で巨大な商用モデルをテストしました。AI の挙動はすべての言語で類似していたことがわかり、彼らの方法はあらゆるプログラミング言語で機能する可能性があることが示唆されました。

まとめ

著者らは、コードのコンフリクトを解決するために特定の AI アスリート（LLMergeJ）を訓練するための巨大な自動化ジム（Merge-Bench）を構築しました。報酬ベースの訓練システムを使用することで、彼らは比較的小さな AI に、この特定のタスクにおいて最大かつ最も高価な AI モデルを上回る能力を身につけさせました。これは、ソフトウェアの混乱を修正する際、汎用的な規模よりも特化した訓練の方が優れていることを証明しています。

)、0 otherwise.
* $R_{format}$ : 出力が正しいMarkdown形式を使用している場合1、そうでない場合0。
* $R_{resolution}$ : 正確なテキスト一致の場合1.0、正規化されたソースコード一致の場合0.5、競合を保持（解決なし）の場合0.1、誤ったマージの場合0。

SFT に対する優位性: 最終出力からのみ学習できる教師あり微調整（SFT）とは異なり、GRPO はグループ相対アドバンテージを用いることで、推論プロセスを最適化し、複数の構文上異なる解決策が有効となり得るというグランドトゥルースの不確実性に対処します。これにより、モデルが特定の構文パターンに過剰適合するのを防ぎます。

主要な貢献

Merge-Bench: 報酬ハッキングに強く、ゼロの人手による注釈を必要とする大規模でスケーラブルなベンチマーク。
テストフリー評価: テスト実行を迂回する手法により、テストスイートベースの報酬の脆弱性なしにスケーラブルなトレーニングと評価を可能にします。
人間フィルタなしの SWE-RL: 人間のフィルタリングや手動調整なしにインターネット規模のデータを利用する、ソフトウェアエンジニアリング向けの強化学習タスク。
LLMergeJ: オンライン RL を用いて競合解決のためにトレーニングされた最初のモデルであり、14B パラメータのモデルがはるかに大規模な商用モデルを上回ることを実証しています。

結果

Java パフォーマンス

Merge-Bench の Java サブセット（806 の競合）において：

LLMergeJ (14B) は、48.8% の正確なテキスト一致と58.9% の正規化されたソースコード一致を達成しました。
比較: LLMergeJ は、3 つの主要な商用 LLM（Claude Opus 4、o3 Pro、Grok 4）および Qwen3-14B SFT ベースラインを上回りました。唯一、Gemini 2.5 Pro（正規化一致 62.5%）に後れを取りました。
SFT ベースライン: 同一データでトレーニングされ、テストセットに特化してハイパーパラメータが最適化された SFT ベースラインでさえ、正確一致は 36.6%、正規化一致は 44.7% にとどまりました。これは、このタスクにおける GRPO アプローチの優位性を浮き彫りにしています。
行動分析:
- 積極的解決者（LLMergeJ、Gemini 2.5 Pro、o3 Pro）: 高い自信を示し、51〜62% の競合を解決し、競合保持率は低い（3〜21%）。
- 保守的解決者（Grok 4、Llama 4 Maverick）: 高い競合保持率（40〜86%）を示し、不確実性を表しています。
- 形式に苦戦するモデル: 一部のモデル（例：QwQ 32B、R1 1.5B）は Markdown 形式の指示に従えず、無効な出力を生成しました。

言語間パフォーマンス

著者らは、11 言語（C、C++、C#、Go、Java、JavaScript、PHP、Python、Ruby、Rust、TypeScript）にわたる 6 つの最先端商用モデルを評価しました。

言語の難易度: C がマージに最も困難であることが判明し、Java、PHP、Python が最も容易でした。
安定性: 商用 LLM のパフォーマンスは言語間で概ね安定していました。
一般化: 行動パターン（例：どのモデルが積極的か保守的か）は言語間で一貫して維持されており、LLMergeJ 自体は Java でのみトレーニングされたものの、これらの手法は一般化できる可能性を示唆しています。

意義と主張

本論文は、LLMergeJ が、強化学習でトレーニングされた小規模で特化されたモデルが、特定のソフトウェアエンジニアリングタスクにおいて、巨大な商用モデルと競合するか、あるいはそれ以上のパフォーマンスを達成し得ることを実証していると主張しています。この研究は以下の点を強調しています：

強化学習（GRPO） は、推論を最適化し、複数の有効な解決策の曖昧さをパフォーマンスを低下させることなく処理するため、競合解決においては SFT より優れています。
スケーラビリティ は人手による注釈なしに達成可能であり、SWE-Bench などの現在の SWE ベンチマークにおけるボトルネックを解決します。
パラメータ効率性: 正しい手法とデータでトレーニングされれば、14B モデルは桁違いに多いパラメータを持つモデルと伍することができます。

著者らは、グランドトゥルースの誤りの可能性、商用トレーニングセットにおけるデータ漏洩の可能性、およびトレーニングが Java のみに限定されたことなどの限界を認めつつ、控えめな立場を維持しています。また、データセットのサイズ制約が最も複雑なマージ問題を除外している可能性があり、それがすべての現実世界の競合に対するパフォーマンスの過大評価につながる可能性があると指摘しています。