🤖 machine learning

EditLord: Learning Code Transformation Rules for Code Editing

EditLordは、学習データから簡潔なメタルールを言語モデルを用いて明示的に抽出することでコード変換ステップを導き、既存の最先端である暗黙的なエンドツーエンドのアプローチを凌駕し、性能、堅牢性、および機能的正確性を向上させるコード編集フレームワークである。

原著者： Weichen Li, Albert Jan, Baishakhi Ray, Junfeng Yang, Chengzhi Mao, Kexin Pei

公開日 2026-07-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Weichen Li, Albert Jan, Baishakhi Ray, Junfeng Yang, Chengzhi Mao, Kexin Pei

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、レシピを修正しようとしている熟練のシェフだと想像してください。時には、料理の味は悪くないものの、作るのにものすごく時間がかかることがあります。またある時は、指示書が元のシェフにしか解読できない秘密の暗号で書かれていて、他の誰も読むことができないこともあります。コンピュータサイエンスの世界では、これが「コード編集」という日常的な苦闘です。コンピュータは厳格な指示の言語を話しますが、開発者がプログラムの仕組みを変えたいとき（より速く、より安全に、あるいはより読みやすくするため）、彼らはそれらの指示を書き直さなければなりません。長い間、私たちは、この書き換え作業を頼りに、非常に賢いAIアシスタント（大規模言語モデルと呼ばれます）に頼ってきました。これらのAIモデルは、優れた、しかし少し混沌とした見習いのようなものです。彼らはレシピの次のステップを推測することはできます。しかし、彼らはしばしば推測を誤り、料理の味を完全に変えてしまったり、調理中のオーブンを壊してしまったりします。彼らは、実際の調理ルールを理解するのではなく、何百万ものレシピを暗記し、正解を「感覚」で掴もうとする傾向があるのです。この論文は、シンプルかつ強力な問いを投げかけます。「単に推測させるのではなく、どのようにレシピを修正すべきかという具体的なステップ・バイ・ステップのルールをAIに教えたらどうなるだろうか？そうすれば、何を修正し、何をそのままにしておくべきかを正確に理解できるはずだ」という問いです。

Weichen Li氏とその仲間たちに率いられたこの研究の著者たちは、EDITLORDと呼ばれる新しいフレームワークを紹介しています。EDITLORDを、AIのための「ルールブック作成者」と考えてください。AIに単に「このコードを修正して」と頼むのではなく、EDITLORDはまず探偵のように振る舞い、修正される前と後のコードの数千もの例を調査します。これらの例から、それは簡潔な「メタ・ルール」を抽出します。メタ・ルールとは、「遅いスプーンから速い泡立て器に切り替える」や「紛らわしい材料の名前を明確なものに置き換える」といった、シンプルで明快な指示のことです。これらのルールは平易な英語で書かれており、人間にとって理解しやすく、AIにとっても従いやすいものになっています。一度AIがこのルールブックを手に入れると、それを使って新しいコードを編集します。その結果、AIは単に解決策を幻視（ハルシネーション）するのではなく、問題を修正するための論理的で明示的な経路に従うようになります。

論文によれば、このアプローチはゲームチェンジャーとなります。コードを高速化させる、乱雑な機械生成コードを人間が読める形式に翻訳する、そしてセキュリティの脆弱性を修正するという3つの重要なタスクでテストを行った際、EDITLORDは現在の最高の手法を大幅に上回りました。平均して、編集パフォーマンスを**22.7%向上させ、AIの堅牢性（ロバスト性）を58.1%高めました。つまり、入力が少し異なっていても、コードを壊す可能性が大幅に低くなったのです。特にセキュリティ上の脆弱性を修正するタスクにおいては、機能的な正確性が20.2%高まり、コードが意図した通りに動作することを保証しながら、より安全にしました。さらに印象的なことに、研究者が人間の専門家にAIのルールブックを微調整させたところ、パフォーマンスは最大35.5%**跳ね上がりました。これは、このシステムが人間の知恵から学ぶことができるほど柔軟であることを示しています。

著者たちは、膨大なデータを用いて、ステップへの理解なしにAIモデルに正しい編集を「推測」させ続けるべきだという考えに対して、明確に反対しています。彼らは、この「ブラックボックス」的なアプローチが、しばしば最適ではない結果や、汎用性の欠如（AIが学習していないコードに直面したときに失敗すること）を招くことを示しています。対照的に、編集ステップを明示的かつモジュール化するEDITLORDの手法は、はるかに優れた汎用性を実現します。例えば、学習中に見たものよりも長いコードでテストされた際、EDITLORDは標準的なモデルよりもパフォーマンスの低下がはるかに少なかったのです。研究者たちは、この手法が非常に効果的である一方で、編集されたすべてのコードが完璧であることを保証するものではないことにも注意深く言及しています。機能的な正確性は、絶対的な数学的確実性ではなく、目指すべき目標として扱われています。しかし、データは、コード編集を構造化されたルールベースのプロセスに変えることで、よりスマートで、より安全で、より信頼できるAIツールを構築できることを示唆しています。

技術要約: EDITLORD

問題提起

コード編集は、ソフトウェア開発における基礎的なタスクであり、元のコードの意図された機能を厳密に維持しながら、望ましい特性（例：効率性、可読性、またはセキュリティの向上）を導入するためにコードを変形させることを必要とする。既存のアプローチは通常、コード編集を暗黙的なエンドツーエンドのタスクとして扱い、編集知識をモデルの重みに内面化するためにブルートフォースによるファインチューニングに依存している。著者らは、このアプローチがモジュール化された変換手順を特定のトレーニングサンプルから分離できていないため、性能の低下、意味を保持するコード変更に対する堅牢性の欠如、および汎化性能の低さを招くと主張している。さらに、編集を潜在的なプロセスとして扱うことは、コード変形に固有の離散的かつ明示的なステップを不明瞭にし、機能的な正当性と解釈可能性を確保することを困難にしている。

メソドロジー

本論文は、帰納的なメタルールを学習することで、コード変形ステップを明示的にするフレームワークであるEDITLORDを導入している。言語モデル（LM）に直接プロンプトを与えたり、ファインチューニングを行ったりして編集を実行させる代わりに、EDITLORDは2段階のプロセスを採用している。まず、トレーニングデータから簡潔な変換ルールを発見し、次に、これらのルールを使用してトレーニングデータを拡張するか、推論をガイドする。

メソドロジーは、以下の3つのコアサブタスクで構成される：

データ駆動型帰納的ルール発見:
- システムは、トレーニングコードのペア（編集前 $x_i$ 、編集後 $y_i$ ）を反復処理して、特性の変化を記述する生の編集ルール（ $R_i$ ）を抽出する。
- これらの生のルールは、あまりに具体的すぎるか、あるいは一般的すぎる場合が多い。ルールセット $R$ に対して、ADD（新しいルールの組み込み）、MERGE（類似したルールを一般的な形式へと結合）、PRUNE（過度に具体的または不均衡なルールを削除）という3つの操作を用いて、反復的な洗練アルゴリズムが適用される。
- このプロセスにより、自然言語（例：「cout から printf へ切り替え」）で表現された、簡潔で再利用可能なメタルールセット（ $R$ ）が得られる。
機能仕様の発見:
- 各トレーニングペアに対して、システムは共有された入出力動作を記述する機能仕様（ $s_i$ ）を抽出する。これにより、編集プロセスが編集前と編集後のコード間の意味的な等価性を維持することを保証する。
ルールベースのコード編集:
- ファインチューニング: トレーニングセットは、編集前のコード、機能仕様、およびそのサンプルに適用可能なメタルール（ $R_i$ ）の特定のサブセットを含むように拡張される。LMは、これら明示的な入力に基づいた編集後のコードを予測するようにファインチューニングされる： $P(y_i | x_i, s_i, R_i)$ 。
- 代替モード: 本フレームワークは、ゼロショット・プロンプティング（メタルールセットをプロンプトとして使用）および反復的洗練（実行フィードバックを使用してルールに基づいて編集を洗練）もサポートしている。

主な貢献

明示的な変換空間: EDITLORDは、コード編集を、編集ステップをメタルールとして明示的にモデル化することにより、暗黙的なエンドツーエンドの生成タスクから、構造化された離散的な変換空間へと移行させる。
帰納的ルール学習: 本論文は、トレーニングデータから構成可能で再利用可能なメタルールセットを蒸留する新しいアルゴリズムを提案しており、これによりモデルが多様なコードシナリオ間で汎化することを可能にする。
解釈可能性とヒューマン・イン・ザ・ループ: ルールを自然言語で表現することで、フレームワークは解釈可能性を維持する。この構造は、専門家が性能をさらに向上させるためにルールを洗練したり追加したりすることを可能にし、人間の介入を容易にする。
包括的な評価: フレームワークは、パフォーマンス最適化、デコンパイル（可読性）、およびセキュリティ・ハードニングの3つの重要なドメインにわたって評価されている。

実験結果

著者らは、複数のモデル（DeepSeek-Coder 1.3B/6.7B、GPT-4o mini）およびタスクにわたり、最先端のベースライン（ファインチューニングされたモデルやChain-of-Thoughtのようなプロンプティング戦略を含む）に対してEDITLORDを評価した。

性能向上: EDITLORDは、編集性能において平均22.7%、堅牢性において58.1%、最先端のベースラインを上回った。
- パフォーマンス最適化: 平均で**23.3%**向上。
- デコンパイル: 平均で**12.7%**向上。
- セキュリティ・ハードニング: 平均で**27.6%**向上。
機能的正当性: 本フレームワークは、重要なアプリケーションにおいて、ベースラインと比較して**20.2%**高い機能的正当性を達成した。
堅牢性と汎化性能:
- 堅牢性: EDITLORDは、意味を保持する変換（例：変数名の変更、コメントの削除）に対して著しく高い耐性を示し、ベースラインと比較して可読性の低下を最大**58.1%**抑制した。
- 汎化性能: モデルは優れた長さの汎化性能を示し、トレーニング分布よりも長いコードにおいて最大**24.87%**優れた性能を達成した。
編集モード: ファインチューニング以外にも、EDITLORDはゼロショット・プロンプティングを平均56.3%、反復的洗練を平均**5.7%**向上させた。
人間による拡張: 人間の専門家が生成されたルールを洗練した場合、編集性能は最大**35.5%**向上した。

意義と主張

本論文は、EDITLORDが、変換を明示的に学習されたルールに接地させることで、エンドツーエンドのLLMコード編集に共通する「ハルシネーション（幻覚）」の問題に対処すると主張している。何を行うか（機能仕様）をどのように行うか（変換ルール）から分離することで、本フレームワークは、編集が機能的に正しいだけでなく、構文的な変化に対しても堅牢であることを保証する。

著者らは、既存の手法が編集知識を潜在的な重みとして扱うのに対し、EDITLORDはこの知識を明示的かつモジュール化にすると強調している。このアプローチは、性能指標を向上させるだけでなく、セキュリティが重要なソフトウェアエンジニアリングアプリケーションにおける安全性と信頼性を高める。本論文は、明示的な編集ステップを公開することで、より良い汎化を可能にし、純粋なエンドツーエンドのアプローチには欠けている、人間の専門家が編集プロセスを制御するための経路を提供すると結論付けている。