Kronumos 2 Kairos: Cost-Bounded Automated Program Repair via Dual-Brain Cybernetic Sub-Cortex on SWE-bench Verified

ソフトウェアのメンテナンスは、世界のエンジニアリング予算の60パーセント以上を消費する、静かで巨大な産業です。それは、複雑なデジタルシステムの中にある壊れた部品を見つけ出し、機能している部分を壊すことなくそれらを修理する作業です。何十年もの間、これは異なるコードファイル同士がどのように対話するかという深い知識を必要とする、人間のタスクでした。近年、膨大な量のコードで学習したコンピュータプログラムが、この作業自体を試み始めています。これらのプログラムは大規模言語モデル（LLM）として知られ、問題の記述を読み取り、修正案を提示することができます。しかし、これらのモデルが現実世界のソフトウェアを修正しようとすると、しばしば苦戦します。彼らは膨大な情報の海の中で迷子になり、コンピュータに拒絶されるような微妙なフォーマットエラーを犯し、さらに、試行のたびに高価なクラウドコンピューティングパワーを必要とするため、多大な経済的コストを要します。

新しい研究は、この問題に対する異なるアプローチ、すなわち、力任せの解決策よりも精度とコスト効率を優先する手法を導入しています。研究者たちは、広範な検索エンジンのような振る舞いではなく、外科手術用の道具のように機能するように設計された「Kronumos 2 Kairos」と呼ばれるシステムを構築しました。コンピュータモデルをコードベースの中を彷徨わせ、何度も推測と検証を繰り返させるのではなく、このシステムはモデルに対して非常に限定的で狭いタスクに集中することを強制します。これは、中規模のオープンソースのコンピュータモデルと、厳格な品質管理検査官として機能する、ルールに基づいた決定論的なエンジンを組み合わせたものです。その目的は、より小さく安価なモデルであっても、もしモデル自身が注意力の欠如による不注意なミスから保護され、かつ不要なステップにリソースを浪費しないように制限されていれば、現実のソフトウェアのバグを修正できるかどうかを確認することでした。研究者たちは、人工知能がコードを修復する能力を測定するために使用される標準的な課題セットである、500件の現実世界のソフトウェア問題のベンチマークを用いてこのシステムをテストしました。

このシステムは、作業を2つの明確な部分に分割することで動作します。第一の部分は「認知皮質（cognitive cortex）」であり、問題を理解し、コードの修正案を記述する責任を持つコンピュータモデルです。第二の部分は「皮質下（sub-cortex）」であり、正確で予測可能な挙動を保証する言語で書かれた決定論的なエンジンです。この皮質下は、フィルターおよびフォーマッターとして機能します。モデルが問題を見る前に、皮質下はエラーメッセージに混入しがちな数千行の無関係な技術的ノイズを取り除きます。また、プライバシーを確保するために、パスワードやAPIキーなどの機密情報を削除します。そして、モデルの出力を受け取り、それがコードパッチの書き方の厳格なルールに適合しているかをチェックします。もしモデルが行番号、インデント、または修正のフォーマットにおいてミスを犯した場合、皮質下が即座にそれを検知します。システムはエラーを修正するか、あるいはパッチ全体を拒否し、壊れたコードや形式の不備があるコードが決してテストに提出されないようにします。このプロセスにより、単純なフォーマットエラーによって失敗することが運命づけられた試行に、時間を浪費することを防いでいます。

研究者たちは、このシステムを500件の現実世界のソフトウェア問題に対して実行しました。結果は、このシステムがこれら8つのバグを正常に解決できたことを示しました。500件中8件というのは少なく見えるかもしれませんが、その意義は、システムがどのようにしてこれを達成したかにあります。研究者たちは、商用企業が使用し、しばしば数千ドルのコストがかかる巨大なモデルとは対照的に、わずか70億パラメータのモデルを使用しました。この「デュアルブレイン（二重脳）」アーキテクチャを用いることで、システムは計算リソースの限界費用ゼロでこれらの問題を解決することができました。システムが各タスクで処理したデータの平均量はわずか2,000トークン強であり、これは他の自動修復システムが通常消費する数十万トークンよりも93パーセント低い数値です。この劇的なデータ使用量の削減は、システムが現行の代替案よりもはるかに効率的でスケーラブルであることを意味しています。

この研究における重要な発見は、厳格な品質管理エンジンの重要性でした。モデルがコードを記述した後にフォーマットエラーを修正する皮質下の機能を取り除いたところ、修復成功数は8件から6件へと減少しました。これは、モデルの失敗の大部分が理解力の欠如によるものではなく、コードの提示方法における軽微で修正可能なミスによるものであることを実証しました。皮質下はセーフティネットとして機能し、これらのエラーを捉え、モデルが見つけた論理的な修正が、実際に利用可能な形式で確実に届けられるようにしたのです。また、このシステムは、修復プロセス中にソフトウェアのテスト自体を実行することなく動作できることも証明しました。修正を試して動作を確認する代わりに、システムは内部のルールに依拠し、修正が適用される前に、それが構造的に健全であることを保証しました。

研究者たちは、DjangoやScikit-Learnといった主要なプロジェクトを含む、4つの異なるソフトウェアエコシステムにわたってこのシステムを評価しました。8件の成功した修復は、データベース移行ツールのクラッシュの修正から、データ分析ライブラリにおける数学的なエラーの修正まで、多岐にわたる問題をカバーしていました。ある事例では、特定の構成設定が欠落している場合にプログラムがクラッシュするバグに対し、システムは、設定の不在を確認してからそれを使用するようにコードを修正する必要があると正しく特定しました。別のケースでは、プログラムが本来変更すべきではないデータを誤って変更してしまう問題を修正しました。研究者たちは、すべての成功した修正を詳細に検査し、論理が正しいこと、および解決策が単なる偶然の推測ではないことを確認しました。

研究者たちは、自分たちのシステムがすべてのソフトウェアバグに対する完全な解決策ではないことも認めています。モデルは、多くの異なるファイルにわたる深い推論を必要とする非常に複雑な問題や、学習範囲を超えた抽象的な概念を伴う問題に対しては、依然として苦戦します。しかし、この研究は、より小さなオープンソースモデルで何が可能かという新しい基準を確立しました。これは、有能だが控えめなコンピュータモデルを、厳格な基準を強制するルールに基づいたシステムと組み合わせることで、現在の最先端のシステムに伴う膨大なコストをかけずに、信頼できる結果を得ることが可能であることを示しています。この成果は、自動修復の未来が、モデルを無限に大きくすることではなく、それらを導き、間違いを正すためのより優れたシステムを構築することにかかっている可能性を示唆しています。

この研究は、自動ソフトウェア修復を身近で手頃なものにするための明確な道筋を提供しています。システムがゼロコストかつ高い効率で実際のバグを修正できることを証明することで、この研究は、最も高価で強力なモデルだけがこの作業を行えるという概念に異を唱えています。デュアルブレイン・アプローチの成功は、コードを書くという創造的なタスクと、ルールに従うことを保証するという機械的なタスクを分離することの価値を浮き彫りにしました。自動修復の分野が進展し続ける中で、この研究は、知性と規律をどのようにバランスさせるかについての実践的な例を提示しており、私たちがソフトウェアを修正するために構築するツール自体が、堅牢で信頼でき、かつ効率的であることを保証しています。