💬 NLP

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

本論文は、コーディングエージェントのループと関数呼び出しの間の構造的類似性を活用することで、SWE-Benchのようなベンチマークにおけるコーディングエージェントの性能を大幅に向上させると同時に、標準的な事後学習によってしばしば低下する一般的なコーディングおよびツール使用能力を維持する、自己教師あり学習による関数認識型フィルイン・ザ・ミドル（FIM）中間学習を導入するものである。

原著者： Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

公開日 2026-07-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で乱雑なコードのライブラリにあるバグを修正するロボットに、その方法を教えていると想像してみてください。通常、私たちはロボットに対し、本を最初から最後まで左から右へと読み進めるように教えます。しかし、問題があります。実際にバグを修正しに行く際、ロボットはただ前方に読み進めるだけではありません。一歩踏み出し、何が起きたか（例えばツールがエラーを出したなど）を確認し、次に何をすべきかを決定します。これはループなのです：アクション → 観測 → 次のステップ。

この論文の著者たちは、面白いことに気づきました。このロボットのループは、通常のコンピュータコードにおける**関数呼び出し（function call）**と全く同じ形をしているのです。

ロボットのアクションは、ある関数が別の関数を呼び出すことに似ています。
ロボットの観測は、その関数が値を返すことに似ています。
ロボットの次のステップは、その値を使用して残りのコードを実行することに似ています。

ここでの大きなアイデアとは？単にコードを前方へ読み進めるのではなく、著者たちはロボットモデルに、これらの関数呼び出しを用いた「穴埋めゲーム」を教えたのです。彼らはこれを関数認識型・中間埋め込み（Function-Aware Fill-in-the-Middle: FIM）ミッドトレーニングと呼んでいます。

ゲームの内容：「欠けているピースを推測せよ」

物語の中で、登場人物（「呼び出し手」）が友人（「呼び出される側」）にタスクを依頼しますが、友人が実際に行った作業は隠されています。ロボットは、前後の文脈のみに基づいて、その友人が何をしたのか、そして「なぜ」そうしたのかを推測しなければなりません。

このゲームを効果的なものにするために、著者たちは単にランダムに単語を隠したわけではありません。彼らはコードの特別なマップ（プログラム依存グラフ：Program Dependency Graph）を使用して、完璧なパズルを見つけ出しました。彼らは以下の条件を満たす関数を探しました：

良い挑戦となるのに十分な複雑さを持っていること（簡単すぎず、不可能でもない）。
周囲の手がかりからロボットが実際に解明できるほど予測可能であること。

また、彼らはロボットに、コードを書く前に「推論ノート（Chain-of-Thought）」を書かせ、人間プログラマーが行うように、行動する前に考えさせるようにしました。

結果：それは機能するか？

著者たちは、3つの異なるロボットの脳（モデル）でテストを行いました。Qwen2.5-Coderファミリーの2つ（70億および140億パラメータ）と、新しいQwen3ファミリーの1つ（80億パラメータ）です。彼らは、968個の実世界のPythonコードリポジトリから抽出された、26億トークン（単語や記号）という膨大なデータセットを用いて、これらのロボットを訓練しました。

結果は以下の通りです：

バグ修正能力の向上： 実世界のソフトウェアの問題をシミュレートした有名なベンチマークであるSWE-Bench-Verifiedでテストしたところ、ロボットは大幅に改善しました。
- 7Bモデルは**+2.8%**向上。
- 14Bモデルは**+3.0%**向上。
- 8Bモデルは**+3.2%**向上。
より簡単なタスクではさらに高い成果： より軽量なバージョンのテスト（SWE-bench-Lite）では、改善幅はさらに大きく、8Bモデルは**+5.4%**跳ね上がりました。
どこでも通用する： これらの改善は、その後異なる手法で訓練を行った場合でも発生しました。これは、「中間埋め込み（fill-in-the-middle）」による訓練が、後の微調整に関わらず定着する強固な基礎を与えたことを示唆しています。

驚きの事実：他のスキルを壊さなかった

通常、ロボットを特定のスペシャリスト（バグ修正エージェントなど）として訓練すると、単純なコードを書いたりツールを使ったりといった他の能力を忘れてしまいます。著者たちもこれが起こるのではないかと懸れていました。

しかし、「ミッドトレーニング」は、ロボットの他のスキルをむしろ救い上げました！

この追加訓練がなかった場合、ロボットは自力でコードを書く能力が低下していました（LiveCodeBenchなどのベンチマークで低下）。
しかし、FIMトレーニングを行うことで、低下するどころか、むしろ向上しました（LiveCodeBenchで**+11.1%**）。
訓練データはPythonコードのみであったにもかかわらず、ロボットは全く異なるコンテキスト（τ-benchやBFCLなど）でのツールの使用においても向上しました。これは、彼らが「原因と結果について考える方法」という一般的なスキルを学習し、それがタスクを超えて転移したことを示唆しています。

明確に否定されたこと

著者たちは、この手法が「何ではないか」についても慎重に述べています：

賢い教師の模倣ではない： 彼らは、訓練データの生成を助けた強力なAI（Gemini-3-Flash）をロボットが単にコピーしているだけではないかを検証しました。ロボットが独自の推論ノートを生成した場合でも、依然として改善が見られたため、魔法の正体は単なる「教師のコピー」ではなく、ゲームの構造そのものであることが分かりました。
あらゆるものに対する万能薬ではない： この手法は、コードがモジュール化（関数ごとに綺麗に分割）されている場合に最も効果を発揮します。もしコードが、すべてが混ざり合った巨大で乱雑なスクリプトである場合、明確な「関数呼び出し」のパズルを見つけることができないため、この手法はうまく機能しません。
まだ全ての言語で証明されていない： 訓練データはPythonのみでした。ロボットが他のタスクでも向上したことは示されましたが、著者らは、この手法がJava、C++、あるいはRustでも機能することをまだ証明できていないと認めています。

どの程度確信しているのか？

著者たちは、結果が単なる偶然ではないことを確認するために、異なるランダムシードを用いてテストを3回実行しており、その数字に強い自信を持っています。彼らは改善（例：+2.8%、+3.0%）を正確に測定し、ロボットが詰まった際に、より多くの問題を解決し、より少ないミスを犯すようになったことを示しました。

彼らは、この「ミッドトレーニング」が極めて重要な欠落していた要素であると考えています。それは、ロボットを実世界に送り出す前に、特定の種類のジムでのトレーニングを与えるようなものです。これにより、複雑な「行動し、観測し、継続する」というループを、他の能力を失うことなく処理できる適切な筋肉を備えさせることができるのです。

テクニカル・サマリー：コーディング・エージェント基盤モデルのためのミッドトレーニングとしての関数認識型Fill-in-the-Middle

問題提起

現実世界のソフトウェア・エンジニアリング上の課題を解決するように設計されたコーディング・エージェントは、特定の条件付け構造に依存しています。それは、履歴（ $h_t$ ）を維持し、アクション（ $a_t$ ）をサンプリングし、外部からの観測（ $o_{t+1}$ ）を受け取り、そしてその全トレースに基づいて推論を継続するという構造です。標準的なコードの事前学習（左から右への次トークン予測）はモデルにコードを露出させますが、この特定の「アクション $\to$ 観測 $\to$ 継続」というループを最適化することは稀です。その結果、ベースモデルの事前学習と、エージェント的ポストトレーニング・パイプライン（例：SWE-Gym、R2E-Gym）の要求との間にギャップが生じます。

さらに、コードの事前学習で使用される標準的なFill-in-the-Middle（FIM）目的関数は、以下の3つの理由からエージェントの推論とは整合していません。

恣意的な境界: ランダムなスパンのマスキングは式を分断することがあり、関数レベルの依存関係を捉えることができません。
推論の欠如: 標準的なFIMは中間的な推論ステップ（Chain-of-Thought）を伴わない直接的な生成を要求しますが、これはエージェントの「考えてから行動する（think-then-act）」パターンとは異なります。
希釈されたシグナル: FIMが大規模な事前学習の中に解消されると、エージェント的ポストトレーニングが始まる前に、その構造的事前知識が兆単位の無関係なトークンへと希釈されてしまいます。

メソドロジー

著者らは、事前学習とエージェント的ポストトレーニングの間に挿入される専用の自己教師あり学習段階として、**関数認識型FIMミッドトレーニング（Function-Aware FIM Mid-Training）**を提案しています。このアプローチは、通常のコードにおける関数呼び出しサイトと、コーディング・エージェントのステップとの間にある構造的な同型性（structural isomorphism）を利用しています。

コンテキスト／履歴: 意図を確立する呼び出し前のコード。
アクション／コール: 関数呼び出しそのもの。
観測／リターン: コールされた側（callee）によって計算された値（即時スコープの外側）。
継続: リターン値を受け取る後続のコード。

コア・コンポーネント

関数認識型ターゲット選択:
ランダムなスパンの代わりに、プログラム依存グラフ（PDG）分析を用いて関数粒度でマスキング対象を選択します。
- 複雑度スコア ( $\hat{H}$ ): 行数（LoC）、McCabeの循環複雑度、およびネストの深さに基づく固有の難易度を測定します。
- 推論可能性スコア ( $\hat{I}$ ): 呼び出し側の引数、被呼び出し側の依存関係、型シグネチャ、ドキュメント文字列、クラスの兄弟要素からのシグナルを集約し、その関数がいかに復元可能かを測定します。
- 選択基準: $\hat{H}$ と $\hat{I}$ の調和平均のような組み合わせにより、ターゲットを選択します。これにより、あまりに単純すぎるもの、あるいはフルコンテキストがあっても学習不可能なターゲットを排除します。
思考の連鎖（CoT）の拡張:
選択されたターゲットに対し、モデルが関数本体の前にステップバイステップの根拠（rationale）を生成するように学習させます。
- 生成: フロンティアモデル（Gemini-3-Flash）が、マスクされたファイル内のコンテキストのみに基づき、根拠と候補となる関数本体を生成します（正解データにはアクセスしません）。
- フィルタリング: ジャッジモデルが、実現可能性と品質に基づいてペアをフィルタリングします。
- 学習フォーマット: 学習プロンプトは <fim_prefix> ... <fim_suffix> ... <fim_middle> <rationale> <body\> に従います。これにより、モデルに「考えてから行動する」構造を学習させます。
データ・キュレーション:
コーパスは、GitHubから抽出された、汚染のない968個のPythonリポジトリ（26億トークン）で構成されています。SWE-Benchのソースと重複するリポジトリは削除され、テスト時のリークを防ぐため、コミットはSWE-Benchのベースコミットより前のものに限定されています。

主な貢献

構造的アナロジー: 関数呼び出しサイトを、インターネット規模の「エージェントに関連するシグナルの供給源」として位置づけ、関数粒度のFIMを自己教師ありの事前知識として動機付けました。
パイプライン設計: PDGベースの選択、複雑度と推論可能性の二重基準、および組み込まれたCoTの根拠を組み合わせたミッドトレーニング・パイプライン。
堅牢性の検証: さまざまなモデルサイズ（Qwen2.5-Coder 7B/14B, Qwen3-8B）、異なるポストトレーニング・パイプライン（R2E-Gym, SWE-Smith, SWE-Lego）、および異なるベースモデル・ファミリーにおいて、一貫した利得を実証しました。
クロスドメイン転移: Pythonのみのミッドトレーニング・コーパスが、非コーディングのツール使用ベンチマーク（ $\tau$ -bench, BFCL）の性能を向上させ、かつ、エージェント的ポストトレーニング中に通常損なわれる一般的なコーディング能力（LiveCodeBench）を保持することを示しました。
オープンリリース: 968個のリポジトリを含む汚染のないコーパス、選択パイプライン、およびミッドトレーニング済みチェックポイントを公開します。

実験結果

ドメイン内エージェント性能

手法はSWE-Bench-VerifiedおよびSWE-Bench-Liteで評価されました。

Qwen2.5-Coder-7B: Verifiedで+2.8%、Liteで+3.7%の向上（ポストトレーニングのみの場合と比較）。
Qwen2.5-Coder-14B: Verifiedで+3.0%、Liteで+4.0%の向上。
Qwen3-8B: Verifiedで+3.2%、Liteで+5.4%の向上。
パイプラインへの独立性: R2E-Gym、SWE-Smith、SWE-Legoの各パイプラインにおいて利得が観察されており、この事前知識が特定のデータ分布に特化したものではないことを示しています。

能力の保持とクロスドメイン転移

エージェント的ポストトレーニングのみでは、非ターゲットの能力が著しく低下することが判明しました（例：14BモデルにおいてLiveCodeBenchが13.1ポイント低下）。

回復: ポストトレーニングの前にミッドトレーニングを追加することで、LiveCodeBenchの性能を+11.1ポイント回復させ、インストラクションチューニングの天井に近いレベルまで引き戻しました。
ツール使用: コーパスにはPythonコードのみが含まれ、ツール使用の軌跡は含まれていないにもかかわらず、ミッドトレーニングは $\tau$ -bench（+3.9）およびBFCL（+2.4）の性能を向上させました。これは、関数呼び出しの帰納バイアスが一般的なツール使用の推論に転移することの証拠となります。

行動分析

エージェントの軌跡分析により、以下が明らかになりました。

エラーからの回復: ミッドトレーニング済みのエージェントは、負の観測（例：スタックトレース）から28.8%の割合で回復しましたが、ベースラインは24.8%でした。
反復と検証: モデルは、より多くの編集と長い軌跡（23.6ステップ vs 15.1ステップ）を採用するポリシーをとり、「パッチなし（no-patch）」による失敗を桁違いに減少させました。
粒度: 利得は、単一ファイル内の関数間依存関係に関する推論を必要とするタスクにおいて最も顕著であり（マルチファンクション・タスクで+9.1ポイント）、構造的同型性の仮説を裏付けています。

意義と主張

本論文は、ソースコードには関数呼び出しサイトという形で「インターネット規模の、エージェントに関連するシグナルの供給源」が存在すると主張しています。関数認識型FIMを通じて、これらの依存関係について双方向的に推論するようにモデルを明示的に訓練することで、以下の構造的事前知識をインストールします。

エージェント性能の向上: ソフトウェア・エンジニアリングのベンチマークにおける成功率を直接的に高めます。
破滅的忘却の軽減: 特化したエージェント的ポストトレーニングによって引き起こされる、一般的なコーディングやツール使用能力の浸食を防ぎます。
汎用性: 利得はモデル・ファミリーを超えて転移し、非コーディングのツール使用タスクにも及びます。これは、学習された帰納バイアスがPythonコード生成に特有のものではなく、エージェントの推論ループにおける根本的なものであることを示唆しています。

著者らは、Pythonのみのコーパスへの依存、CoT生成におけるフロンティア・ティーチャー（Gemini-3-Flash）への依存（ただし、自己CoTによって大部分の利得が回復される）、およびモジュール化されたコード構造の仮定といった制限事項についても言及しています。