🤖 AI

Trajectories That Segment Themselves: Agent-Declared Boundaries as a Training Unit

本論文は、コーディングエージェントが反証可能な因果仮説を宣言することによって自身の軌跡を自己セグメント化し、それによって従来の固定ウィンドウ方式やエピソードベースのラベル付けと比較して、より効果的な教師あり微調整および直接選好最適化を可能にする高品質で可変長のセマンティックフェーズを生成するという学習パラダイムを導入するものである。

原著者： Jingxi Wei

公開日 2026-08-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jingxi Wei

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

探偵の手帳：なぜAIは推測をやめるべきタイミングを知る必要があるのか

巨大で散らかったパズルを解くように、ロボットに教えているところを想像してみてください。人工知能の世界では、このロボットは「エージェント」と呼ばれ、パズルは多くの場合、複雑なコンピュータコードです。学習するために、ロボットは何かに挑戦し、間違いを犯し、フィードバックを受け取ります。しかし、ここで難しい問題があります。ロボットの「何が正しくて、何が間違っていたのか」を、どうやって伝えるかということです。

通常、私たちはロボットの最初から最後までの一連の旅路全体を見て、「よくできました！」や「やり直し」といった一つの成績を与えます。これは、探偵が事件を解決する様子を見守りながら、「犯人を捕まえた」とだけ言い、どの手がかりが突破口になったのか、あるいはどの行き止まりが時間の無駄だったのかを教えないようなものです。もし探偵が本物の手がかりを見つける前に、偽の手がかりを追って何時間も費やしていたとしたら、「やり直し」という成績は、それ以前に行った優れた仕事まで罰することになってしまいます。

この論文はその問題に取り組んでいます。問いはこうです。「AIに、自分自身の長く散らかった旅路を、小さく意味のある『章』へと分割することを教えられるだろうか？」。映画の全体を見る代わりに、AIが立ち止まって、「よし、今、コードに関する特定の理論をテストし終えた。次は新しい理論に移るぞ」と言えるようにできるでしょうか？これを行うことで、AIは自分の思考のどの「章」が間違っていたのかを正確に把握できるため、物語全体に対して悪い成績をもらうのではなく、失敗からより速く学ぶことができるのです。

論文：AIエージェントが自らの章題を書くとき

この論文は、**「エージェント宣言境界（Agent-Declared Boundaries）」**と呼ばれる巧妙なトリックを紹介しています。これは、AIエージェントに、試そうとするすべての新しい理論に対してタイトルを書かせなければならない「魔法の手帳」を与えるようなものです。

問題点：「ぼやけた」成績

宝探しをするビデオゲームを想像してください。あなたは地図を試し、間違った場所を掘り、コンパスを試し、別の間違った場所を掘り、最後にようやく宝を見つけました。

従来の方法： ゲームは最後に一つのスコアを与えます。いくつかミスをすると、スコアは低くなります。コンパスが問題だったのか、それとも単に掘る場所を間違えただけなのかは分かりません。
論文のアイデア： AIエージェントは立ち止まって、「今からコンパス理論をテストする」と言うよう求められます。その理論が失敗すると、エージェントは「よし、コンパス理論はダメだ。次は地図理論を始める」と言います。

AIに現在の推測（「仮説」）を名乗らせることで、研究者は長く混乱した道のりを、整然とした短いセグメントに切り分けることができます。各セグメントは「意味的なフェーズ（semantic phase）」、つまりAIが特定のアイデアに集中していた時間の塊となります。

実装方法：「仮説台帳（Hypothesis Ledger）」

研究者たちは、AIエージェントに対して特別なルールを設定しました。エージェントがコードの修正作業を行う際、「バグはログインシステムにあると信じている」と宣言しなければなりません。その後、作業を開始します。もし失敗した場合、「レビュアー」（別のAI）が介入し、「いいえ、ログインシステムは正常です。あなたのログイン理論は間違っていました。代わりにデータベース理論を試してください」と伝えます。

これにより、エージェントの推測の「台帳（リスト）」が作成されます。

コスト： これは、推測ごとにわずか52トークン（ごく少量のテキスト）しか追加しません。ページに付箋を貼るようなもので、本の重みが増すことはありません。
メリット： 一連の試行に対して一つの大きな「失敗」というラベルを与える代わりに、同じ道のりから4つの異なる種類の学習データを得ることができます。
1. 監査（Audit）： 「なぜこの特定の推測は間違っていたのか？」（たとえ推測が失敗しても、その教訓は有用です！）
2. 提案（Propose）： 「次に何を推測すべきか？」
3. 修正（Fix）： 「答えが分かった今、どのようにコードを修正すべきか？」
4. 好みの判定（Preference）： 「どちらの推測の方が優れていたか？」

大規模テスト：AIは本当に意味のあることをしているのか？

研究者たちは懸れていました。「もしかして、AIはただランダムなタイトルを書いているだけで、その『章』は実際には単なるランダムなテキストの塊なのではないか？」これを証明するために、彼らはタイトルを消去し、他の者がどこで章が終わるかを特定できるかという面白い実験を行いました。

「ブラインド」AIテスト： 彼らは別のAIに対し、一連のアクションのリストと、一連の理論のリストを与えましたが、どの理論がどのアクションに属しているかは隠しました。AIはそれらを一致させなければなりません。
- 結果： AIはランダムに推測する場合よりも2.18倍高い頻度で正解しました。さらに、AIの「命名された」章を、単にテキストを等分に切り分けたものと比較したところ、命名された章の方が関連するアクションをグループ化することにおいて有意に優れていました。
「コード・ブラインド」人間テスト： コードを知らない人間が、コマンドを見て、理論が変わる場所を推測しようとしました。
- 結果： 人間は40個中24個の境界を正しく見つけました。もしランダムに推測していたなら、わずか11.5個程度しか見つけられなかったはずです。
「メカニカル」テスト： 彼らは単純なルール（例えば「テストが実行されるたびにテキストを切る」など）を使用して、境界を見つけようと試みました。
- 結果： これらの単純なルールは惨敗し、ランダムな推測と変わらない結果でした。これは、境界が単に「いつテストが行われたか」ではなく、「作業の意味」に基づいていることを証明しています。

何を学んだのか？（そして、何を学んでいないのか）

この論文は、この手法が真に意味のある作業の塊を作り出し、それが学習に適していることを示しています。

良いニュース： AIは、悪い推測を見抜き、それを修正することを学べます。これらの「章ベース」のレッスンを用いて新しいAIを訓練したところ、そのAIは特定のタイプの推測を他のものより好むという特定の選好（preference）を学びました。しかし、この学習はトレーニング・ペアの書き方に強く依存していました。異なる構成で作られた新しい問題セット（敵対的セット）でテストした際、AIは改善しませんでした。以前と全く同じ選択をしており、より良い推測を行うための一般的なスキルを習得したわけではないことが示されました。
現実的な検証： 論文は、自身が証明できなかったことについても非常に正直です。
- 彼らはこれを特定のコーディング・タスクに対してテストしました。
- 小規模なテストにおいて、新しいAIは旧来のAIよりも全体として多くの問題を解決することはありませんでした。解決したタスクの数は同じでした。
- 彼らが見た「学習」は、データの構成に非常に特化したものでした。それは、特定のなぞなぞを完璧に覚えたとしても、必ずしもすべてのなぞなぞを解くのが上手くなったわけではない、という状態に似ています。

まとめ

この論文は、あらゆるコードを即座に修正できる超知能ロボットを作ったと主張しているわけではありません。その代わりに、ロボットの「思考プロセス」をはるかに明確にする方法を見出したのです。試そうとするすべての理論に対してタイトルを書かせることで、研究者は、長く混乱した間違いの山を、一連の明確で短いレッスンへと変えることができます。

それは、「今学期は落第です」という成績表を受け取るのと、「君は代数の章で失敗したが、幾何学の章では満点を取った。代数がなぜ失敗したのか、その理由はここにある」という詳細なレポートを受け取るのととの違いです。この論文は、たとえロボットがまだプロのコーダーになる準備ができていなくても、このような詳細なフィードバックがAIを教えるための強力なツールであることを示唆しています。

技術要約：自己セグメント化する軌跡（Trajectories That Segment Themselves）

1. 問題提起

長期間のコーディングエージェントの軌跡は、標準的な学習ユニットとの間に根本的な不一致を生じさせている。現在のアプローチは、以下の3つの欠陥のあるクレジット割り当てメカニズムに依存している：

アクション単位のクレジット： 個々のアクション（例：grep, pytest）には固有の価値がなく、その有用性はそれらが奉ずる因果的仮説に完全に依存する。
終端エピソードのラベル： 単一の成功/失敗ビットは、生産的な探索と放棄された方向性を混同させ、正当なフェーズと失敗したコミットメントを結合させてしまう。
固定ウィンドウ： 任意のタイムステップ境界（例： $K$ ターン・ウィンドウ）は、一貫した調査を分断したり、ある原因の放棄と別の原因の採用を統合したりすることが多い。

これらの境界は、エージェントの進化する認識状態からではなく、ロギングのメカニズムから導出されているため、因果的推論よりも表面的な形式に報酬を与えてしまうノイズの多いターゲットとなる。

2. メソドロジー

2.1 エージェント宣言による意味論的自己セグメンテーション

本論文は、エージェント自身が**宣言的契約（declarative contract）**を通じて自身の境界を露出させる、コレクション時のプロトコルを導入している。

メカニズム： ツール使用のロールアウト中、動作中のエージェントは、検証可能な因果的仮説（ $h_k$ ）を採用し、それを宣言する。その後、エージェントはその仮説の下で証拠を収集し、コードを編集し、あるいはチェックを実行する。フェーズは、エージェントが新しい仮説（ $h_{k+1}$ ）を採用するか、あるいは軌跡が終了したときに終了する。
コスト： ゴールドパッチ、環境固有の語彙、再現可能な環境、または事後的なセグメンターを必要とする代替案と比較して、最小限のオーバーヘッド（宣言あたりの平均52トークン、エージェント出力の約9.8%）しか加えない。
コレクション・プロトコル： エージェントがタスクを試みる。隠れたテストに失敗した場合、レビュアーモデルが介入する。レビュアーは参照となる修正（fix）を見るが、それを命名することは禁止されている。代わりに、レビュアーは次の事項を提供しなければならない：(1) 現在の誤ったアプローチの否定、および (2) 次に調査すべき最小の正の方向。これにより、エージェントは拒絶された仮説を放棄し、新しい仮説を採用することを強制され、「誤った原因の後に修正が行われる」という明確な遷移が作成される。

2.2 1つのコレクションから得られる4つの教師ありターゲット

単一のロールアウトは、情報の非対称性を活用して、4つの異なる学習ビューを生み出す：

監査（Audit）(2,721行): オーディター（監査者）は、完了したフェーズと境界内の証拠を見て、その方向性が妥当であったかを判断し、不足している証拠を特定する。これにより、エピソードラベルでは破棄されてしまうスパンからの教訓を回収できる。
提案（Propose）(1,405行): モデルは境界時（マスクされた状態）のステートのみを見て、検証可能な次の仮説や不足している証拠を導き出さなければならない。
修正（Fix）(553行): モデルは、結果によって確認された原因とソースを見て、局所的な診断をパッチへと転換する。
選好ペア（Preference Pairs）(2,551行): モデルはマスクされた境界状態を見て、停滞または拒絶されたものよりも、前進的なオープニングを好むように学習する。

2.3 Phase-DPO

本論文は、選好ペアに対して標準的な直接選好最適化（DPO）を実装している。目的は、マスクされた状態 $x$ が与えられたとき、 $\pi_\theta(y^+ | x) > \pi_\theta(y^- | x)$ となるような方策 $\pi_\theta$ を学習することである。ここで、 $y^+$ は好ましいオープニング仮説であり、 $y^-$ は拒絶されたものである。フェーズがクレジット単位となり、コンテキストをどこで切断し、どのテキストをターゲットにするかを決定する。

3. 主な貢献

依存関係のない境界： セグメンテーションは、宣言的契約の下で動作中のポリシー自体によって提供されるため、外部のゴールドパッチ、マイルストーン用の語彙、または事後的なセグメンターを必要としない。境界は、軌跡を生成するのと同じロールアウト内で到着する。
アドレス指定可能な単位： 位置によって定義されるウィンドウとは異なり、宣言された仮説はアドレス指定可能なハンドルである。これにより、より細かいクレジット割り当て、ステップ注釈なしでのプロセス監督、および名前によるガイダンス（全軌跡ではなく特定の推論を否定すること）が可能になる。
意味論的一貫性： 境界は、ロギングのアーティファクトではなく、エージェントの推論を追跡する。
- 帰属（Attribution）： 宣言テキストを削除した後でも、独立したモデルはアクションブロックをその支配的な仮説に2.18倍の確率で帰属させることができ（対を組んだ符号検定 $p=0.0002$ ）、等長のウィンドウを上回る。
- 非導出性： コードを知らない人間によるアノテーターは、24/40の境界を一致させた（偶然による期待値は11.5）。一方で、機械的なテストイベント・ルールは、厳格または寛容な閾値のいずれにおいても偶然を上回ることができなかった。
構築インターフェース： このプロトコルは、記録された作業には滅多に見られない「誤った原因の後に修正が行われる」という遷移を製造し、標準的なエピソードラベルが破棄してしまう失敗領域からの監査監督を可能にする。

4. 結果

4.1 単位の妥当性

帰属： アクションブロックは、宣言テキストを削除した後でも、その支配的な仮説に帰属させることが可能であり、境界がレキシカル（語彙的）ではなくセマンティック（意味論的）であることを裏付けている。
回復可能性： コードを知らない読者は、ランダムよりも有意に高い精度で境界を復元できるが、過剰にセグメント化する傾向（1.55倍）がある。これは、境界が単純なヒューリスティックによって容易に再現できるものではないことを示している。

4.2 ダウンストリーム最適化 (Phase-DPO)

方向への感受性： 2,721行のペアを用いて27BのSFTポリシーで学習した際、ラベルを反転させたアームは分離を再現できなかった。これは、信号がオプティマイザのシェルによるアーティファクトではないことを裏付けている。
汎化の限界：
- 敵対的に構築された保持項目（87インスタンス）において： 学習されたアダプターは、0/91 の決定を変更しなかった。
- 構成が一致する項目（同一ジェネレーター・ファミリーから抽出した60アイテム）において： アダプターは 4/60 の決定を変更したが（すべて「誤りから正解」への変更）、コントロール群は変更を行わなかった。
- 結論： フィットされた選好は実在するが、**構築に依存（construction-bound）**している。つまり、モデルはペアの書き方を学習しており、一般的な能力を学習しているわけではない。

4.3 ロールアウト・パイロット

SWE-bench Verifiedを用いた20タスクのパイロット調査では、以下が示された：

解決率： ベースライン (13/20)、SFT (14/20)、Phase-DPO (14/20)。統計的に有意な解決率の向上は見られなかった。
効率性： Phase-DPOは、メッセージ数がベースラインと比較して短くなる傾向（14.0%の減少）を示したが、信頼区間にはゼロが含まれていた。
ケーススタディ： 特定のケースでは、DPOがより良い局所的な選択（例：内部デフォルトの保持）を行うこともあれば、より悪い選択（例：早い段階での誤った部位へのコミット）を行うこともあり、より良いフェーズ選択が必ずしもグローバルな成功を保証しないことが浮き彫りになった。

5. 意義と主張

本論文は、コレクション時のセグメンテーション・プロトコルとデータ・インターフェースが主要な貢献であると控えめに主張している。

確立されたこと： 外部の依存関係なしに、安価に意味論的な境界を取得できること。この境界は、アクションを支配的な仮説に帰属させる一貫した単位を作成し、失敗した探索方向からの教訓（監査監督）の抽出や、選好ペアの構築を可能にする。
確立されていないこと： これらの単位を用いて学習することが、エンドツーエンドのコーディング能力や解決率において優れた方策をもたらすとは主張していない。最適化信号は方向に対して感受性があるが、現在は学習ペアの構築に縛られている。
今後の方向性： 本論文は、次に変化させるべき変数は境界の定義自体ではなく、ペア・コーパスの多様性であると示唆している。境界は単位のための必要条件であるが、その単位の有用性は、それが構造化するデータの質と多様性に依存する。

本研究は、「クレジット単位」の問題を再定義している。エージェントに自身の因果的コミットメントを宣言させることで、単なる「結果」ではなく「探索の方向」を区別する学習データを製造し、より粒度が高く解釈可能なエージェント学習への道を提供している。