🤖 machine learning

DREvo: Distilling Recalibrated Historical Experience for Harness Self-Evolution

DREvoは、過去の経験を動的に再調整し、実行可能な探索方向を蒸留することで、既存手法の不安定さに対処し、限られた予算内で推論およびエージェント的ベンチマーク全体にわたって優れた性能とより滑らかな進化の軌跡を実現する、新しいハーネス自己進化手法である。

原著者： Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

公開日 2026-07-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、超スマートなロボットにパズルを解く方法を教えようとしていると想像してください。あなたはロボットに「脳（大規模言語モデル）」を与えますが、その脳が実際に作業を行うためには、「体」と「ルール」が必要です。この「体とルール」のセットを**ハーネス（harness）**と呼びます。ハーネスはロボットのオペレーティングシステムのようなもので、ロボットがどのように情報を検索するか、計算機やコードエディタのようなツールをどのように使うか、そして今やったことをどのように記憶するかを決定します。もしハーネスが乱雑で混乱していれば、たとえ最も賢い脳であってもつまずいてしまいます。

長い間、優れたハーネスを構築することは、手作業でレーシングカーのチューニングをするようなものでした。専門家は、何が間違っているのかを推測し、いくつかの配線を調整してテストし、あとはうまくいくことを祈るしかありませんでした。しかし最近、科学者たちは、ロボットが自分自身の体を実際に修理できることを発見しました。ロボットは、変更を試行し、その結果を確認し、それを記憶し、そして再び試すことができます。これは**自己進化（self-evolution）**と呼ばれます。アイデアとしては、もしロボットが過去の試行錯誤の「日記」を記録していれば、間違いから学び、時間をかけて改善していくことができるというものです。しかし、ここに落とし穴があります。ロボットが日記を持っているからといって、その読み方を知っているとは限らないのです。昨日うまくいったトリックが、今日では災難になることもあります。なぜなら、ロボットの状況が変わっている可能性があるからです。この論文はこう問いかけています。「どうすれば、ロボットが古い、時代遅れのアドバイスに混乱することなく、過去の経験から正しい教訓を学ぶことができるだろうか？」

問題点：ロボットの混乱した日記

犬にボールを取ってくる訓練をしているところを想像してください。あなたはボールを投げ、犬は走り、時にはキャッチし、時には落としてしまいます。あなたはすべての試行をノートに書き留めます。ここで、犬が新しい首輪をつけたり、風向きが変わったり、あるいはテニスボールから音が鳴るおもちゃに切り替えたりしたと想像してください。もしあなたがノートを見て、「前回、犬は左に走った時にボールを落としたから、いつも右に走るべきだ」と言ったとしたら、それは間違いかもしれません。その古い教訓は、新しい状況には当てはまらない可能性があります。

これはAIエージェントでも全く同じことが起こります。研究者たちは、ロボットが自身の「ハーネス」を改善しようとして過去の試行履歴全体を参照しようとすると、しばлоープに陥ってしまうことが多いことを発見しました。ロボットは修正を試み、失敗し、別のことを試し、また失敗し、そして突然、数週間前に失敗した方法に戻ってしまうことがあります。彼らのパフォーマンスは、緩やかに丘を登るのではなく、ジェットコースターのように激しく上下します。研究者たちは、ロボットが主に2つの問題に苦しんでいることに気づきました。

「これはまだ正しいのか？」問題： ロボットは、自分の古い教訓が依然として有効かどうかをチェックしていませんでした。ロボットのコードが変わっているにもかかわらず、過去の成功や失敗を、あたかも今まさに起きていることであるかのように扱っていました。
「次に何をすべきか？」問題： たとえロボットが教訓を覚えていたとしても、体の「どの部分」を「どのように」直すべきかを正確に知りませんでした。それは、「ボールを落とした」と言われるだけで、「グリップを締め直す必要がある」とは言われていない状態のようなものでした。

解決策：DREvo（スマートな司書）

これを解決するために、著者らはDREvoと呼ばれる新しい手法を開発しました。DREvoは、ロボットの日記を管理する「超整理整頓された司書」だと考えてください。単にロボットに書類の束を渡すのではなく、DREvoは情報を整理し、それがまだ関連性があるかどうかをチェックし、次に何をすべきかについて明確で具体的な指示を与えます。

DREvoは、以下の3つの楽しいステップで行われます。

1. 「ラベルメーカー」（関数レベルのエビデンス・アンカリング）
従来の方法では、ロボットの日記は巨大で乱雑なテキストの塊でした。DREvoはこの塊を、ラベル付けされた小さな断片に切り分けます。ロボットが行ったあらゆる変更を観察し、それを特定の「関数」（特定のツールやメモリ規則など）に関連付けます。これは、乱雑なレシピ本を取り上げ、個々の材料の変化を、それが属する正確な工程へとラベル付けするようなものです。これにより、ロボットが学習したいとき、過去の教訓が体のどの部分について述べているのかを正確に把握できます。

2. 「鮮度チェッカー」（状態依存のエビデンス再校正）
これが最も重要な部分です。ロボットが古い教訓を使用する前に、DREvoは2つの質問を投げかけます。「この教訓はまだ信頼できるか？」「この教訓は現在のロボットの体に適合しているか？」

信頼性： その教訓は以前使われたときに毎回うまくいったのか、それとも単なるラッキーな推測だったのか？
鮮度： ロボットのコードは、その教訓が学ばれたときと似ているか？もしロボットが「グリップ（握り方）」を変えてしまったなら、グリップに関する古い教訓はもう機能しないかもしれません。
DREvoは、すべての教訓に対して「スコア」を付与します。教訓が古かったり、ロボットが変わりすぎていたりする場合、スコアは下がり、ロボットはその教訓を無視します。教訓が新鮮で信頼できる場合、スコアは高く維持されます。

3. 「コーチの笛」（役割条件付きの探索意図蒸留）
最後に、DREvoは単に事実のリストを与えるのではなく、ゲームプランを与えます。高スコアの教訓に基づき、DREvoは次の試行に向けてロボットに特定の「役割」を割り当てます。

Exploit（活用）： 「このトリックは以前とてもうまくいった！再度実行せよ！」
Avoid（回避）： 「このトリックは前回クラッシュを引き起こした！やめておけ！」
Retest（再テスト）： 「これについては確信が持てない。うまくいくかどうか慎重に試してみよう。」
Explore（探索）： 「良い手がかりがない。全く新しいことを試してみよう。」
これにより、ロボットの漠然とした「もっと上手くなりたい」という感覚が、「『活用』戦略を用いてメモリツールを修正せよ」といった、明確で実行可能なコマンドへと変わります。

研究結果

研究者たちは、化学パズルを解くことから、医学的症状の診断、コンピュータコードの修正、仮想端末の操作に至るまで、5つの異なる課題でDREvoをテストしました。彼らは、DREvoを、自己進化を試みる他のロボットや、人間が設計したハーネスを持つロボットと比較しました。

結果は非常に有望でした。限られた試行予算（つまり、ロボットを永遠に練習させない設定）の下で、DREvoはすべてのカテゴリーにおいて最高のハーネスを見つけ出しました。

医学的診断タスクにおいて、DREvoは89.2%の精度に達し、2番目に優れた手法を2.4パーセントポイント上回りました。
法的推論においては49.0%に達し、次点のメソッドを4.0パーセントポイント上回りました。
化学反応の予測では25.0%を記録し、これはランナーアップよりも9.0パーセントポイント高い数値でした。
エージェントタスク（コードの修正やコンピュータ端末の使用など）では、DREvoは推論タスクで平均16.2%、エージェントタスクで**13.8%**の性能向上を、他の手法と比較して達成しました。

おそらく最も重要なことは、DREvoの進歩がスムーズであったことです。他のロボットのスコアが激しく上下（退行と回復）する一方で、DREvoの精度は着実に上昇しました。また、DREvoは「思考空間（コンテキスト）」を2.9Kトークン程度と小さく保つことができましたが、他の手法は5.3Kトークン以上を必要としたにもかかわらず、性能は劣っていました。

まとめ

この論文は、単にロボットに過去の履歴を与えるだけでは不十分であることを示唆しています。真に学習するためには、ロボットが**「古い教訓がまだ適用できるかどうかをチェックできる」システムと、「それらの教訓を明確で具体的な指示に翻訳できる」**システムが必要です。DREvoはそのシステムとして機能し、試行錯誤の乱雑な歴史を、スムーズで信頼できる改善への道筋へと変えてくれます。過去の経験をいかに賢く利用するかによって、たとえ練習に無限の時間をかけられなくても、AIエージェントをより速く、より確実に進化させられることを、DREvoは証明しています。

技術要約: DREvo – 再校正された履歴経験の蒸留によるハーネスの自己進化

問題提起

大規模言語モデル（LLM）エージェントの性能は、コンテキスト構築、メモリ管理、ツール呼び出し、および出力解析を制御する外部実行フレームワーク、すなわち**ハーネス（harness）に大きく依存している。手動によるハーネス設計は効果的ではあるが、タスクやコンポーネント間の相互作用が複雑化するにつれて、多大な労力とスケーラビリティの課題が生じる。その結果、研究の焦点は、履歴に基づく試行経験を用いてハーネスを反復的に提案、評価、改善するハーネスの自己進化（harness self-evolution）**へと移行している。

しかし、既存の履歴駆動型自己進化手法（Meta-harness、AHE、ACEなど）は、**非定常な進化軌跡（non-stationary evolution trajectories）**という問題を抱えている。履歴経験を蓄積しているにもかかわらず、精度は着実に向上するのではなく、大きく変動することが多い。著者らは、現在の手法における履歴データの活用方法に、以下の2つの核心的な限界があることを特定している。

動的な再評価の欠如（「何が依然として有効か？」）: 履歴の証拠は状態依存的である。以前のハーネス状態において有効であった修正が、ハーネスの進化に伴って無効または有害になる可能性があるが、既存の手法は過去の記録を静的に有効なものとして扱っている。
明示的な探索方向の欠如（「次にどこを進化させるべきか？」）: 履歴経験は、生のログや要約として提示されることが多い。既存の手法は、どのコンポーネントをどのように修正するかを決定するために、提案者の暗黙的な推論に依存しており、これが不安定な探索方向と、限られた進化予算の非効率な利用を招いている。

手法: DREvo フレームワーク

これらの限界に対処するため、著者らは、生の試行ログを、状態を認識した実行可能なガイダンスへと変換する自己進化手法である DREvo（Distilling Recalibrated Historical Experience：再校正された履歴経験の蒸留）を提案する。このフレームワークは、以下の3つの逐次的なコンポーネントで構成される。

1. 関数レベルの証拠アンカリング（Function-Level Evidence Anchoring）

生の試行ログは、コードの変更、実行の軌跡、フィードバックが混在した不均質なものである。DREvoは、これらのログを解析して**関数にアンカーされた証拠ユニット（function-anchored evidence units）**を作成する。

メカニズム: ソーススパンの境界に基づき、コードの差分（ $h_{t-1}$ と $h_t$ の間の変更）を特定の機能コンポーネント（例：ツール使用、メモリ管理）にマッピングする。
出力: 各証拠ユニット $e_{t,c}$ は、特定のコンポーネント $c$ 、そのコード変更 $\delta_{t,c}$ 、および観察された結果（グローバル統計、タスク結果、失敗パターン）を紐付ける。
属性付け: これにより、フィードバックを特定のコンポーネントに局所化し、成功または失敗のより精密な属性付けを可能にする。

2. 状態依存の証拠再校正（State-Dependent Evidence Recalibration）

履歴の証拠を再利用する前に、DREvoは現在のハーネスの状態に基づいてその妥当性を動的に再校正する。各証拠ユニットに対して、以下の2つの要因に基づき校正された重み $w_e$ を算出する。

履歴の信頼性 ( $r_t(e)$ ): 一貫性と鮮度を測定する。
- 結果の一貫性: 過去の呼び出しにおいて、現在の証拠の極性と結果の極性（成功/失敗）が一致した割合を、性能変化の大きさに応じて重み付けしたもの。
- 鮮度: 証拠が最後に使用または作成されてからの経過時間に基づく減衰係数。
構造的適合性 ( $q_t(e)$ ): 証拠に関連付けられたコンポーネントの実装が、現在のコンポーネントと構造的に類似しているかどうかを測定する。これは、抽象構文木（AST）に対する**木編集距離（Tree Edit Distance: TED）**を用いて計算され、語彙的な詳細は正規化しつつ、制御フローとロジックを保持する。
校正: 最終的な重みは信頼性と適合性の調和平均であり、証拠が歴史的に一貫しており、かつ構造的に関連している場合にのみ信頼されることを保証する。

3. ロール条件付き探索意図の蒸留（Role-Conditioned Search Intent Distillation）

提案者に生の証拠を直接入力する代わりに、DREvoは校正された証拠を、何を行い、どこを 探すべきかを指定する明示的な探索意図（explicit search intent） ( $s_t$ ) へと蒸留する。

証拠のパーティショニング: 取得された証拠は、重みと極性に基づいて3つの集合に分類される：信頼できる正の証拠 ( $X_t$ )、信頼できる負の証拠 ( $A_t$ )、および低信頼度の証拠 ( $T_t$ )。
ロールの活性化: これらの集合に基づき、以下の探索ロールが活性化される：
- Exploit（活用）: 信頼できる正の証拠が存在する場合、提案者はそれらの修正を継承または洗練するように導かれる。
- Avoid（回避）: 信頼できる負の証拠が存在する場合、提案者は特定の有害な修正を避けるように導かれる。
- Retest（再テスト）: 低信頼度の証拠しか存在しない場合、提案者は現在の状態の下でこれらの方向性を再評価するように導かれる。
- Explore（探索）: 関連する証拠が存在しない、あるいは以前の再テストが失敗した場合、提案者は現在の失敗パターンに基づき、自由に新しい方向性を探索することが許される。
蒸留: 活性化されたロールと現在の失敗パターンは、ターゲットとなるコンポーネントと修正の方向を明示的に指示する構造化されたプロンプト ( $s_t$ ) へと蒸留される。

主な貢献

問題の特定: 本論文は、ハーネスの自己進化における性能の変動を、履歴の妥当性を動的に再評価できていないこと、および明示的な探索ポリシーが欠如していることに起因する信頼性の課題として特定した。
DREvo フレームワーク: 証拠を関数にアンカーし、状態の適合性と履歴の一貫性に基づいて妥当性を再校正し、これをロール条件付きの探索意図へと蒸留する新しい手法を提案した。
実証的検証: 多様なベンチマークにおいて、より滑らかな進化の軌跡と優れた性能を示す広範な実験を行った。

実験結果

著者らは、5つのベンチマーク（3つのドメイン推論タスク：USPTO, Symptom2Disease, Law、および2つのエージェント的タスク：Terminal-Bench 2.0, SWE-Bench Verified）を用いてDREvoを評価した。

全体的な性能: DREvoは、限られた進化予算（推論タスクで20イテレーション、エージェント的タスクで10イテレーション）の下で、すべての5つのベンチマークにおいて最高の精度を達成した。
- ドメイン推論: ベースラインに対して平均 16.2% の向上を実現した。具体的には、第2位の手法に対し、USPTOで9.0%、S2Dで2.4%、Lawで4.0%向上した。
- エージェント的タスク: ベースラインに対して平均 13.8% の向上を実現した。特にSWE-Bench Verifiedにおいて、DREvoはターミナル指向の初期ハーネスを、手動のタスク固有エンジニアリングなしに、競争力のあるコード修復ハーネスへと進化させた。
進化の軌跡: 大きな精度の振動とコンテキストの肥大化を示したベースライン（例：Meta-harness）とは異なり、DREvoはより滑らかな改善曲線を示し、限定されたコンテキストサイズ（約2.9Kトークン）を維持した。
堅牢性: 制御されたコンポーネント状態のドリフト（ハーネスコードの変化をシミュレート）条件下において、DREvoは16の設定中11の設定で性能を向上させた。一方、「盲目的な証拠の再利用」（再校正なし）は、ほとんどのケースで性能を低下させた。
アブレーション研究: 3つのコンポーネント（アンカリング、再校正、蒸留）のいずれかを削除すると性能が低下し、それらの相補的な役割が確認された。

意義と主張

本論文は、DREvoが履歴駆動型探索における根本的な不安定性を解決することを主張している。履歴を静的かつ暗黙的に再利用するのではなく、動的、明示的、かつ状態を認識したガイダンスへと移行することで、DREvoは限られた計算予算内で高性能なハーネスの確実な発見を可能にする。著者らは、その成果が単に提案者に多くの履歴データやコンテキストを露出させているからではなく、探索ガイダンス（再校正と蒸理解）の質に由来することを強調している。本研究は、将来のハーネス進化には、システムの状態が進化するにつれて、過去の経験の適用可能性を継続的に検証するメカニズムが必要であることを示唆している。