技術サマリー：METIS: 自己進化型エージェントのためのテキストとコードメモリの架け橋

問題提起

自己進化型エージェントは、過去の実行から経験を抽出し、それを将来のタスクで再利用することで、時間の経過とともにパフォーマンスを向上させることを目的としている。しかし、現在のシステムは根本的な限界に直面している。それは、メモリ表現の選択（自然言語テキストか、実行可能なコードか）が、経験自体の特性に基づいて導き出されるのではなく、設計時に固定されてしまうという点である。

既存のアプローチは、一般的に以下の2つのカテゴリに分類される：

1. テキストメモリ： 経験は自然言語として保存され、エージェントのコンテキストに注入される。エージェントはそれらを読み取り、推論する必要がある。
2. コードメモリ： 過去の手順は、エージェントが直接呼び出すことができる呼び出し可能なツールまたはサービスとしてカプセル化される。

この分野には、表現形式に関する体系的な理解が欠けている。具体的には、どのような種類の経験が各形式によって最もよく捉えられるのか、それらがどのようなコストを負うのか、そしてどちらか一方だけでは不十分な場合にどのように協力すべきなのかが不明確である。現在のシステムは、一つの表現を無差別に適用しており、構築コスト、実行効率、および転送の信頼性のバランスを取ることに失敗している。

メソドロジー

1. 制御されたプロファイリング研究

著者らはまず、AppWorldベンチマークを用いて、同一の経験に対してテキストメモリとコードメモリの影響を分離するための制御された研究を実施した。この研究により、3つの補完的なトレードオフが明らかになった：

• 構築コスト： テキストメモリは構築が大幅に容易である。再利用可能なツールを作成するには、追加の探索、検証、デバッグが必要であり、テキストメモリと比較して約2.5倍のReActターンと約100万個の追加トークンを要する。
• 実行効率： コードメモリは、実行時の効率が著しく高い。ルーチンを単一のアクション呼び出しにコンパイルすることで、テキストベースのガイダンスに必要な冗長な中間推論を排除する。
• 転送の信頼性： テキストメモリは、未知のタスクに対してより確実に汎化する。コードメモリは、固定されており脆いため、タスクが変化するストリーミング設定において大幅に低下する（22.3ポイント低下）。一方、テキストメモリの低下はわずかである（5.6ポイント低下）。

重要な洞察： いずれの表現も単独では不十分である。テキストは広く捉えるための安価で堅牢な手段であるが、コードは効率的だが脆く、かつ高コストである。したがって、コード化は、頻繁に発生し、安定した手続き的パターンを示す経験に対してのみ予約されるべきである。

2. Metisシステム

これらの知見に基づき、著者らは階層的な二重表現メモリシステムであるMetisを提案する。

• 階層構造： Metisはメモリ $M = (M_{text}, M_{code})$ を保持する。

  • テキストメモリ ($M_{text}$): 基盤として機能し、経験を自然言語で捉える。これは3つの明確なカテゴリに整理されている：
    • プラン (Plans): 繰り返されるサブルーチン用の再利用可能な手続き的テンプレート。
    • 事実 (Facts): 環境の制約と特性。
    • 落とし穴 (Pitfalls): 構造化された失敗パターン（トリガー、間違い、結果）。
  • コードメモリ ($M_{code}$): 検証済みの呼び出し可能なツールのライブラリ。

• 差別化されたテキストリフレクション： リフレクションエージェントは、完了した軌跡を3つのテキストカテゴリへと蒸留する。このエージェントは、冗長なエントリを統合し、古くなったものを更新することで、テキストメモリが一般的かつ正確であり続けるようにする。決定的なのは、このエージェントが単なる軌跡のテキストへのアクセスではなく、環境へのアクセスを持つ有界な推論ループとして動作することである。

• パターン認識型コード生成： このコンポーネントは、選択的昇格メカニズムを実装している。

  • すべての経験を無差別にコードに変換するのではない。
  • テキストメモリ内での「実行プラン」の再利用を監視する。
  • プランが十分に多く選択された場合（再帰閾値 $\theta$ を超えた場合）、それは昇格される。
  • コーディファイア（コード化器）は、プランの本体と関連するタスククエリを使用し（タスク固有のノイズをエンコードすることを避けるために、生の軌跡は意図的に除外する）、ツールを合成する。
  • 生成されたツールは、アドミッション（採用）前に、サンドボックス内で依存関係の閉鎖、コンパイル、および機能テストを受ける。

• メモリマネージャーおよびリフレクション・ハーネス：

  • マネージャーは、現在のタスククエリに基づいて関連するテキストエントリとツールを選択する結合検索を行う。
  • ハーネスは、リフレクターに対して実行のエビデンスを「段階的な開示（progressive disclosure）」を行い（長い軌跡を要約する）、新しいツールに対する厳格な依存関係チェックを強制する。

• ワークフロー： システムは、実行–リフレクション–再利用のループで動作する。リフレクションはクリティカルな実行パスから外れて（非同期で）行われるため、メモリ構築がタスクサービングのレイテンシを増大させることはない。

主な貢献

1. 初の制御研究： 本論文は、同一の経験と共有されたエージェントバックボーンに対して、テキストとコードのメモリ形式を分離した最初の研究を提示しており、表現の効果をエージェントシステムの効果から切り離している。
2. Metisシステム： テキストメモリを低コミットメントの基盤として扱い、繰り返される戦略的プランを選択的に検証済みの呼び出し可能なツールへと昇格させる、階層的な二重表現システムの導入。
3. 実証的検証： AppWorldベンチマークにおける広範な実験により、Metisが既存の自己進化型エージェントと比較して、精度、実行効率、およびメモリ構築コストの優れたバランスを実現していることを示している。

実験結果

AppWorldベンチマーク（9つのアプリケーション、457のAPI）において、MetisはNo Memory（ベースのReAct）、ACE（テキストベースのコンテキスト進化）、およびSkillX（スキルベースの再利用）と比較された。

• 精度： Metisは最高のタスク精度を達成した。Official分割ではNo Memoryベースラインに対してタスク目標達成率（TGC）を**8.3%向上させ、Resampled分割では11.3%**向上させた。また、ACEおよびSkillXをも上回った。
• 実行効率： Metisは、ベースラインと比較してエグゼキューターのトークンを（Officialで）13.5%、（Resampledで）**22.8%**削減した。また、より少ないReActターンを必要とした（Officialにおいて、ベースラインの14.55に対し、Metisは11.25）。
• 構築コスト： ツールを合成しているにもかかわらず、MetisはOfficial分割においてSkillX（9.4Mトークン）よりも低いリフレクションコスト（7.9Mトークン）を記録した。
• 堅牢性： 分布シフト（Official分割）の下で、SkillXは利得の大部分を失ったのに対し、Metisはそのメモリの有用性の大部分を維持しており、Metisの選択的アプローチの優れた転送可能性を浮き彫りにした。
• アブレーション研究：
  • ハイブリッド vs 単一： 完全なハイブリッドシステムは、「テキストのみ」および「コードのみ」の両方のバリアントを上回った。これは、2つの形式間の相互作用が非加算的であり、相乗的であることを裏付けている。
  • 再帰ゲート： 再帰ゲートを取り除いた場合（即時コーディング）、構築コストが47%増加し、精度が3.5ポイント低下した。これは、無差別なコーディングが過学習とリソースの浪費を招くことを証明している。

重要性

本論文は、固定されたアドホックな表現選択から脱却することで、自己進化型エージェントにおける重要な設計上のギャップを解決できると主張している。テキストとコードのメモリは互換性があるのではなく、補完的であることを示すことで、本研究は選択的昇格戦略を動機づけている。Metisは、再帰のエビデンスによってコーディングを制御することで、コードメモリの実行効率を維持しながら、テキストメモリの低い構築コストと高い転送信頼性を実現できることを証明している。このアプローチにより、エージェントは、無差別なツール合成による法外なコストや、純粋なテキストベースの推論による非効率性を招くことなく、時間の経過とともに向上することが可能となる。