技術要約: MemeMind

問題提起

オフライン・コンテキスト最適化は、適応セット（adaptation set）に基づいて自然言語の指示や例を洗練させることで、凍結されたツール拡張型エージェントの性能を向上させることを目的としている。しかし、「全失敗（all-failure）」グループ、すなわち、サンプリングされたすべてのロールアウト（軌跡）が受理基準を満たせなかったクエリを扱う際に、決定的な限界が存在する。このようなシナリオでは、利用可能なツールを用いて正しい答えに到達する方法を示す成功例が、オプティマイザには存在しない。結果の参照（正解）は利用可能であっても、それが本質的に、どの領域を調査すべきか、どのようなクエリを発行すべきか、あるいは入力と答えの間の溝を埋めるためにどのような証拠が必要であるかを明らかにするわけではない。既存の手法は、失敗したロールアウトからの相対的なフィードバックや診断信号に依存することが多いが、ネイティブな探索が成功しない場合に、元の目標に対する有効なツールに基づいたプロセスを再構築することはできない。このギャップは、視覚的なグラウンディング、画像検索、およびテキスト検索を調整して、曖昧またはロングテールな文化的参照を解決する必要がある、アニメ・コミック・ゲーム（ACG）のミーム解釈のような知識集約的かつマルチモーダルなタスクにおいて特に深刻である。

メソドロジー

MemeMindは、凍結されたモデル上で動作し、プロセスの構築とプロセスの統合を分離する2段階のフレームワークを通じて、この「欠落したプロセス」問題に対処する。

1. TraceBuilder: 参照ガイド付き軌跡構築

クエリ $(q, a)$ に対するネイティブなロールアウトのグループが完全に失敗した場合、TraceBuilderが介入し、モデルのパラメータを変更することなく、オフラインの参照回答 $a$ をガイドとして使用して成功した軌跡を構築する。

• ターゲットの特定: モデルは参照回答を分析し、対象となるエンティティ、ストーリー要素、および関心領域を特定する。
• ツールの実行: モデルは代表的なクエリを策定し、必要な観測事項を収集するために、一貫した一連のツール呼び出し（テキスト検索、画像検索、視覚的グラウンディング）を実行する。
• 検証と修復: 構築された軌跡は厳格に検証される。タスクレベルのジャッジが、解釈が参照と一致しているかを確認する。極めて重要な点として、クレームレベルの検証器は、主張されたすべてのアイデンティティ、ソース、または関係が、実際に実行されたツールの観測によって裏付けられていることを保証する。もし主張に根拠がない場合、システムは限定されたインタラクション制限（5ラウンド）内で、ターゲットを絞ったクエリと再合成を開始する。
• 受理: タスクレベルの受理チェックとクレームレベルの証拠チェックの両方に合格した軌跡のみが、経験バッファに受理される。これにより、バッファには、単なる回答条件付きの合理性ではなく、検証されたツールに基づいたプロセスが含まれることが保証される。

2. ToolGuide: ツールごとのガイド学習

経験バッファに受理されたネイティブなロールアウトと構築された軌跡が混在するようになったら、ToolGuideはこれらの経験を再利用可能な指示へと合成する。

• 構造: クロスモーダルな解釈原理のための共有グローバルガイド（$P_g$）と、特定のツール（例：画像検索、テキスト検索）のためのツール別ガイド（$\{P_t\}$）を学習する。
• 内容: ガイドは、呼び出し条件、クエリ構築戦略、証拠受理テスト、およびツール間のハンドオフ・プロトコルなどの手続き的ルールをエンコードする。例えば、学習された画像ガイドは、非顔属性によって裏付けられるまで名前の提示を控えるよう指示したり、テキストガイドはOCR結果を検証されるまで暫定的なものとして扱ったりする。
• 最適化: キュレーター（例：GPT-5）が、軌跡の要約とジャッジのフィードバックに基づいて、これらのガイドを編集する。このプロセスには、リーケージ（例：回答文字列のコピー）のスクリーニングと、保持された検証セットで最高のパフォーマンスを示すガイドの選択が含まれる。
• 推論: テスト時、凍結されたエージェントは、最終的な自然言語のガイドと標準的なツールインターフェースのみを使用する。参照回答、構築された軌跡、およびキュレーターの状態は破棄され、エージェントが回答を記憶するのではなく、学習された獲得手順に依存することを保証する。

主な貢献

1. 全失敗のギャップの特定: 本論文は、オリジナルの目標に対するプロセス・トレースがオプティマイザに存在しない場合、オフライン・コンテキスト最適化が失敗することを特定した。
2. TraceBuilder: オフラインの参照回答を検証されたツールに基づいたプロセス・トレースに変換するメカニメントであり、完全なエキスパートのデモンストレーションを必要とせずに、全失敗グループに対して効果的に「欠落した経験を埋める」ことができる。
3. ToolGuide: 多様な成功した軌跡（ネイティブおよび構築された両方）を、グローバルな解釈原理とツール固有の獲得ルールを分離した、モジュール化された再利用可能な指示へと統合する手法。
4. MemeX ベンチマーク: 検索依存の理解をテストするために設計された、1,000個のエキスパート注釈付きACGミームからなるベンチマークの導入。これには、曖昧な視覚的内容、ロングテールな知識、および全失敗のロールアウトグループが発生する可能性が含まれる。

実験結果

著者らは、2つのQwen3-VLモデル（30Bおよび235Bパラメータ）、2つの言語パーティション（英語および非英語）、および2つの独立したジャッジ（GPT-5およびGemini3-Flash）を用いて、MemeX上でMemeMindを評価した。

• 性能向上: MemeMindは、強力なコンテキスト最適化のベースライン（ReAct、ACE、TF-GRPOを含む）を大幅に上回った。
  • Qwen3-VL-30B-A3Bにおいて、MemeMindは最高のベースラインよりも、GPT-5ジャッジで22.0%、Gemini3-Flashジャッジで**21.1%**向上した。
  • Qwen3-VL-235B-A22Bにおいて、それぞれ**8.1%および8.0%**の向上が見られた。
• 構成要素分析（アブレーション）:
  • TraceBuilderを削除すると最も大幅な性能低下（例：30Bモデルで21.6%の減少）が発生し、失敗したグループに対して成功した軌跡を構築することが、主要な性能向上の源泉であることを裏付けた。
  • ToolGuideを削除するとさらに性能が低下し、構造化されたガイド学習が、単なる軌跡の修復を超えた価値を提供することを示した。
• 堅牢性: ゲインは、ロールアウト予算、キュレーター/ジャッジの組み合わせ、および言語パーティションに関わらず一貫していた。
• 行動の変化: 適応により、ツールの使用回数が増加し（平均で3.79回から4.22回へ）、ツールごとのガイド間の類似性が減少した。これは、エージェントがより専門化され、差別化された獲得手順を学習したことを示唆している。

意義と主張

本論文は、MemeMindがツール拡張型マルチモーダルエージェントのための、結果による監督（outcome supervision）を再利用可能なプロセスによる監督（process supervision）へと正常に変換したことを主張している。その意義は以下の通りである：

• 全失敗問題の解決: 従来のコンテキスト最適化が停滞するシナリオ、すなわちネイティブな探索が完全に失敗する場合でも、有用なツール使用プロセスを回復する方法を提供する。
• 関心の分離: 特定のプロセス（TraceBuilder）の構築と、指示の一般化（ToolGuide）を分離することで、学習されたアーティファクトが「何が答えか」ではなく、「どのように証拠を獲得するか」をエンコードすることを保証する。
• 知識集約的タスクへの実用性: 本手法は、ヘテロジニアスなツール手順（視覚的グラウンディング、検索、探索）とロングテールな知識を必要とするタスクにおいて特に効果的であり、コンパクトな適応セット（約100の例）が堅牢な獲得パターンを学習するのに十分であることを示している。
• デプロイの安全性: 本手法は、推論時に参照が露出しないことを保証し、エージェントが回答を記憶してショートカットを取ることを防ぎ、学習された手続き的ガイドに依存するように強制する。

著者らは、参照ガイド付きの軌跡構築が、特に既知の答えとそれに到達するために必要な証拠との間の隔たりが小さくない領域において、オフライン・コンテキスト最適化を強化するための実行可能な戦略であると結論付けている。