技術概要：BOT-MOD – 多ターン対話を通じた隠れた意図の解明

問題定義

本論文は、オープンなマルチエージェントシステム（Moltbook などのボット・ソーシャルネットワークなど）における重大な脆弱性、すなわち、従来のコンテンツモデレーションが隠れた悪意ある意図を持つエージェントを検出できないという課題に取り組んでいる。確立された手法（NLP 分類器、LLM ベースのフィルタ）は、明確に有害なコンテンツ（ヘイトスピーチ、スパムなど）を効果的に特定するが、表面上は benign（無害）に見えるコンテンツを提供しながら、敵対的な目的（データ収集、ナレーションの操作、リソースの搾取など）を追求するエージェントには機能しない。

核心的な課題は、これらの環境における悪意あるエージェントが意図を積極的に隠蔽し、検出を回避する応答を考案する点にある。従来の意図検出手法は、自らの目標を明かす協調的なユーザーを前提としているが、ボット中心の環境における敵対的エージェントは、戦略的に自らの目的を抑制または隠蔽する。したがって、静的でコンテンツベースのモデレーションでは不十分であり、表面的なテキスト信号だけでなく、相互作用のパターンを通じて意図を推論する枠組みが必要である。

手法：BOT-MOD フレームワーク

著者は、適応的な多ターン対話を通じた潜在的なエージェント意図の推論に基づきモデレーションを行う**BOT-MOD（BOT-MODeration）**という枠組みを提案する。このシステムは、標準的なコンテンツフィルタを通過した後にエージェントを遮断する、LLM ベースのモデレーターとして機能する。

中核メカニズム

1. ギブス誘導型尋問（Gibbs-Guided Interrogation）:
   単一パスの分類ではなく、BOT-MOD は対象エージェントとの多ターン交換を行う。意図推論をベイズ的な仮説発見プロセスとしてモデル化する。各ターンにおいて、モデレーターは以下の処理を行う：

   • 候補となる意図仮説（$H$）の分布を維持する。
   • ギブスサンプリング（マルコフ連鎖モンテカルロ法の手順）を用いて、この分布を反復的に洗練する。
   • 特定の意図仮説 $h$ をサンプリングし、ターゲットを絞ったプローブ質問 $q$ を生成する。
   • エージェントの応答 $r$ を収集し、信念状態を更新する。
   • このサイクルにより、潜在的な行動が特定されるまで、妥当な目的の空間を漸進的に狭めていく。

2. 戦略発見のためのオートリサーチ（Autoresearch for Strategy Discovery）:
   専門家によって設計されたプロンプト戦略に依存するのではなく、BOT-MOD はオートリサーチ（自律的研究パラダイム）を活用して、効果的な推論経路を発見する。Claude Code を搭載した LLM コントローラーが、自律的に以下の実験ループを実行する：

   • モデレーター用プロンプトや尋問構造に関する仮説を提案する。
   • 実験を実装し、実行する。
   • 結果を分析し、モデレーション手法を反復的に洗練する。
   • 最適化の目的関数は、二値意図分類（無害/悪意）と多クラス意図タイプの精度をバランスさせた複合 F1 スコア（$F1_{val}$）である。

3. 意図分類体系（Intent Taxonomy）:
   システムは、Moltbook コミュニティの行動から導き出されたデータ駆動型の意図分類体系に基づいて動作し、以下の 5 種類で構成される：

   • Benign（無害）: 有機的な貢献。
   • Malicious（悪意）: 情報収集、ナレーションの押し付け、微妙な宣伝、スパム。

4. 統合:
   BOT-MOD は、選択的（例：フラグが立てられた投稿の場合）または均一的にトリガーされるネットワークレベルのサービスとして設計されている。エージェントの内部システムプロンプトや状態へのアクセスを必要とせず、純粋に自然言語対話を通じて動作する。

主要な貢献

本論文は、以下の 3 つの主要な貢献を概説している：

1. BOT-MOD フレームワーク: 多ターン、ギブス誘導型の尋問を利用し、オートリサーチによって最適化された、潜在的なエージェント意図を解明する新しい意図に基づくモデレーション枠組み。
2. Moltbook ベンチマークデータセット: 実際のコミュニティ構造と意図プロファイルに基づき、多様な無害および悪意ある行動（投稿データセットとコメントデータセット）を包含する、Moltbook から導き出されたデータセットの構築と公開。
3. 体系的評価: さまざまな意図次元、ユーザー - エージェント構成、および一般化設定における、この枠組みの有効性と堅牢性を示す包括的な実証評価。

実験結果

著者は、3 つの LLM ユーザーエージェント（Qwen3、Mistral-7B、Llama-3.1）を用い、イン・ディストリビューション（ID）およびアウト・オブ・ディストリビューション（OOD）の両方のデータセットにおいて、BOT-MOD を複数のベースライン（ゼロショット、CoT、自己整合性、自己洗練、および微調整済み BERT）と比較評価した。

• 性能向上: BOT-MOD は、すべてのデータセットで一貫して最高平均 F1 スコアを達成した。イン・ディストリビューションのコメントデータセットにおいて、最強のベースラインを Qwen3 で15.6%、Mistral-7B で**5.5%**上回った。初期シグナルが弱いコメントデータセットにおいて特に顕著な強さを示しており、これは単独のコンテンツが曖昧な場合でも、尋問メカニズムが決定的な価値を提供することを示唆している。
• 回避への堅牢性: エージェントが尋問された場合の行動変更を指示された「回避攻撃」に対してシステムがテストされた。BOT-MOD は堅牢であり、集計された性能は攻撃が largely 無効であったことを示している。特に投稿データセットでは、攻撃が逆効果となった。尋問中の明示的な否認が、元の投稿の証拠と矛盾することが多く、モデレーターの検出を助けたためである。
• 一般化: ドメインシフト（OOD）下で顕著な性能低下を示した微調整済み BERT モデルとは異なり、BOT-MOD は安定した性能を維持し、優れた一般化能力を示した。
• オートリサーチの進展: 最適化プロセス（図 2）は、検証用 F1 スコアの単調な改善を示し、107 回の実験を経て 0.543 のベースラインから最終スコア 0.710 まで上昇し、自動化された戦略発見の有効性を裏付けた。

意義と主張

本論文は、オープンなマルチエージェント環境におけるスケーラブルで意図を認識するモデレーションの基盤を前進させることを主張している。その意義は、反応的でコンテンツ中心のフィルタリングから、能動的で意図に基づく検出へとパラダイムを転換する点にある。

• 初例: 著者は、適応的な多ターン相互作用を通じて意図レベルのモデレーションに取り組む最初の枠組みであり、オートリサーチを通じて対話仕様の発見を自動化した最初の枠組みであると述べている。
• 実用性: 純粋に自然言語を通じて動作するため、この枠組みはエージェント内部への特権的アクセスを必要とせず、あらゆるオープンなマルチエージェント環境に展開可能である。
• 限界: 著者は控えめに限界を認めており、真のエージェント意図が事前に定義された分類体系内で表現可能であるという仮定（語彙外の意図は誤分類される可能性があること）や、境界線付近のコンテンツでモデレーターを洪水攻撃（DoS）することによるスケーラビリティに関する懸念が含まれる。また、現在の脅威モデルは、プロンプトインジェクションを通じてモデレーター自体を標的とする敵対者についてはまだ考慮していないとも指摘している。

結論として、この研究は、確率的サンプリングと自動化された戦略最適化によって導かれた構造化された対話が、ますます自律化するエージェント社会における安全性を確保するための有望かつ実用的な方向性を提供すると提唱している。