テクニカル・サマリー：助けが仇となる時とその解決策：データクリーニングにおけるマルチエージェント・ディベート

問題提起

データクリーニングは、歴史的にデータエンジニアの時間の60〜80%を消費してきました。大規模言語モデル（LLM）は、ワークフロー生成、異常検知、パイプライン・オーケストレーションを通じてこれを自動化するために導入が進んでいますが、依然としてハルシネーション（幻覚）に脆弱です。重大な失敗モードとして、LLMが存在しない列のクリーニングを提案したり、有効なレコードを削除したりすることで、データを密かに破損させてしまうケースがあります。

生成的な提案に対して批判的なクリティック（批判者）が異議を唱える「マルチエージェント・ディベート」は、この緩和策として提案されています。しかし、既存の評価は、制約のある推論タスク（算術、事実に基づくQAなど）や回答空間が小さいタスクに焦点を当てています。データクリーニングは根本的に異なり、特定のテーブル・スキーマに基づいた接地性（グラウンディング）と、実行可能な操作の生成を必要とします。先行研究では、データクリーニングの全サブタスクにおいて、ディベートが助けとなるのか、あるいは害となるのかを特定しておらず、その効果を予測するための原理的なフレームワークも確立していません。このようなフレームワークなしでは、実務家は試行錯誤という高価なコストを強いられ、計算コストを4〜7倍増加させながら、生成的なタスクにおいて出力品質を低下させるリスクを負うことになります。

メソドロジー

著者らは、3つのベンチマーク、4つのモデルファミリー（Claude 4 Sonnet, Gemini 3.1 Pro, Qwen3 235B, DeepSeek R1）、および6,000以上のタスク・条件ペアを用いた制御実験を実施しました。

ベンチマーク:

1. AutoDCWorkflow: マルチステップのクリーニング・ワークフロー生成を含む142のタスク（事実の一貫性とセルレベルの正確性で評価）。
2. MMTU: テーブル理解タスク（エラー検出、データ補完、エンティティ・マッチング、スキーマ・マッチング）にわたる200の質問。
3. MaTElDa: エラーを注入した1,173の実世界のテーブル（セルレベルの適合率、再現率、F1スコアで評価）。

実験設計:

• トポロジー: ジェネレーター（生成者）が構造化されたJSON出力を提案し、敵対的なクリティック（批判者）がそれらに異議を唱える「ジェネレーター-クリティック」アーキテクチャ。
• 変数: 敵対的強度（6種類のクリティック・プロンプト変種）、匿名性、タスクの隔離、および出力のカーディナリティ（濃度）。
• 接地性（グラウンディング）: 要因実験として、コード実行による接地（クリティックがサンドボックス内でPython/pandasクエリを実行する）と、エビデンス・ゲート付き生成（ジェネレーターは特定のデータ証拠を引用するフィードバックのみを受け入れる）の影響をテストしました。
• コントロール: シングルエージェント・ベースライン、自己検証（同一ツールを持つシングルエージェント）、および自己一貫性（多数決）との比較。

主要な貢献

1. ディベートの利益条件

本論文は、ディベートが出力品質を向上させる時期を予測する形式的な条件を導出しています。ディベートは、「誤った出力を救済できる確率」が「正しい出力を破壊してしまう確率」を上回る場合にのみ有益となります。形式的には、ディベートは以下の場合に有益です：
$$\frac{p_c}{1 - p_c} \times p_r > \frac{p_g}{1 - p_g}$$
ここで：

• $p_g$: ジェネレーターのベースライン精度。
• $p_c$: クリティックの検証精度（項目を正しく判断する能力）。
• $p_r$: 修復確率（正しい批判を受けた際に、ジェネレーターが正しい修正案を生成できる確率）。

この条件は、クリティックの検証オッズ（修正可能性で重み付けされたもの）が、ジェネレーターのベースライン精度オッズを上回る時にディベートが助けとなることを示しています。

2. クリティック誘発型混乱（CIC）

著者らは、生成的なタスクにおける構造的な失敗モードとして、**クリティーク誘発型混乱（Critique-Induced Confusion: CIC）**を特定しました。これらのタスクでは、クリティックがハルシネーションに基づいたフィードバックを生成し、従順なジェネレーターがそれを無批判に受け入れてしまうことがよくあります。これにより、ジェネレーターは有効な操作を撤回し、ハルシネーションによる代替案に置き換えてしまいます。本研究は、CICがプロンプト依存ではなく構造的な問題であることを確認しており、6種類のすべてのクリティック・プロンプト変種および3種類のジェネレーター・変種において持続していることを明らかにしました。

3. 解決策：接地とキャリブレーション

本論文は、CICが以下の特定のアーキテクチャ構成によって対処できることを示しています：

• 敵対的分離: 分離されたクリティックが不可欠です。同一のツールを用いる自己検証は、$p_c \approx p_g$ となるため失敗します。
• コード実行による接地: クリティックは、実行可能な証拠（例：データに対してコードを実行する）に対して主張を検証しなければなりません。
• エビデンス・ゲート付き生成: ジェネレーターは、特定のデータ証拠を引用するフィードバックのみを受け入れなければなりません。
  この組み合わせにより、生成的なタスクにおいてシングルエージェントの性能を大幅に上回る、最初のディベート構成が実現しました（事実的一貫性で+5.3pp、$p<0.05$）。

主要な結果

ディベートによる符号の反転

ディベートの効果は一様ではありません。その効果の符号はタスクの種類によって反転します：

• 検出タスク（助けとなる）: MaTElDa（エラー検出）において、ディベートはF1スコアを**+27.4pp**（$d=1.0$）向上させました。クリティックが偽陽性を効果的に排除しました。
• 生成タスク（害となる）: AutoDCWorkflow（ワークフロー生成）において、ディベートはすべてのモデルでパフォーマンスを低下させ、事実的一貫性は**−1.6から−15.5pp**低下しました。
  • メカニズム: ディベートは分散増幅器として機能します。満点となる出力の数を増やす一方で、完全な失敗（有効な操作の撤回）も導入します。
  • 規模: トークンオーバーヘッドは4〜7倍に増加しました。

タスク構造が決定的なモデレーターである

助けとなるか害となるかの境界線は、項目ごとの検証可能性と回答空間の制約にあります：

• 制約あり／検証可能: 出力がソースデータに対して独立してチェック可能なタスク（例：「このセルはエラーか？」）は、ディベートの恩恵を受けます。
• オープンエンド／依存的: 新しい値や依存関係のある操作の連鎖を必要とするタスク（例：「このセルを埋める値は何か？」）は、単一のハルシネーションによる批判がワークフロー全体に連鎖するため、CICに苦しみます。

要因実験の知見

2x2の要因デザイン（敵対的分離 $\times$ ツール拡張）により、エピスタシス（相互作用）が明らかになりました：

• ツールのみ（自己検証）: シングルエージェントと比較して改善なし（$\Delta \approx -1.3$pp）。
• 分離のみ（テキスト・ディベート）: 著しい低下（$\Delta \approx -7.0$pp）。
• 分離 ＋ ツール ＋ エビデンス・ゲーティング: 著しい向上（$\Delta \approx +5.3$pp）。
  どちらの要素も単独では不十分であり、自己検証の対称性を打破し、ノイズをフィルタリングするには、両方の組み合わせが必要でした。

クロスドメイン検証

ディベートの利益条件は、研究されたすべての9つのタスクタイプに対してディベートの効果の符号を正しく予測し、7つのドメイン（コード生成、数学的推論、QAを含む）における19の公開比較において、偽陽性ゼロで汎用されました。

意義と主張

本論文は、データクリーニング、ひいては他の生成的なタスクにおいて、マルチエージェント・ディベートが有益であるかどうかを予測するための、最初の原理的なフレームワークを提供すると主張しています。

1. 実践的な意思決定ルール: 実務家は、ディベートへの投資を決定するために「ディベートの利益条件」を利用できます。もし $p_g$ が高く、$p_c$ が低く、あるいは $p_r$ が低い場合（オープンエンドな生成に共通）、シングルエージェントのアプローチの方が効果的であり、かつ4〜6倍安価です。
2. 構造的な洞察: 本研究の結果は、ディベートが普遍的に有益であるという考えや、プロンプトエンジニアリングだけでディベートの失敗を修正できるという考えに異を唱えています。失敗モード（CIC）は、非検証的なタスクと敵対的な圧力との間の構造的な問題です。
3. 今後のアーキテクチャへの道筋: 生成的なタスクにおいてディベートが求められる場合、CICを克服するために、敵対的分離と接地された検証、そしてエビデンス・ゲート付きの遵守を組み合わせた構成が必要であると本論文は主張しています。

著者らは、マルチエージェント・ディベートは普遍的な改善策ではなく、タスクの検証可能性と、ジェネレーターおよびクリティックの相対的な能力によって、その有用性が厳格に支配されるツールであると結論付けています。