What is the Causal Effect of a Conversation? Estimands and Inference in AI Mediated Conversations

技術的要約：AIを介した対話における推定対象と推論

問題提起
政治学者は、人間のキャンバサー（勧誘者）から生成AIに至るまで、対話を因果的処置として活用することが増えている。対話の相互作用的かつ応答的な性質は、高い生態学的妥当性とスケーラビリティ（特にAIの場合）を提供する一方で、因果推論における根本的な課題をもたらす。静的な介入（例：リーフレットや固定されたテキスト）とは異なり、対話は応答者と対話者の両者によって**共同生成（jointly produced）**されるものである。その結果、実現された対話は、応答者の特性（例：敵意、好奇心、あるいは抵抗感）に内生的なものとなる。

核心となる問題は、対話条件（例：「礼儀正しい」対「無礼な」AIの政策）へのランダム割り当ては、割り当ての効果を特定するものの、必ずしも実現された対話やその中の特定の要素（例：無礼さのレベル）の効果を特定するわけではないということである。対話は、応答者の入力に基づいて動的に展開するため、実現された処置のバリエーションは、結果にも影響を与える応答者の特性と系統的に関連してしまう。これにより、標準的なランダム化デザインでは解決できない交絡が生じる。本論文は、「対話」を単一のモノリス的な処置として扱うことは、異なる因果的定義と識別戦略を必要とする個別の理論的対象（割り当て、政策、メッセージ、特徴量）を曖昧にすることを孕んでいると主張している。

方法論とフレームワーク
著者らは、逐次的かつ相互作用的なプロセスに適応させた**潜在結果フレームワーク（potential outcomes framework）**を構築している。彼らは対話を、以下の要素を含むパス依存的なプロセスとして定式化している：

• 割り当て ($Z_i$): ランダム化された条件（例：プロンプトや政策）。
• 政策 ($\pi$): 履歴に対する対話者の応答を制御するルール。
• 履歴 ($H_{it}$): 過去のメッセージの連鎖。
• 実現された対話 ($C_i$): 政策、履歴、および応答者の行動 ($R_i$) の相互作用によって生成されるメッセージの全経路。
• 特徴量 ($D_i, B_i$): 対話の測定された、あるいは未測定の潜在的な特徴（例：トーン、礼儀正しさ）。

このフレームワークは、設計によって誘導された介入（design-induced intervention）（何がランダム化されるか）と、実現された曝露（realized exposure）（応答者が実際に経験するもの）を区別している。また、有向非巡回グラフ（DAG）を用いて、応答者の特性 ($U_i$) がどのように対話の経路と結果の両方に影響を与え、ランダム割り当ての下でも内生性を生じさせるかを説明している。

本論文は、それぞれ異なる理論的対象に対応し、異なる識別仮定を必要とする**因果的推定対象（causal estimands）**の分類を定義している：

1. 割り当て効果 ($\tau_Z$): 条件に割り当てられたことによる意図した治療効果（ITT）。標準的なランダム化仮定（一貫性、干渉の不在、無視可能性、ポジティビティ）の下で識別可能である。
2. 初回メッセージ効果 ($\tau_{A0}$): 初回メッセージの効果。メッセージが直接ランダム化されている場合は識別可能であるが、メッセージが潜在的な特徴量のプロキシ（代理変数）となっている場合は、しばしば交絡が生じる。
3. 政策効果 ($\tau_\pi$): 特定の対話レジームを導入することの効果。政策のランダム化が行われ、安定した実装が仮定される場合に識別可能である。ただし、これは多様な対話の軌跡を平均化した集約的な効果である。
4. メッセージ効果 ($\tau_{A_t}$): 履歴を条件とした特定のメッセージの効果。これには逐次的無視可能性（Sequential Ignorability）（履歴を条件として、次のメッセージが擬似的にランダムであること）が必要である。本論文は、履歴が応答者の特性に依存しているため、これがしばしば違反されると論じている。
5. 特徴量効果 ($\tau_D$): 潜在的な特徴（例：無礼さ）の効果。この特徴のバリエーションが、他の未測定のメッセージ構成要素から切り離されている必要がある（バンドリング・バイアス）。
6. 実現された対話効果 ($\tau_C$): 全経路の効果。これには**対話の無視可能性（Conversation Ignorability）**が必要であるが、これは一般に検証不可能であり、対話が共同生成される性質上、成立しにくい。
7. 用量効果 ($\tau_E$): 特徴への累積的な曝露の効果。特徴レベルにおける基礎的な交絡を継承する。

主な結果と命題
論文は、対話の設定における識別の限界を定式化するいくつかの命題を提示している：

• 命題1（選択バイアス）: 異なるメッセージ間で結果を比較することは、メッセージが異なる履歴（それ自体が未観測の応答者特性 $U_i$ によって駆動されている）によって生成されているため、メッセージ効果の分離に失敗する。
• 命題2（特徴量のバンドリング・バイアス）: 関心の対象となる特徴（例：トーン）のバリエーションは、通常、メッセージの他の未測定の側面とバンドル（抱き合わせ）されている。メッセージをランダム化しても、特徴量のみの効果を孤立させることはできない。
• 命題3（経路の内生性）: 実現された対話は、処置であると同時に、応答者の特性の指標でもある。実現された経路を比較することは、処置効果と応答者の異質性を混同させる。
• 命題4（用量の継承）: 特徴を用量尺度へと集約しても、特徴レベルに存在する基礎的な交絡は解決されない。

研究デザインへの示唆
著者らは、研究目的と推定対象を一致させるためのいくつかの設計戦略を提案している：

• 推定対象とデザインの一致: 研究者は、割り当て、政策、または特定の特性のいずれに関心があるのかを明示的に定義し、それに応じてランダム化を行う必要がある。
• ターン単位のランダム化: 条件全体をランダム化する代わりに、特定の履歴を条件として、特定のターンにおける特定のメッセージをランダム化する。これにより、特定の対話状態に対する局所的平均処置効果（LATE）が作成され、内生性が軽減される。
• 条件付き平均処置効果（CATE）: 高次元の履歴全体ではなく、履歴の表現（例：「礼儀正しい」対「敵対的な」文脈）を条件付けることで、メッセージ効果が文脈によってどのように変化するかを推定できる。
• 平均限界成分効果（AMCE）: 観察された対話コンテキストの分布全体にわたってCATEを集計することで、平均的なメッセージ効果を要約する。
• 操作変数法（LATE）: 実現された曝露を直接操作できない場合、割り当てを実現された特徴の操作変数として用い、「コンプライヤー（割り当てによって対話が変化した人々）」に対する局所的平均処置効果を識別できる。
• 制約付きプロトコル: 比較のための経験的な支持を向上させるために、メッセージ空間（例：多肢選択式の応答）を制限する。ただし、これは生態学的妥当性を損なう可能性がある。

意義と主張
本論文は、特にAIによって媒介される対話の設定において、因果効果を定義し解釈するための共通言語を提供すると主張している。その主要な貢献は、研究者にITTのような容易に識別可能な推定対象のみに退却することを勧めることではなく、「説得」や「熟議」といった複雑で理論的に豊かな対象を研究する際のトレードオフを明確にすることにある。

著者らは、割り当てられたものと経験されたものの間のギャップは、単なる方法論的な失敗ではなく、社会的相互作用の根本的な特徴であると論じている。割り当てから実現された特徴へと移行するために必要な仮定を明示することで、本フレームワークは学者が以下のことを可能にする：

1. 実証戦略を理論的目標により良く適合させる。
2. 交絡に関する適切な注意を持って知見を解釈する。
3. 特定の因果的対象をターゲットにするための研究デザイン（例：逐次的ランダム化）を革新する。

結論として、対話は適応的かつ共同生成されるがゆえに強力であるが、これらの同じ特徴が、因果効果の定義と識別をより困難にしている。本フレームワークは、この複雑さを排除するためではなく、適切にナビゲートするためのものである。