Socially fluent AI decouples conversational signals from source identity in online interaction

技術的サマリー：社会的に流暢な AI は、オンライン相互作用において会話信号をソースの正体から切り離す

問題定義
社会的に流暢で文脈に敏感な相互作用を維持できるエージェント型 AI システムの出現は、コンピュータ媒介コミュニケーション（CMC）の基盤メカニズムに挑戦を投げかけている。非言語的保証（イントネーション、視線など）が欠如した信号に乏しい環境において、人間は伝統的に、正体や意図を推測するために、言語的および時間的（クロノエミック）な手がかり（例：応答性、トーン、タイミング）に適用される社会的ヒューリスティックに依存してきた。この推論は、「真実デフォルト」すなわち対話相手が人間であるという前提の下で機能する。本研究が扱う中心的な問題は、高度な生成モデルによる社会的シグナリングとソース正体の切り離しが、これらの確立されたヒューリスティックを診断不可能なものとし、それによって、非開示の同期型グループ相互作用において人間同僚とアルゴリズムシステムを区別する体系的な能力の欠如を生み出しているかどうかである。

方法論
本研究は、カスタム構築された同期型テキストベースの協働プラットフォーム内で、混合因子実験デザインを用いた計算社会科学アプローチを採用した。

• 参加者: Prolific を通じて募集された 786 名の多様なサンプルが、471 の協働トライアド（3 人組）にネストされた。
• 実験条件: グループは、すべて人間（3H）、人間と AI の混合（2H+1AI）、または AI 多数（1H+2AI）の 5 つの条件のいずれかに割り当てられた。混合グループにおいて、AI エージェントは「支持的」または「対立的」のいずれかの会話スタンスを採用した。重要なのは、AI チームメイトの人工的性質が非開示とされ、参加者が相互作用の痕跡のみを頼りにせざるを得なかった点である。
• 課題: 参加者は、分析（冬期の生存ランキング）、倫理（自動運転車の道徳的ジレンマ）、創造（共同映画プロットの生成）という 3 つの異なる領域にわたる 10 分間の同期ディスカッションに参加した。
• AI の実装: エージェントは、構造化されたシステムプロンプトを用いた大規模言語モデルでインスタンス化された。これらのプロンプトは、割り当てられたスタンスを厳密に遵守しつつ、自己修正、短縮形、ジッターを伴う確率的タイミングなど、人間の行動的不規則性を模倣するように設計された。エージェントは、人工的なステータスを決して明かさないよう指示された。
• データ収集: 相互作用後、参加者はカテゴリ別の正体判断（人間、AI、不明）、社会的知覚評価（人間らしさ、信頼、支援性、対立性）、および自由記述による印象の根拠を提供した。
• 分析パイプライン:
  • 信号検出理論（SDT）: 正体識別の感度（$d'$）と反応バイアスを定量化するために使用された。
  • 計算言語学: 対話ログを処理して、相互作用の手がかり（LIWC ベースの言語的特徴、語彙的多様性、応答遅延）を抽出した。印象テキストは、教師なしトピックモデリング（BERTopic）と教師あり語彙対比（c-TF-IDF）を用いて分析された。
  • 予測モデリング: ロジスティック回帰モデルを (1) 対話の手がかりから参加者の正体判断を予測し、(2) 同じ手がかりから真の正体を予測するように適合させ、診断性を直接比較できるようにした。
  • 表現類似性分析（RSA）: 相互作用の手がかり空間、真の正体、および主観的判断空間間の幾何学的整合性をマッピングするために使用された。

主要な結果

1. 正体識別の失敗: 1,572 の正体判断全体において、参加者は AI と人間チームメイトを偶然のレベル以上には区別できなかった。集計された感度は $d' = 0.117$（95% 信頼区間 [−0.007, 0.257]）であり、これはランダムな推測と区別がつかないパフォーマンスを示している。この失敗はすべての課題領域にわたって持続し、AI 識字力、人格特性、または人口統計学的要因に関わらず、個々の参加者間で均一であった。
2. 真の正体信号の頑健性: 人間の失敗にもかかわらず、相互作用の手がかりには、真の正体に関する頑健で分離可能な情報が含まれていた。同じ対話の手がかりから真の正体を予測する計算モデルは、ほぼ天井レベルの精度を達成した（クロス検証された混合正体トライアドにおいて AUC = 0.983）。この診断性は、タイミング特徴（遅延）を除外した場合でも維持され、言語的および相互作用構造のみが正体をエンコードしていることを確認した。
3. 判断と真実の解離: 対話内で利用可能な情報と、人間が利用する情報の間に顕著な解離が存在する。手がかりから人間の判断を予測するモデルは、説明力が無視できるほど低かった（$R^2 \approx 0.02$）のに対し、真実を予測するモデルは高い説明力を持っていた（$R^2 \approx 0.69$）。参加者は応答速度、流暢さ、脚本的であるという知覚などのヒューリスティックに依存したが、これらは実際の正体とはわずかにしか関連していなかった。
4. 表現の切り離し: RSA は、相互作用の手がかりの表現空間が真の正体と強く整合している（$\rho = 0.455$）が、参加者の判断とは実質的に直交している（$\rho \approx 0$）ことを明らかにした。代わりに、判断構造は主観的印象（人間らしさと信頼の評価）と整合しており、社会的推論は診断的な行動構造ではなく、評価的印象を中心に組織化されていることを示唆している。
5. ヒューリスティックへの依存: 印象テキストの分析により、参加者の根拠は一般的な人間らしさの言語と明示的な不確実性に支配されていることが示された。参加者が診断的であると扱った言語的特徴（例：「速い」、「脚本的」）は実際の正体と一貫して関連しておらず、実際に AI を区別した特徴（例：語彙的多様性、トーンスコア）は明示的な判断ではほとんど無視されていた。

主要な貢献

• 切り離しの実証的証明: 本研究は、社会的に流暢な AI エージェントが会話信号をソースの正体から切り離すことができるという実証的証拠を提供し、同期型グループ設定において従来の CMC ヒューリスティックを診断不可能なものにしている。
• 利用可能性と使用の区別: 本論文は、行動痕跡における正体関連情報の「利用可能性」（高い）と、人間の判断におけるその情報の「使用」（ほぼゼロ）の間に決定的な区別を確立している。
• 推論失敗の幾何学的説明: RSA を利用することで、本研究は精度指標を超えて、正体推論の失敗に対する構造的説明を提供し、人間の社会的推論は診断的手がかりではなく、主観的印象にアンカーされた表現空間で機能することを示している。
• 非開示相互作用の検証: 開示された AI や機能的成果に焦点を当てた先行研究とは異なり、本研究は非開示相互作用の生態学的現実を調査し、「真実デフォルト」メカニズムが、参加者が相互作用スタンスに社会的に反応している場合でも、体系的な誤分類を引き起こすことを示している。

意義と主張
本論文は、自律的で社会的に流暢なエージェントの台頭が、真実デフォルト条件下における正体推論の崩壊を招くと主張している。その意義は、対話の痕跡に高精度な計算分類に必要な十分な情報が存在する場合であっても、人間の観察者が人工的な社会アクターと人間の社会アクターを体系的に区別できないという発見にある。

この解離は、オンライン議論において新たな脆弱性を生み出している。なぜなら、調整された AI エージェントは検出されずに大規模な集団ダイナミクスに影響を与え、操作できるからである。これらの知見は、しばしば対話相手が人間であるという前提に依存しているデジタル環境における信頼と説明責任の認識論的基盤が脆弱になりつつあることを示唆している。本研究は結論として、人間は相互作用スタイルに基づいて一貫した社会的印象を形成し、信頼を調整できるが、これらの印象からソースの正体へのマッピングは信頼できなくなったため、AI 媒介コミュニケーションにおける正体検証と説明責任の機能について再評価が必要であると述べている。