技術要約：期待、反発、回復、そして熱狂

問題提起

対話型AIシステム（CAISes）は静的な製品ではなく、モデルのリリース、機能アップデート、安全性への介入、アクセス・ポリシーの変更を通じて絶えず進化している。先行研究では、静的なスナップショット（調査やクロスセクション的なソーシャルメディア分析）を通じてユーザーの認識を広範にマッピングしてきたが、これらのアプローチは、特定のシステム介入に対するユーザーのセンチメントの動的な性質を捉えることができない。既存の文献では、モデルの変化を純粋に技術的なアップデートとして扱う傾向があり、それがユーザーに与える社会的・関係的な影響を見落としている。本研究は、複数のプロバイダーにわたる特定のモデルリリースイベントの前後で、ユーザーの認識がどのように動的に変化するかを理解するというギャップに対処するものである。

メソドロジー

著者らは、2022年10月から2025年12月までのRedditでの議論を対象とした、長期かつ大規模な分析を行った。対象は20のサブレディットと668,063件の投稿である。本手法は、モデルリリースを「介入ポイント」として扱う「リリース中心設計（release-centered design）」に基づいている。

1. データ構築と正規化:

• コーパス: 6つの主要なプロバイダー（OpenAI、Anthropic、Google、xAI、Meta、DeepSeek）に焦点を当て、20の関連サブレディット（例：r/ChatGPT, r/ClaudeAI, r/grok）から投稿をフィルタリングした。
• メンション抽出: タクソノミー（分類体系）に基づいたLLMパイプラインを開発し、モデルへの言及を<プロバイダー, ファミリー, ジェネレーション, ティア>の4レベルの階層へと特定・正規化した。LLM Arenaのリーダーボードから派生したこのタクソノミーは、9つのプロバイダーにわたる189のエントリをマッピングしている。この抽出器は、生のテキストをこのスキーマにマッピングする上で高い精度（F1 > 0.95）を達成した。
• フィルタリング: 帰属の明確化を確実にするため、分析は「単一メンション」の投稿に焦 역할을 絞り込み、その結果、505,250件のモデルメンションを含む363,546件の投稿データセットが得られた。

2. 認識の測定:

• センチメント分類: 人間による検証を経たLLM分類器を用い、明示的なテキスト上の証拠に基づいて、投稿をポジティブ、ニュートラル、ネガティブのカテゴリに割り当てた。この分類器は、人間の多数決ラベルに対して0.82の加重F1スコアを達成した。
• 主題的コンセプトの誘導: LLooMフレームワークを適応させ、コーパスから236個の解釈可能な「標準的概念（Canonical Concepts）」（例：「コーディング生産性」、「期待値のギャップ」、「強制アップグレードへの不満」）を誘導した。これらのコンセプトは包含基準を用いて投稿に対してスコアリングされ、定義済みのタクソノミーに依存することなく、主題の普及度を追跡することを可能にした。

3. 介入分析:

• ウィンドウ設計: 各モデルリリースに対し、プロバイダー固有のリリース間隔の統計（DeepSeekの25日からGoogleの104日まで）に基づき、対称的なリリース前後のウィンドウを定義した。
• デルタ計算: リリース前のウィンドウとリリース後のウィンドウの間で、センチメント・デルタ（ポジティブ/ネガティブな投稿の割合の変化）およびコンセプト・デルタ（コンセプトの普及度の変化）を算出した。統計的有意性は、ベンジャミニ・ホッホバーグのFDR補正を用いたカイ二乗検定および二標本z検定を用いて評価された。

主な結果

1. 長期的なセンチメント・トレンド:

• OpenAIとGoogle: 両者とも、ニュートラルからネガティブへの長期的なシフトを示した。OpenAIについては、観察期間中にニュートラルなセンチメントが約19パーセントポイント（pp）減少し、ネガティブなセンチメントが約19 pp上昇した。
• Anthropic: ポジティブな傾向を示した唯一のプロバイダーとして際立っており、ポジティブなセンチメントが約20%から35%へと上昇し、ネガティブなセンチメントは大幅に減少した。
• Meta: ニュートラルからポジティブへのシフトを示したが、xAIとDeepSeekは、観察期間が短いかボラティリティが高いため、明確な長期的な方向性のトレンドは見られなかった。

2. リリース特有のダイナミクス:

• Anthropic (Claude 4): 最も明確なポジティブな介入プロファイル（ポジティブ+5.3 pp、ネガティブ-10.5 pp）を示した。これは、「Claude Code」の公開によって、モデルの能力がユーザーのワークフロー（コーディング/自動化）と一致し、議論が一般的な生産性から特定のコーディング生産性へと移行したことによるものである。
• OpenAI (GPT-5): 最も強い逆方向のシフト（ポジティブ-3.5 pp、ネガティブ+10.3 pp）を引き起こした。この反発は、「強制アップグレードへの不満」や「機能削除への不満」によって特徴づけられ、ユーザーは「パーソナルなコンパニオン」の喪失を感じ、確立されたワークフローが破壊されたと感じた。
• OpenAI (GPT-5.1): 部分的な回復を示した。反発を招いたコンセプトのボリュームは減少したが、熱狂を完全には回復させず、プラットフォームレベルの反乱から、より狭い範囲の製品への不満へと移行したことを示唆している。
• DeepSeek R1: 19倍の投稿量の増加という「需要ショック」を引き起こした。センチメントは混在しており、エンジニアリング能力への高い賞賛（「モデル比較と評価」）と、アクセス、信頼性、検閲に関する深刻な不満（「信頼性と可用性の不満」）が共存していた。
• xAI (Grok 3): ポジティブとネガティブの両方のセンチメントが同時に上昇するという、分かれた反応を生んだ。議論は高度に政治化されており、モデルの性能がプロバイダーのアイデンティティ（イーロン・マスク）や政治的アジェンダと結び付けられており、標準的な信頼性の懸念とともに議論された。
• OpenAI (GPT-4o): 巨大な「期待値のギャップ」（+19.4 pp）を特徴とした。ユーザーは、「オムニ」デモの機能（リアルタイム音声、ビデオ）と、ローンチ時に利用可能な限定的な機能との間の乖離に反応し、モデルの質そのものよりも、アクセスの制約による混合したセンチメントが生じた。

意義と主張

本論文は、モデルリリースは単なる技術的アップデートではなく、公衆の議論、センチメント、および期待を再形成する「ユーザー向けの介入」であると主張している。本研究は以下を実証している：

1. 認識は動的である: 静的なスナップショットは不十分である。ユーザーの信頼とセンチメントは、特定の介入タイプ（例：強制アップグレード vs 新機能の提供）に対して非常に敏感である。
2. プロバイダーのアイデンティティが重要である: リリースの受け止められ方は、プロバイダーのブランド、政治的立場、およびユーザーとの関係（例：GPT-4oへの「関係的な愛着」 vs DeepSeekへの「エンジニアリングへの称賛」）に深く影響される。
3. プロダクトとモデルの適合性が極めて重要である: 成功するリリース（Claude 4など）は、技術的能力を明確なユーザーワークフローと一致させるが、失敗は、期待の不一致（GPT-4o）や、確立されたユーザー習慣を妨げる強制的な変更（GPT-5）から生じることが多い。

著者らは、プロバイダーはリリースを重大な社会技術的イベントとして扱うべきであり、能力の発表を実際のアクセスと一致させ、移行期におけるモデルの継続性を維持し、受け止められ方を一度限りのイベントとしてではなく、時間をかけて監視すべきであると結論付けている。

限界

本研究には以下の限界があることを認めている：

• データソース: 分析はテキストベースのReddit投稿に限定されており、マルチメディアコンテンツを除外しており、技術的に熱心なアーリーアダプターを過剰に代表している可能性がある。
• AI生成コンテンツ: データセットには、フィルタリングが困難なAI生成またはAI支援による投稿が含まれている可能性がある。
• 方法論的制約: 抽出と分類におけるLLMの使用は、潜在的なエラーを導入する可能性があり、バッチベースのコンセプト誘導は冗長性を導入する可能性がある。
• ウィンドウの感度: ロバストネスチェックにより安定性は示されているが、対称的なウィンドウの選択は、短期的で一時的な反応を平滑化してしまう可能性がある。