技术摘要：r/ChatGPT 三年：来自社交媒体数据的社会影响评估

问题陈述

消费级 AI 产品（特别是自 2022 年 11 月发布以来的 ChatGPT）的快速普及，其速度已经超过了对其社会影响的理解。虽然特定领域的评估（如教育或劳动力领域）提供了预设指标，但对于一个用户量接近十亿的技术而言，其必然会产生难以预测或通过传统实验方法进行测量的不可预见效应。此外，大型语言模型（LLMs）的可靠使用数据非常稀缺，通常仅限于可能无法捕捉用户体验全貌（特别是情感和心理维度）的专有行业报告。

作者认为，社交媒体提供了一个反映用户感知和优先事项的自然、高容量数据源。然而，分析这些数据面临挑战：如何在没有预设标签的情况下识别相关概念，如何区分短期“爆发式”趋势与长期结构性采用变化，以及如何在社会影响进入公众讨论之前对其进行实时检测。

方法论

数据收集与预处理

本研究利用了来自 r/ChatGPT 版块的 137,154 条帖子 的纵向数据集，收集时间从 2022 年 12 月 1 日到 2025 年 11 月 30 日。该数据集包含 89,346 名独立用户。帖子经过过滤，排除了已删除内容、版主帖子和垃圾信息（字数少于 10 个单词或评论少于 2 条的帖子）。为了应对 Reddit 人口统计学特征的非代表性（偏向年轻、男性和受过良好教育的人群），作者将数据视为用户反馈的代理而非全体用户的普查。

通过稀疏自编码器（SAE）进行特征化

核心方法论是一个无监督特征化流水线，旨在从非结构化文本中提取人类可解释的概念：

1. 嵌入（Embedding）： 将帖子标题和正文拼接，并使用 OpenAI 的 text-embedding-3 模型进行嵌入。
2. SAE 训练： 使用标准的重构损失训练稀疏自编码器（SAEs），将高维嵌入映射到低维的稀疏特征空间。作者使用了 Top-K SAEs（$K=4$，$M=128$ 个总特征），允许每条帖子最多关联 4 个特征。
3. 解释： 通过提示词（改编自 Movva 等人，2025）使用 gpt-4.1-mini 对特征进行解释。为每个特征生成三个候选标签，并选择具有最高 F1 分数（基于样本的二元标记）的一个作为最终标签。
4. 过滤： 移除通用特征（如文本开头的“ChatGPT”）、低频特征以及与图像/视频生成或特定产品发布相关的特征，保留 86 个特征用于分析。

回顾性分析框架

作者分析特征频率的随时间变化的轨迹（$C^{(i)}(X_t)$）以识别两类影响：

1. 事件反应性（Event Reactivity）： 使用 中断时间序列（ITS） 分析，将特征转录建模为分段线性函数，其变点受已知外部事件（如 GPT-4o 等模型发布）的约束。使用泊松负对数似然（Poisson NLL）拟合模型，并通过自助法（100 次重采样）验证稳定性，选择在 >50% 样本中出现的变点。
2. 长期趋势： 应用带有 Newey-West HAC 误差的普通最小二乘法（OLS）斜率测试，以检测整个观测期内是否存在非零斜率，这表明了独立于特定事件的、用户优先级的转变。
3. 特征聚类： 为了对相关概念进行分组，计算共现性和轨迹相似性（皮尔逊相关系数）以将特征聚类为“家族”。

实时监控：PuLSE

为了解决早期检测的问题，作者提出了 PuLSE（公共与纵向信号评估）。这是一个在线监控算法，它：

• 维护当前的特征化表示 $\hat{C}_{curr}$ 和一组“感兴趣的特征” $S_t$。
• 使用 随时有效（anytime-valid）的序列假设检验（基于 e-值和投注策略）来监控：
  • 准确度退化： 测试 $\hat{C}_{curr}$ 在新数据上的重构误差是否超过相对于训练误差的阈值 $\beta$。如果拒绝原假设，系统将触发“拒绝并重新训练”事件，在所有累积数据上重新计算特征化。
  • 特征增长： 测试特定特征的激活是否显著高于其历史基准。
• 即使在动态更新监测特征集时，也能提供对错误发现率（FDR）和族系错误率（FWER）的正式保证。

关键结果

1. ChatGPT 的“驯化”（Domestication）

回顾性分析揭示了明显的常态化趋势。在三年期间：

• 基础用法下降： 关于登录问题、“如何使用”类问题以及基础访问问题的帖子显著减少。
• 高级用法上升： 关于整理聊天记录、记忆功能和数据隐私的讨论有所增加。
• 预期转变： 用户查询从开放式的“如何使用”转向针对“不如预期工作”的具体投诉，表明从新鲜感向稳固预期的过渡。
• 常规化： 特定应用的帖子（如编程、D&D）有所下降，因为该工具已集成到标准工作流中，讨论转移到了专门的子版块。

2. 情感参与的兴起

一个引人注目的发现是，在 GPT-4o 发布（2024 年 5 月 13 日） 后，情感参与度剧烈上升。出现了两个截然不同但相关的特征家族：

• 疗愈/心理健康： 讨论使用 ChatGPT 进行情感支持、创伤、焦虑和治疗的帖子。
• 陪伴/依恋： 描述情感纽带、为 AI 命名、浪漫关系以及将意识或人格归于模型的帖子。
• 时间相关性： 这两个家族在 GPT-4o 发布日期都显示出稳定的变点。虽然在 2024 年之前少量存在，但其频率在发布后增加了 3 到 5 倍。
• 差异性： 尽管存在共现，但“疗愈”和“陪伴”在语义上是不同的。“疗愈”帖子侧重于“帮助”、“创伤”和“心理健康”，而“陪伴”帖子侧重于“人格”、“朋友”和“感觉”。
• 对投诉的影响： 在 GPT-5 发布（2025 年 8 月）期间，情感参与是负面情绪的主要驱动力。大约 30.5% 关于 GPT-5 的投诉涉及情感参与（例如，对失去对话或失去“朋友”的悲伤），尽管行业报告显示情感使用的总消息占比仅约为 1.9%。

3. 通过 PuLSE 进行实时检测

PuLSE 框架成功展示了早期检测的可能性：

• 早期警报： 系统早在 2024 年 10 月 29 日 就标记了“疗愈相关”特征的统计学显著增长。
• 对比： 这一检测发生在 OpenAI 公开承认其产品心理影响（例如 2025 年 8 月的博客文章或 2025 年 9 月的工作论文）之前的数月。
• 依赖性： 警报的时机高度依赖于底层特征化（SAE 表示）的质量。早期表示（$\hat{C}_0$）未能捕捉到后期疗愈帖子的细微差别，从而延迟了检测；而更新后的表示（$\hat{C}_2$）则实现了更早的警报。

意义与主张

作者将这项工作定位为一种新的 AI 评估范式的概念验证：

• 纵向社会信号： 他们认为，当社交媒体数据通过无监督特征化和严格的统计检验进行处理时，可以揭示预设指标无法捕捉到的“未知之未知”的社会影响。
• 及时性： PuLSE 框架证明，实时监控具有社会影响力的趋势在技术上是可行的，这可能允许开发者在问题演变为公共危机之前进行干预。
• 互补性： 研究结果补充并挑战了现有的行业报告。虽然行业数据可能显示情感使用的 量 较低，但其使用的 强度 和 后果（例如，在模型过渡期间驱动显著的反弹）表明，其影响程度并非仅靠频率就能捕捉。
• 审慎性： 作者明确表示，他们并未就这些趋势的 原因 作出因果性主张（例如，是 GPT-4o 导致 了依恋，还是仅仅与其同时发生），而是强调了产品发布与用户讨论转变之间的相关性。他们承认 Reddit 作为数据源的局限性，以及推断真实使用模式的难度。

总之，本文认为，通过公开反馈回路关注“日常用户”，是引导 AI 社会影响的关键机制，使评估从回顾性分析转向主动的、数据驱动的监控。