核心理念:将“混沌”转化为“调查问卷”
想象一下,你想了解一群人对一项新的、令人畏惧的技术(比如人工智能)的看法。传统的做法是发送一份调查问卷。但调查问卷存在问题:它们成本高昂,人们可能会为了表现得更好而撒谎,而且你无法针对尚未发生的事情提问。
这篇论文的作者说:“等等,人们已经在网上讨论这件事了!”但问题在于:网络上的闲聊是混乱的。它充满了笑话、抱怨、跑题的故事和噪音。它不是一份干净整洁的调查问卷。
因此,作者发明了一种名为 TaDaS(文本即数据即调查问卷,Text as Data as Survey)的新工具。可以将 TaDaS 想象成一个智能翻译器。它将杂乱无章的网络文本转化为结构化、可靠的“调查问卷”,而无需向任何人提问。
TaDaS 如何运作: “图书馆与咖啡馆”类比
要理解他们是如何实现的,请想象两个不同的场所:
- 图书馆(“答案”语料库): 这代表精英学术期刊。这里安静、有序,包含了专家们公认当前重要的“官方”研究课题。它就像是一张展示专业领域走向的地图。
- 咖啡馆(“问题”语料库): 这代表 EJMR(经济学就业市场传闻),一个匿名的在线论坛,经济学家们在这里聊天、抱怨和辩论。这里嘈杂、混乱,充满了原始的情绪。
TaDaS 的处理流程:
- 第一步:绘制地图。 研究人员利用“图书馆”来绘制当前话题的地图。他们识别出地图上的特定区域,例如“人工智能”、“性别经济学”或“健康经济学”。
- 第二步:倾听咖啡馆。 他们提取来自“咖啡馆”的杂乱对话,并使用计算机大脑(AI)来确定每段对话属于地图的哪个部分。如果有人在谈论机器学习,系统就会将其标记为“人工智能”。
- 第三步:情绪评分。 一旦对话被标记,系统就会读取回复的语调。这个人是在好奇?是在愤怒?是在刻薄(有毒性)还是在困惑?系统会针对六种不同的情绪给出 0 到 1 之间的评分:开放度、负面性、毒性、傲慢、好奇心和困惑度。
他们的发现:“风暴开始,晴天结束”的模式
研究人员提出了一个简单的问题:经济学家对人工智能持开放态度吗?
他们发现了一个由两部分组成的故事:
- 静态视角(快照): 如果你现在看一段关于人工智能的随机对话,它往往比其他话题的对话更暴躁。与“劳动经济学”等话题相比,当人工智能出现时,人们表现得更加消极、更加傲慢,且好奇心较低。这就像咖啡馆里的一个风暴天气。
- 动态视角(电影): 这里有一个惊喜。随着人工智能在“图书馆”(精英期刊)中出现的频率增加,咖啡馆里的情绪实际上变得更好了。
- 当人工智能成为顶级期刊的热门话题时,论坛上的讨论变得更加开放且更具好奇心。
- 与此同时,讨论变得更少负面、更少毒性、更少傲慢,也更少困惑。
类比: 想象一下,一款新的、可怕的设备被推出了。起初,咖啡馆里的人在叫喊:“这是骗局!它会毁了我们!”(高负面性)。但随着这款设备开始出现在官方手册和新闻中(图书馆),叫喊声停止了。人们开始询问:“这东西是怎么工作的?”以及“我可以用它来做我的项目吗?”(高好奇心)。随着技术成为景观中正常的一部分,紧张感随之降低。
为什么这很重要
这篇论文证明了,你不需要通过付费让人们填写调查问卷来了解他们的感受。通过使用这种“文本即数据即调查问卷”的方法,你可以观察现有的文本档案,实时了解一个专业领域是如何应对变化的。
核心要点:
- 方法: 他们构建了一个将杂乱的网络评论转化为干净、可比数据的系统。
- 结果: 经济学家最初对人工智能反应是抵触且消极的。
- 趋势: 随着人工智能在顶级学术期刊中的可见度和认可度提高,这种抵触情绪会逐渐消退,对话变得更加建设性和具有好奇心。
- 时机: 这种转变发生在每个人开始亲自使用这些工具之前;它是由于该技术在专业领域领导者眼中变得“合法化”而驱动的。
简而言之,这篇论文表明,当一项新技术进入专业领域时,它始于一场争斗,但随着它成为官方“规则书”的一部分,争斗停止了,学习开始了。
技术摘要:“文本即数据即调查”(TaDaS)
问题陈述
用于衡量职业态度的传统调查面临显著约束:其成本高昂、更新缓慢、难以进行回顾性重建,并且容易受到自我呈现偏差(self-presentation bias)的影响,尤其是在涉及敏感或关乎地位的问题时。相反,虽然互联网提供了丰富的自然发生文本(帖子、评论、出版物)存档,但这些原始数据具有噪声大、结构弱、平台选择性强且缺乏研究者定义的提问框架等特点。因此,如何将非结构化文本转化为可比的、类调查式的态度度量,仍然是一个方法论上的挑战。本文旨在解决一个具体问题:如何衡量经济学家对人工智能(AI)的专业情绪,因为该话题的直接调查数据稀缺,且回顾性重建十分困难。
方法论:TaDaS 框架
本文引入了 TaDaS(Text as Data as Survey,文本即数据即调查),这是一个旨在通过跨数据集语义检索,将“问题语料库”与“答案语料库”相联系,从而将自然发生的文本转化为类调查证据的度量框架。该框架基于双重高效信息提取原则运行:
高效问题提取(问题语料库):
- 数据来源: 问题语料库由来自 Economics Job Market Rumors (EJMR) 的 130 万条研究相关帖子组成,这是一个匿名的专业论坛。
- 筛选: 为了避免将焦点话题与无关的背景噪声进行比较,该框架采用层次密度聚类(HDBSCAN)对原始文本进行筛选。它保留了“焦点语义邻域”(例如 AI 相关讨论)及其直接的“比较邻域”,同时剔除了没有相邻研究主题的分支(例如关于食物或汽车的讨论)。
- 目标: 这构建了一个具有局部比较结构的经验问题集,减少了由稀疏性和信息量弱导致的测量误差。
高效答案提取(答案语料库):
- 数据来源: 答案语料库包含 53,585 篇顶尖经济学与金融学出版物(ABS 4* 级)。这些出版物作为研究前沿的标记地图。
- 主题构建: 标题和摘要使用 All-RoBERTa Large v1 进行嵌入。高维向量通过 UMAP 进行压缩,并使用 HDBSCAN 进行聚类。利用类特定 TF-IDF (c-TF-IDF) 恢复集群层面的关键词,以定义 32 个不同的研究主题(如 AI、计量经济学、性别经济学)。
- 映射: 论坛帖子通过在共享语义空间中的余弦相似度,被投影到这些由出版物衍生的主题中心上。这产生了连续的主题暴露度量,而非硬性标签,允许一个帖子部分关联到多个维度(例如 AI 和机器学习)。
态度评分:
- 评分机制: 一旦论坛帖子经过筛选并映射到特定的主题方向,指令遵循解码器(Gemma 3 12B IT)会对回复进行评分。
- 维度: 模型生成 [0, 1] 范围内的有界得分,涵盖六个不同的态度维度:开放性(openness)、负面性(negativity)、毒性(poisonousness)、傲慢(arrogance)、好奇心(curiosity)和困惑(confusion)。
- 验证: 评分提示词的设计旨在与人类标注的直觉保持一致,能够区分建设性参与、断然拒绝、危言耸听以及中性的幽默。
实证应用与结果
该框架被应用于分析随着 AI 在精英期刊中可见度提升,经济学家的反应。研究构建了一个“AI 趋势”变量,代表精英语料库中 AI 相关出版物的年度强度。
- 横截面发现: 在静态比较中,与其他研究主题的讨论相比,EJMR 中与 AI 相关的讨论明显表现出较低的开放度和好奇心,以及更高的负面性、傲慢度和毒性。这表明存在一种选择性的专业抵制基调。
- 动态交互发现: 核心分析将论坛端的 AI 暴露度与出版端的 AI 趋势进行交互。结果显示,随着 AI 在精英期刊中的可见度增加,所有六个维度都出现了向好的转变:
- 正面转变: 开放性和好奇心增加。
- 负面转变: 负面性、毒性、傲慢和困惑度降低。
- 解释: 随着 AI 在正式研究前沿的可见度提高,专业话语的基调从抵制转向了参与和适应。
稳健性检验
论文通过以下几项严格测试验证了其发现:
- 比较基准: 使用“平台经济学”(一个技术邻近话题)和“性别经济学”(一个社会话题)替换 AI,结果显示“平台经济学”表现出类似的趋主流化效应,而“性别经济学”并未复制这种六维度的正面转变,这表明 AI 的轨迹在其作为研究对象和研究工具的双重属性下是独特的。
- 扩展控制变量: 模型在同时控制全部 32 个主题暴露度、趋势及交互项的情况下进行了重新估计。AI 的正面交互作用依然稳健,排除了该结果仅仅是作为一般性前沿变化的代理变量的可能性。
- 2023 年前限制: 剔除了 2023 年之后(ChatGPT 公开发布后)的观测值。在 2023 年前的样本中,正向的交互模式依然存在,这表明该结果并非完全是由用户对生成式 AI 工具的直接熟悉度驱动,而是由其与出版端可见度的协同运动所驱动。
主要贡献与意义
本文声称在方法论和实质内容两个领域均具有重要意义:
- 方法论贡献: TaDaS 提供了一种可扩展的架构,用于从现有的文本存档中恢复回顾性的、非反应性的专业情绪度量。它弥合了非结构化文本与类调查证据之间的鸿沟,无需收集新数据,解决了传统调查在成本、速度和自我呈现偏差方面的局限性。
- 实质性贡献: 研究记录了对 AI 的专业抵制并非静态的。研究发现,随着 AI 在高地位学术出版物中的可见度增加,匿名论坛中的专业话语基调变得更加开放且不再那么具有攻击性。这表明,精英期刊的认可可能作为一种机制,降低了专业社群围绕新技术的紧张关系。
- 适用范围: 该框架被呈现为具有通用性,能够将专业论坛与专利、政策文件或产品评论相联系,以研究思想和技术在不同领域间的扩散。
文章总结道,虽然 EJMR 并非所有经济学家的代表性调查,但只要侧重于观察重复出现的讨论模式而非平均私人信念,它便是一个用于大规模观察地位焦虑、守门行为(gatekeeping)和适应过程的宝贵行为档案。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题,再试一次?
无垃圾邮件,随时退订。