When a new word works: neologism acceptance and collective identity in human and LLM-agent groups

技术摘要：人类与 LLM 智能体群体中的新词接受度与集体认同

问题与动机
集体认同（即对群体的归属感）是人类社会行为的基本驱动力，影响着认知与自我评价。虽然定性研究和相关性研究表明，独特的群体语言（如新词）能强化集体认同，但建立因果联系在方法论上一直具有挑战性。传统的实验设计要求参与者生成新词，这会引入压力和变异性；或者需要大规模招募以进行重复试验来减轻偏差，这使得此类研究变得不切实际。本研究旨在解决这一因果关系问题：引入一个突现的内群体新词，究竟是主动强化了集体认同，还是仅仅存在相关关系？

研究方法
作者使用了一个由一名人类参与者和四个大语言模型（LLM）智能体组成的混合环境，进行了受控干预实验。

• 参与者： 通过 CrowdWorks 招募了 100 名日本成年人，并将其分配至两个组别：干预组（$N=50$）和对照组（$N=50$）。分组采用准实验设计，按顺序波次进行而非个体随机化。
• 场景： 参与者在 Discord 上就“什么是幸福，以及如何实现幸福”这一话题进行了约 40 分钟的讨论。
• 智能体实现： 四个 LLM 智能体（由 Gemini 2.0 Flash 提供支持）被赋予了不同的人格（年龄、性别、性格、价值观）以模拟自然的社会动态。智能体被指示使用具体实例和专有名词以增强自然感。
• 干预措施： 在干预组中，在讨论进行约 30 分钟时，一个随机选择的智能体提出了一个基于前文讨论语境的新造日语词汇（片假名新词）来描述幸福。随后，智能体在非回复性话语中以 50% 的概率使用该新词。对照组未引入任何新词。
• 测量指标：
  • 集体认同 (CID)： 通过一个包含四个项目的量表（自我认同、归属感、重要性、对批评的情绪反应）进行测量，分别在讨论中期和讨论结束后进行。结果变量为这两个时间点之间的变化值 ($\Delta$CID)。
  • 新词评价： 在干预组中，参与者对所提议的词汇在“使用意愿”和“感知趣味性”上进行评分。
  • 交互变量： 消息计数（行为参与度）和团队印象（通过 LLM 分析开放式评论的情感极性）。

核心结果
研究采用回归模型来估计干预效应和交互关联：

1. 平均干预效应： 引入新词并未在所有参与者中产生统计学意义上显著的平均集体认同增幅 ($\beta = -0.183, p = .135$)。这表明，仅仅存在一个新词并不一定会自动将一个群体凝聚在一起。
2. 干预组中的条件效应： 在干预组内，新词评价与 $\Delta$CID 之间存在正向关联 ($\beta = +0.227, p = .038$)。对新词评价越积极的参与者，其集体认同感的提升幅度越大。
3. 参与度的交互作用： 在干预组中，观察到消息计数与团队印象之间存在显著的交互作用 ($\beta = +0.372, p = .010$)。那些既有行为活跃度（高消息计数）又对团队持有积极情感的参与者，其集体认同感的增长最为显著。这一交互作用在对照组中并不显著。
4. 成功新词的特征： 对词汇评分的探索性分析表明，高评价的新词通常是具体的、能唤起清晰意象的（例如 Kokoro Tone ——“心的色调”），并描述了当前的心理状态。评价较低的词汇往往较为抽象或涉及长期过程（例如 Historia ——“生命史”）。
5. 团队印象： 良好的团队印象与集体认同的增加在两组中均呈正相关，这表明无论是否存在语言干预，互动的质量都是一个基础性因素。

意义与主张
本文声称提供了首次利用 LLM 智能体进行关于独特语言与集体认同之间因果关系的受控干预测试。其主要贡献在于完善了对群体语言的理论理解：群体特定语言与集体认同之间的关系是有条件的，而非自动的。

作者认为，独特的语言只有在以下情况下才会强化集体认同：

1. 新的表达方式得到成员的正面评价（接受度）。
2. 该表达方式嵌入在活跃且体验积极的互动语境中。

在方法论上，本研究展示了混合人类-LLM 智能体群体作为测试难以在自然环境下观察到的社会心理学假设的可控环境的效用。研究强调，智能体设计（人格、话语风格）是一个关键的实验因素，而非仅仅是实现细节，因为智能体行为的变化显著影响了参与者对团队的感知。

作者承认的局限性
作者明确指出了以下限制：

• 效应量： 平均干预效应在统计上并不明确，这表明单次、短时间的接触可能不足以产生统一的身份转变；可能需要随时间推移的重复使用。
• 群体规模： 研究使用了小型群体（1 名人类 + 4 个智能体）；在从众压力更强的更大规模群体中，动态可能会有所不同。
• 简化处理： 每个小组仅引入了一个新词，而现实中的社区涉及多个竞争性的术语。
• 普适性： 研究聚焦于 Discord 上的日语使用者；文化和平台特定的偏差可能会限制外部有效性。
• 披露： 参与者被告知其伙伴是 AI，这可能会影响他们对互动及所提议词汇的解读。