Research Borderlands: Analysing Writing Across Research Cultures

本文提出了一个以人为本的框架，用于分析和衡量研究写作中的文化规范，通过跨学科访谈来识别不同研究文化之间的关键风格与修辞差异，并论证这些指标如何揭示大型语言模型倾向于使写作同质化，而非适应特定的文化语境。

要点

请将学术研究的世界想象成一个繁忙的城市，而非一座单一、巨大的图书馆。这个城市由许多不同的“社区”组成。每个社区——如自然语言处理（NLP）、机器学习（ML）或教育学——都有其独特的方言、时尚品味和不成文的礼仪规则。

这篇名为**《边境地带：分析跨研究文化的写作》（"Borderlands: Analysing Writing Across Research Cultures"）**的论文，就像是一本引导你穿梭于这些社区的指南手册。作者们想要回答一个简单的问题：是什么让一篇研究论文感觉像是属于某个特定社区，而非另一个？

以下是他们旅程与发现的拆解，使用了日常类比。

1. 问题所在：“一刀切”的翻译官

想象你是一名说英语非常流利的旅行者。你想向一个村庄的农民讲一个故事，然后再向另一个村庄的银行家讲一个故事。如果你用完全相同的词汇、以完全相同的方式讲述同一个故事，农民可能会感到困惑，而银行家可能会觉得乏味。

在人工智能领域，大语言模型（LLMs）就像这些旅行者。它们很擅长说“英语”（通用语言），但往往难以理解不同研究社区的特定“方言”。以往的大多数研究试图通过观察国籍或语言等宏观维度（例如“法语”对比“英语”）来衡量文化。作者认为这过于笼统。相反，他们决定将视角缩小，聚焦于科学领域的特定“社区”。

2. 方法论：询问“超级旅行者”

为了理解这些社区的规则，作者不仅观察数据，还与人进行了交流。他们采访了跨学科研究人员——这些人是像“超级旅行者”一样的科学家，因为他们经常为不同的社区撰写论文（例如，一位既为计算机科学家也为医生撰写论文的科学家）。

他们询问这些专家：“当你把论文从一个社区转移到另一个社区时，你会改变什么？”

通过这些对话，他们构建了一张包含四个主要规则类别的**“文化地图”**：

• 结构规范（建筑风格）： 论文有多长？它有很多图表（像是一个视觉故事）还是只有数字表格？
  • 类比： 有些社区需要摩天大楼（长篇论文），而有些则偏好温馨的小木屋。有些需要带有雕塑的花园（插图），而有些则需要数字表格组成的图书馆（表格）。
• 风格规范（时尚品味）： 你穿着什么样的词汇？你是使用沉重的技术术语（像制服一样），还是平实的语言？语调是正式的（像西装）还是随意的（像牛仔裤）？
  • 类比： 在一个社区，说“少数群体”可能是一种时尚失礼，而在另一个社区，这却是标准着装。在一个地方，你必须使用复杂的数学来证明观点；而在另一个地方，一个简单的故事可能效果更好。
• 修辞规范（叙事方式）： 你如何讲述你的故事？你是以硬性的数字和统计数据开场，还是以一个宏大的想法和叙事开始？
  • 类比： 一些社区希望立即看到“凭据”（数字）。而另一些社区则希望先听到“传奇”（故事）。
• 引用规范（宾客名单）： 你在故事中提到了谁？你是引用该领域的“经典”大师，还是引用最新的热门话题？
  • 类比： 每个社区都有自己的“名人堂”。如果你没有提到正确的人，当地人可能会认为你是个外来者。

3. 测试：AI 能否“穿对衣服”？

一旦绘制出这些规则，作者就创建了一个“测试套件”（一组测量指标），以观察 AI 模型是否真的能够遵循这些规则。他们选取了一篇为某一社区（如机器学习）撰写的论文引言，并要求不同的 AI 模型将其改写为另一个社区（如教育学）的风格。

结果：AI 是一个“时尚同质化者”
研究结果令人惊讶，甚至有些令人担忧：

• 好消息： AI 在改变词汇方面做得很好。如果你要求它为教育学写作，它会把计算机术语替换为教育术ole术语。它知道该“穿”什么样的词。
• 坏消息： AI 在其他方面都失败了。它不仅没有进行适配，反而进行了扁平化处理。
  • 它让所有文章都变短了，无论目标社区喜欢长篇还是短篇。
  • 它删除了所有的图表和插图，即便目标社区非常喜爱这些内容。
  • 它使语调变得统一，剥离了特定社区独特的“个性”。

隐喻： 想象 AI 是一个裁缝，它并没有为特定场合缝制特定的服装，而是拿起一把剪刀，把每一件衣服都剪裁成完全相同的大小和形状。看起来很“整洁”，但并不适合任何人。

4. 结论：为什么这很重要

论文得出结论：虽然 AI 在写作方面正在进步，但它目前缺乏文化胜任力。它倾向于让所有的科学写作看起来都一样（同质化），这可能是危险的。

如果所有的研究论文听起来都一样，我们可能会失去不同领域所带来的独特视角和叙事风格。作者建议，与其让 AI 为我们写论文，不如将其作为辅助我们穿越这些文化边界的工具，同时保留人类的触感，以确保论文符合它所进入的特定“社区”。

简而言之： 这篇论文表明，为不同的科学社区写作就像为不同的派对挑选着装。目前的 AI 非常擅长更换你的上衣，但它会保持你的裤子、鞋子和发型完全不变，让你在每个派对上都显得格格不入。

技术摘要

技术摘要：边界地带：分析跨研究文化的写作行为

问题陈述
虽然提高语言技术的文化胜任力已成为一项公认的优先事项，但近期的研究往往未能与所研究的具体社群进行深入接触。相反，这些研究依赖于合成设置和不完美的文化代理指标（如国籍或语言），而这些指标缺乏在特定任务或文化语境中的落地。因此，“文化”这一概念在大型语言模型（LLM）评估中仍然定义模糊。目前迫切需要理解研究社群之间的写作规范如何变化，并评估 LLM 是否能够有效地适应这些细微且往往未被记录的文化预期。

研究方法
作者采用了一种以人为本、自下而上的方法来定义和衡量研究社群内的文化规范，特别关注将研究论文引言进行跨不同科学领域适配的任务。

1. 通过混合方法进行数据收集：

   • 调查 (N=78)： 一项初步调查证实，跨学科研究人员经常会针对不同的社群对论文进行适配（例如，在论文被拒稿后或为了适应新发表渠道时），其中引言部分是最常被改编的部分。
   • 访谈 (N=10)： 作者对担任跨社群导航专家的资深跨学科研究人员进行了半结构化访谈。参与者提供了自己为不同发表渠道重写论文的实例，并解释了他们的适配策略。

2. 框架开发：
   通过对访谈转录文本进行定性分析，作者开发了一个包含四类文化规范的框架：

   • 结构规范： 长度，以及人工制品（表格/图表）的存在。
   • 风格规范： 术语/专业语言、可读性、正式程度和冗余度。
   • 修辞规范： 定量证据的使用、比喻性语言、框架构建（强调特定价值观）以及叙事组织（背景、目标、方法和结果的排序）。
   • 引用规范： 经典性（引用基础性著作）和参与风格（例如，直接引用的使用）。

3. 操作化（评估套件）：
   作者将该框架转化为一套计算指标：

   • 长度/人工制品： 字数、句子计数以及基于正则表达式的表格/图表提及检测。
   • 术语： 使用归一化点互信息（NPMI）进行特异性评分。
   • 正式程度： 使用在 GYAFC 上微调的 DeBERTa-large 模型进行句子级评分。
   • 可读性： 平均 Flesch 阅读易度得分。
   • 定量证据： 使用 LLM 作为评判者（Llama 3.1 70B）来检测数值证据。
   • 叙事组织： 使用多项分类器（SCIM）对句子功能进行分类并测量其位置偏移。
   • 框架： 使用基于词典的分类器来检测编码的研究价值观（如效率、公平性、新颖性）。

4. 定量分析：

   • 人类写作分析： 该套件被应用于包含 11 个计算机科学社群（如 NLP、ML、HCI、教育学）共 81,178 篇研究论文引言的语料库中，以揭示潜在的变化。
   • LLM 评估： 作者通过提示 LLM 将引言从源社群适配到目标社群，评估了五种 LLM（GPT-3.5, GPT-4o Mini, Llama 3.1/3.3, Mistral）的文化胜任力。将指标值的变化与人类撰写的论文在目标社群中的实际分布进行了比较。

关键结果

• 人类写作变异： 计算指标成功地在大规模范围内恢复了 11 个社群中截然不同的文化规范。例如，教育学论文在可读性方面表现出高变异性，而 ML 和 NLP 社群在定量证据的数量上表现出强而一致的规范。特异性得分（术语）差异显著，其中教育学是区分度最高的社群。
• LLM 文化胜任力：
  • 词汇适配： LLM 成功适配了词汇，提高了特异性得分以匹配目标社群。
  • 同质化： 在所有其他指标方面，LLM 倾向于使特征向单一方向移动，而不论目标社群为何。例如，模型一致地缩短文本、减少表格和图表的提及、降低可读性并增加定量证据的密度。
  • 适配失败： 只有当模型的默认同质化趋势恰好与目标社群的规范一致时，它们才会“成功”实现适配（例如，为引言天然较短的 NLP 社群缩短文本）。在目标社群需要更长文本或不同结构安排（如教育学）的情况下，模型未能实现适配，而是强加了一种统一的风格。

意义与主张
本文声称展示了通过以人为本的方法来衡量人类撰写文本和 LLM 生成文本中文化规范的有效性。通过以社群成员为中心并专注于一个现实世界的任务（写作适配），作者提供了一种比依赖国籍等广泛代理指标的自上而下方法更具生态效度的替代方案。

这项工作凸显了当前通用 LLM 的一个重大局限：虽然它们可以调整词汇，但在遵循特定研究文化的结构、风格和修辞细微差别方面却表现乏力，倾向于使科学写作趋于同质化。作者认为，这种同质化对科学界思想和写作风格的多样性构成了风险。他们得出结论，未来的科学写作工具应侧重于交互式辅助，旨在揭示社群障碍而非完全自动化写作过程，从而保留人类在通过写作塑造社群价值观方面的作用。作者开源了其评估套件，以支持未来关于科学之科学及文化胜任力评估的研究。