MUESCA: A Multi-Genre Corpus and Annotation Scheme for Subjectivity in Spanish
本文介绍了 MUESCA，这是一个多体裁西班牙语语料库和标注方案，它利用语用特征将主观性量化在一条连续谱上，并证明了将这些特征与 Transformer 模型相结合可以显著提高主观性检测的性能，特别是对于混合类新闻文本。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人类语言的广袤景观中，存在着一种持久的张力：即什么是单纯的事实，以及什么是感官上的真实。几十年来，从事自然语言处理领域的科学家们一直试图教会计算机区分陈述事实与表达个人观点。这项被称为“主观性检测”的任务，对于从新闻文章分类到理解公众情绪等各种应用场景都至关重要。然而，传统的方法往往过于简单，将语言视为一个非黑即白的二进制开关，即一个句子要么是客观的，要么是主观的。但在现实中，人类的交流很少如此非黑即白。一份新闻报告可能会陈述事实，同时又微妙地通过记者的视角对其进行框架化处理；一篇科学论文可能会呈现硬性数据，同时使用谨慎的语言来描述未来的可能性。挑战在于如何捕捉这种流动的中间地带，即作者的“指纹”是如何隐藏在表面看似中立的文字之中的。
西班牙阿利坎特大学的一个研究小组通过创建一个名为 MUESCA 的新资源，在解决这一难题方面迈出了重要一步。他们没有强行将文本塞进僵化的盒子，而是构建了一个将主观性视为一个滑动刻度或连续体的数据库。为此，他们收集并分析了三种截然不同的写作类型：代表光谱中最具客观性一端的科学摘要；代表最具主观性一端的消费者评论；以及处于混乱、混合中间地带的新闻文章。通过研究不同类型的作者如何使用特定的语言工具——例如表示确定性的词汇、表示怀疑的短语或揭示个人参与度的代词——研究人员绘制出了作者的“声音”是如何随这些风格而变化的。他们的工作提供了一种衡量文本中隐形的人类作者存在感的新方法，为计算机在复杂的人类表达世界中导航提供了一张更细致的地图。
该项目的核心是 MUESCA 语料库，它是一个由 1,35 篇文档中的 1,865 个句子组成的集合。研究人员不仅收集了这些句子，还对它们进行了精细的标注，标记出那些指示作者对所言内容投入程度的特定语法和词汇特征。他们将这些信号分为两类：高作者投入度和低作者投入度。高投入度包括确定性的标记，如使用将来时或将某事陈述为事实，以及参与性的标记，如使用“我”或“我们”。低投入度包括怀疑的标记，如虚拟语气或使用“也许”等词，以及距离化的标记，如使用被动语态来隐藏动作的执行者。通过统计这些特征，团队可以观察到科学摘要如何倾向于依赖特定的数据和非人称结构，而评论则充满了个人观点和直接参与。正如预期的那样，新闻文章展现了两者兼有的混合状态，证实了其作为混合体裁的地位。
为了确保研究结果的稳健性，研究人员测试了这些语言标记是否真的能帮助计算机区分不同类型的写作。他们训练了机器学习模型，将文本分类为客观、混合或主观类别。当模型仅获得原始文本时，表现尚可；但当研究人员加入了他们标注方案中的特定语用标记时，模型的任务表现显著提升。最有效的特征组合涉及测量特异性和确定性的程度。这种方法使计算机不仅能理解文本的主题，还能理解作者是如何呈现这些信息的。结果在新闻领域尤为显著，因为这类文本通常是最难分类的，因为它融合了事实与解读。通过使用这些语用标记，模型提高了识别记者如何微妙地构建其故事框架的能力。
研究人员还探索了这些人工设计的规则如何与现代人工智能协同工作。他们将特定的标记与一个名为 BETO 的强大语言模型相结合，该模型是在海量西班牙语文本上训练而成的。尽管这个先进的模型本身已经非常擅长理解语言，但加入特定的主观性标记仍然提升了其性能。虽然从百分比来看这种提升幅度较小，但在统计学上是显著的，这表明关于作者投入度的显性规则有助于计算机解决纯统计模式无法处理的歧义。这在新闻文章中尤为明显，当模型能够观察到怀疑或确定性的具体语言信号时，其准确性有所提高。研究证实，尽管大型 AI 模型功能强大，但它们仍然受益于对人类如何构建论点和表达信念的结构化理解。
研究中最具启发性的方面之一，是新闻体裁在与另外两个极端进行对比时的表现。当研究人员测试模型，要求其区分新闻与科学摘要时，模型发现两者很容易区分。然而，当要求其区分新闻与消费者评论时，任务变得更加困难。这表明，尽管新闻业以中立著称，但其语言在语用基因上与个人观点文章的相似度，要高于与脱离情感的科学语言的相似度。新闻文章往往包含足够的框架化处理和评价性语言，从而模糊了与主观极端的界限，使其难以与评论区分开来。这一发现支持了这样一个观点：主观性并非文本类型的固定属性，而是一种可以根据作者如何选择呈现信息而发生偏移的流动品质。
MUESCA 项目并不声称已经完全解决了主观性检测的问题，但它为未来的工作奠定了坚实的基础。研究人员已向外界开放了他们的数据集和标注指南，允许科学界在其基础上开展工作。他们计划扩大语料库，纳入更多体裁，如社交媒体帖子和技术报告，以观察其方法在更非正式或更两极分化的环境中是否依然有效。他们还看到了在检测欺骗方面的潜在应用，在欺骗检测中，信息的呈现方式（通过确定性或怀疑）可能比事实本身更具指示意义。通过关注信息的语用传递而非仅仅是内容，这种方法为理解人类如何利用语言塑造现实提供了新的视角。这项工作表明，通过将复杂的主观性任务分解为可测量的语言组成部分，我们可以构建出不仅更准确，而且在得出结论的过程上更加透明的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。