Sentiment Analysis of Government Mobile App Reviews: Validating Zero-Shot Classification with a Large Language Model
本研究验证了一种标准化的零样本大语言模型程序，用于准确地将捷克政府应用程序评论分类为三种情感类别，在展示出高性能和稳定性的同时，也强调了在非英语数字公共服务分析中对人工参考标签和精确文档记录的迫切需求。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每天，数以百万计的人们通过智能手机的小屏幕与政府进行互动。他们使用应用程序来支付处方药费用、更新身份证明文件或查询公共记录。虽然这些工具旨在让生活变得更便利，但它们也产生了一股持续不断的反馈流，即用户评论。这些简短、非正式的文本是了解公民对数字化公共服务感受的宝库，但对研究人员而言也是一项挑战。与仅提供单一数字的简单星级评分不同，评论包含着带有细微差别、讽刺和复杂情感的文字。在主要语言不是英语的国家，分析这类反馈变得更加困难，因为通常用于此类任务的高级计算机程序往往是在英语数据上训练的，难以应对其他语言特定的语法和词汇。
长期以来，解决这一问题的方案要么是将评论翻译成英语，要么是为每种特定语言构建定制软件，而这一过程需要大量的标注数据和技术专业知识。然而，一种被称为“大语言模型”的新型人工智能已经出现。这些模型在来自整个互联网的海量文本上进行了训练，能够理解上下文和指令，而无需为每一项新任务进行重新训练。研究人员面临的问题是：这些强大的工具是否能够在没有任何特殊调优的情况下，准确地阅读并分类非英语语种的政府应用短评中的情感，以及它们是否能做到足够的一致，从而获得公共管理者的信任。
来自扬·埃万杰利斯塔·普尔克伊内大学（Jan Evangelista Purkyně University）的研究团队决定使用捷克语作为测试案例，来回答这个问题。他们收集了来自六个不同的捷克共和国政府移动应用程序的超过一万条评论，规模庞大。这些应用涵盖了从电子处方到数字身份卡等广泛的服务。研究人员希望观察使用大语言模型的标准化流程是否可以将这些评论分为三个简单的类别：正面、负面或中性。为了确保结果可靠，他们并没有仅仅依赖计算机的输出。相反，他们通过让专家阅读并就五百条精心挑选的评论的情感达成一致，从而创建了一个“地面真值”（ground truth）。这个经过人工验证的样本成为了衡量计算机性能的基准。
该研究将大语言模型与其他几种方法进行了比较，包括简单的词频统计工具和常用于文本分析的旧型人工智能。依赖于正向和负向词典的词频统计工具表现不佳。它们往往无法理解句子的语境，忽略了像“但是”这样的词可能会完全扭转评论含义的事实。旧型人工智能模型虽然比词典工具更好，但在没有针对捷克政府数据进行专门训练的情况下，仍然难以实现高准确度。相比之下，在获得关于如何分类文本的清晰指令后，大语言模型展现出了理解捷克语细微差别的卓越能力。它正确识别了绝大多数测试案例中的情感，与人类专家的判断保持了高度的一致性。
研究中最关键的发现之一是结果的稳定性。由于大语言模型是复杂的系统，人们曾担心两次运行相同的分析可能会产生不同的答案。研究人员通过在完全相同的条件下运行五次分类过程来测试这一点。他们发现，新版本的模型具有极高的一致性，每次都能产生几乎相同的结果。这种一致性对于实际应用至关重要，这意味着该工具可以被可靠地用于对同一个问题给出相同的答案，无论何时使用。然而，旧版本模型在多次运行之间表现出更多的变异性，这表明软件的具体版本至关重要。
当研究人员将最稳定且最准确的模型应用于整个一万条评论的集合时，一幅清晰的公民情感图景浮现了出来。分析显示，负面反馈是最常见的，近三分之二的评论表达了不满。正面评论约占总数的四分之一，而真正的中性评论最为罕见，占比不足百分之八。有趣的是，评论的文本内容并不总是与用户给应用的星级完全匹配。虽然一星评价几乎总是对应负面文本，五星评价通常也符合正面文本，但中间地带却很混乱。许多三星评论包含了负面文本，一些五星评论也包含了投诉，这表明用户表达情感的方式往往比简单的星级评分更为复杂。
研究还强调了该技术目前仍面临的挑战。对于计算机来说，最难正确分类的类别是“中性”情感。这一类别包括事实性描述、提问或没有强烈情感的混合感受。模型有时难以区分中性评论与略带负面或正面情绪的评论。然而，即便存在这一困难，该模型的表现依然优于所有不需要定制训练的其他可用方法。研究人员得出结论，只要过程经过仔细记录并经过人类判断的验证，使用大语言模型的标准化程序可以有效地分析简短的非英语公民反馈。
这项工作并不意味着这项技术是完美的，或者它可以完全取代人类的洞察力。研究人员强调，模型的表现取决于给予它的具体指令以及验证过程的质量。他们还指出，研究结果是针对这一特定政府应用集和捷克语的，不同的应用或语言可能会产生不同的结果。尽管如此，该研究提供了强有力的证据，表明公共管理者现在可以使用这些工具进行大规模的民意倾听，即使是在此前缺乏专门软件的语言环境下。通过将成千上万条非结构化评论转化为清晰、分类的数据，这些工具提供了一种理解人们使用数字公共服务日常体验的新方式，有助于政府改进服务民众的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。