Trilingual Topic Modeling of Sri Lankan Parliamentary Debates

在现代计算的广阔版图中，一个被称为自然语言处理（NLP）的领域正致力于教机器如何阅读、理解和组织人类语言。几十年来，这项工作主要集中在英语等语言上，这些语言的语法规则相对简单，且数字工具丰富。然而，世界充满了行为方式迥异的语言。有些语言，如在斯里兰卡广泛使用的僧罗雅语（Sinhala）和泰米尔语（Tamil），是黏着语，这意味着它们通过将许多微小的意义片段串联起来来构建复杂的单词，这使得标准的计算机程序很难识别出两个看起来不同的单词实际上共享同一个词根。此外，在世界许多地方，人们并不只说一种语言，而是在同一个句子中自由地混合使用多种语言，这种现象被称为语码混合（code-mixing）。当这些语言上的复杂性遇到政府官方记录中混乱的现实时——这些记录通常以格式糟糕的数字文档形式呈现——其结果就是一座标准软件根本无法逾越的文本大山。理解这些记录中所表达的内容至关重要，因为它们掌握着一个国家的政治优先事项、经济困境和社会关注点的钥匙，然而这些内容在很大程度上仍被锁在系统化分析的大门之外。

来自斯里兰卡莫拉图瓦大学的一个研究小组现在开发了一种解锁这一信息宝库的新方法。他们将注意力转向了汉萨德（Hansards），即斯里兰卡议会的官方记录，其中包含了成千上万篇以僧罗雅语、泰米尔语和英语表达的演讲，且这些语言经常在单次发言中混合在一起。这些文档的处理难度极大，因为它们以扫描版 PDF 的形式存在，具有令人困惑的双栏布局和不一致的格式，这会破坏传统的阅读软件。为了解决这个问题，研究人员首先使用了一种强大的人工智能工具，该工具能够阅读这些杂乱的文档并提取实际的说话内容，同时忽略页面的视觉噪声。随后，他们将这些清洗后的文本输入到一个旨在理解跨语言单词含义的系统中，而不仅仅是统计单词出现的频率。通过将演讲映射到一个数字空间中，在这个空间里，无论使用何种语言，相似的思想都会聚集在一起，他们成功地将数千场独立的演讲归纳为连贯的主题。

这项工作的成果是绘制了一幅近十年间（从 2017 年到 2026 年）国家政治对话的清晰图谱。研究人员分析了 19,553 场演讲，并成功将其组织为 30 个主要话题，涵盖了从能源安全、经济危机到国家安全和医疗保健等领域。使这一成就具有重要意义的是，计算机在没有被告知要寻找什么的情况下完成了这项工作；它自主发现了这些主题。系统发现，在 2022 年金融危机及随后的社会动荡期间，关于经济的演讲量剧增；而在 2019 年复活节星期日袭击事件发生后，关于国家安全的讨论也出现了高峰。至关重要的是，该模型将三种语言视为一个统一的、连续的对话流。一场关于特定政策问题的泰米尔语演讲与一场关于同一问题的僧罗雅语演讲被归为一类，这证明了潜在的含义比表达所使用的语言更为重要。

研究人员还测试了传统的文本分析方法是否能胜任这项任务。他们发现，依赖于统计词组组合的标准方法完全失败了。这些旧方法无法弥合不同语言之间的鸿沟，也无法处理僧罗雅语和泰米尔语复杂的单词结构，导致生成的群体破碎且毫无意义。相比之下，使用深度学习来理解语境的新方法则成功识别出了辩论的结构。团队还探索了一种结合了深度语义理解与特定关键词关注的混合方法，以观察是否能使主题分类更加精准。虽然这种方法让话题之间的界限更加清晰，但也意味着一些演讲被排除在分组之外，这表明在精确度与覆盖范围之间存在权衡。

最终，这项工作证明了在无需人工干预的情况下，理清复杂的、多语言的政治论述是可能的。通过将斯里兰卡多样化的语言视为一个单一且丰富的数据库，研究人员得以揭示国家的注意力是如何随现实世界的事件而转移的。研究结果表明，议会讨论的话题并非随机，而是直接响应国家的挑战而起伏，从公共债务管理到对病人的照护。这一新框架为未来的研究提供了坚实的基础，使研究人员和公众能够以前所未有的清晰度追踪政治优先事项的演变，将一段混乱的演讲档案转化为一个国家旅程的结构化故事。