Cleaning the Chaos: Building a Structured Corpus from Rajya Sabha Debates
本文呈现了一个从非结构化在线记录中提取的、经过结构化处理、清洗并进行主题标注的拉贾萨布哈（Rajya Sabha）辩论语料库，该语料库整合了发言人识别、日期匹配以及基于 LLaMA 辅助的主题分类，旨在为印度议会话语的计算分析提供支持。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人类治理的浩瀚档案库中，言语具有独特的力量。当一个国家的立法者聚集在一起辩论法律、预算和危机时，他们创造了一份关于社会如何思考、争论并决定其未来的生动记录。对于研究人员而言，这些转录文本是一座宝库，提供了一种衡量民主脉搏、追踪政治关注点兴衰以及理解公共政策情感基调的方法。然而，将这些口头语言转化为计算机可以研究的形式通常是一项艰巨的任务。原始记录往往是杂乱无章的，埋藏在扫描文档中，混杂着不同的语言，并且充斥着掩盖实际论辩内容的程序性噪音。为了理清这些混乱，科学家们使用了一个被称为自然语言处理（NLP）的领域，它教会机器阅读并理解人类文本。通过清理并组织这些记录，研究人员可以提出宏大的问题：哪些议题主导了对话？政治家对这些议题有何感受？这些主题又是如何随时间变化的？
印度信息技术学院那格布尔分校的一位研究人员专门针对印度议会上院——拉贾亚萨巴（Rajya Sabha）承担了这一挑战。多年来，这些辩论的官方记录一直可以在网上获取，但它们以非结构化、扫描文档的形式存在，难以进行分析。该研究人员致力于在这些原始、混乱的文件与现代计算机分析所需的干净、有序的数据之间架起一座桥梁。他们的目标不仅仅是存储文本，而是将其转化为一个结构化的图书馆，其中每一段演说都被识别、清洗并贴上其主要主题的标签。这项工作创建了一个基础数据集，使任何人都能利用强大的计算工具来研究印度政治话语的历史。
旅程始于原始数据的收集。研究人员访问了官方议会网站，下载了从2008年到2025年的数千份辩论记录。他们专注于一段记录以结构化数字文件形式存在的特定时期，最终收集了超过6,300份文档。这些文件并非简单的文本文档；它们是页面的扫描图像，这意味着文字被困在图片之中。为了释放这些文字，研究人员使用了一种被称为光学字符识别（OCR）的技术，它就像一只能够识别图像中字母的“数字眼睛”。这个过程将扫描页面转换成了原始文本，但结果远非完美。提取出的文本充满了错误、重复的页眉、页码以及一些本身毫无意义的句子片段。
清洗这些文本需要一种细致、循序渐进的方法。研究人员必须剥离程序性噪音，例如重复的标题和行政注释，只留下议员们实际表达的词句。他们还必须解决“谁说了什么”的谜题。在原始文本中，发言人的姓名通常出现在冒号之前，随后是其演讲内容。研究人员编写了一个程序来寻找这些模式，将长篇且连续的文本流分割成独立的演讲。他们去除了荣誉头衔并修复了断开的行，确保每段演讲都是与特定人物和日期相关联的连贯文本块。其结果是一个庞大且有序的集合，包含近95,000段独立的演讲，总计近900万个单词，且已准备好进行分析。
一旦文本变得干净，研究人员就面临下一个挑战：理解这些演讲的主题是什么。由于数据没有标签，他们无法直接查找主题。相反，他们使用了一种结合了类人推理与统计分组的混合方法。首先，他们使用了一种大型语言模型（一种在海量文本上训练过的先进计算机程序）来阅读每段演讲，并建议其主要主题的简短描述。随后，这些建议被输入到一个聚类系统中，该系统根据含义将相似的演讲归为一类。研究人员发现，这些演讲自然地分成了约47个不同的组别。为了使这些组别更加清晰，他们使用了一种统计方法来提取每个组中最常见的词汇，从而揭示了正在讨论的核心议题。
分析揭示了议会景观的清晰图景。主题涵盖了从国家安全和恐怖主义等宏大主题，到农业、教育和医疗等具体关注点。一些集群侧重于预算和政府资金，而另一些则涉及社会福利和贫困。研究人员为这些组别分配了清晰、易读的人类语言名称，例如“农民与农业”或“医疗与健康”，从而绘制出一幅印度议会最关注议题的地图。随后，他们追踪了这些主题随时间出现的情况，观察了辩论的焦点如何随着政治历法季节的变化以及国家事件的涌现而发生转移。
为了理解这些辩论的情感基调，研究人员还分析了演讲的情感倾向。由于文本是印地语和英语的混合体，且演讲往往非常冗长，单一的计算机模型难以得出正确答案。因此，研究人员结合了多个不同模型的判断，让它们对一段演讲是积极、消极还是中性的观点进行“投票”。这种集成方法提供了更可靠的结果。分析显示，绝大多数演讲被归类为“消极”。这一发现表明，印度的议会话语高度集中于批评、解决问题和提出忧虑，而非赞扬或正面构架。这些预测的置信度处于中等水平，反映了在解释这种混合了两种语言且通常涉及复杂、微妙议题的正式政治语言时的固有难度。
最后，研究人员测试了他们的新数据集是否对未来的研究有用。他们训练了几个机器学习模型，仅根据文本来预测演讲的主题。这些模型能够以高度的准确性学习数据的模式，证明了他们所识别的主题是具有一致性和意义的。表现最好的模型是那些能够记住句子随时间流动的上下文的模型，这表明演讲的语境对于理解其主题至关重要。这一成功证实了经过清洗和组织的该数据集是一个稳健的资源，能够支持对政治行为和政策趋势的更深层次调查。
这位研究人员的工作将一个混乱的扫描页面档案库转化为了一个结构化的、可搜索的人类思想图书馆。通过将非结构化记录转化为干净的数据集，他们为一种新型的政治科学开启了大门，这种科学可以利用计算机的速度和规模来分析完整的议会辩论历史。虽然数据并不完美，且所使用的方法仍在不断演进，但他们建立的基础使得研究人员能够从噪音中看到规律。它提供了一种方式，让我们不仅将一个国家的辩论视为一系列文字的集合，而是将其视为一个关于一个民主国家如何争论、决策并向前迈进的结构化故事。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。