RTI-Bench: A Structured Dataset for Indian Right-to-Information Decision Analysis

想象一下，印度的《信息权法》（RTI）体系就像一座庞大而繁忙的图书馆，每位公民都有权向政府索取任何他们想要的书籍（信息）。但这里有个陷阱：图书管理员（政府官员）常常用一种秘密代码回复，而总管理员（中央信息委员会，CIC）撰写的最终裁决则使用晦涩难懂的法律语言，读起来仿佛是在阅读一本外国的魔法书。大多数人因此放弃，因为他们无法判断上诉是否值得费心，也无法理解裁决的实际含义。

本文介绍了RTI-Bench，这是一款旨在将上述“魔法书”翻译成通俗英语，并整理图书馆记录以便计算机学习协助我们的新工具。

以下是本文实际内容的分解，采用简单的类比说明：

1. 问题：文字之墙

中央信息委员会每年发布数千份裁决。这些文件虽属公开，但其撰写方式假设读者是律师。如果你想知道是否应该对抗政府的某项决定，就必须淹没在复杂的行话中。本文认为，我们需要一把“罗塞塔石碑”来破译这些文件。

2. 解决方案：RTI-Bench（有序的文件柜）

作者构建了一个名为RTI-Bench的结构化数据集。你可以将其想象为将 1,516 份杂乱无章的法律文件整理成一个整洁的数字文件柜，每个文件夹都有清晰的标签。

• 内容：每个文件都包含结果标签（公民胜诉了吗？）、理由（他们为何败诉？）以及事件时间线。
• 来源：数据来自两个渠道：
  1. 1,218 份现有的在线摘要（已进行清理）。
  2. 298 份新下载的 PDF，直接取自 2023 年至 2026 年间中央信息委员会网站。

3. 方法：“机器人图书管理员”（基于规则的提取）

你可能会期待他们使用先进的人工智能来阅读这些文件。相反，他们构建了一个基于规则的管道。

• 类比：想象一位不“思考”也不“猜测”的机器人图书管理员。它遵循严格的检查清单：“如果你看到全大写的'DECISION'（决定）一词，查看下一行。如果你看到'Rs.'（卢比符号），寻找数字。”
• 为何这样做？ 作者表示，使用智能人工智能（大语言模型）来标注法律文件存在风险，因为人工智能可能会编造事实或产生混淆。他们的“笨”机器人具有 100% 的可复现性，无需成本，且能在普通笔记本电脑上 90 秒内运行。
• 结果：他们人工抽查了 50 份随机文件，发现机器人的准确率为95.3%。

4. 挑战：三种不同的“字体”

本文发现，自 2017 年以来，中央信息委员会已更改了三次文件模板。

• 2023a：使用特定的“事实/决定”结构。
• 2023b：将“观察”与“决定”分开。
• 2026：当前格式，使用大号加粗的“决定”区块。
  该机器人被编程为识别这三种不同的“字体”，并相应地切换阅读策略，就像译者在不同方言间切换一样。

5. 首次测试：计算机能猜出赢家吗？

作者在 100 个案例上测试了一个基础人工智能模型（Mistral 7B），看它能否仅通过阅读文本来预测结果。

• 得分：人工智能的准确率为57.3%。
• 对比：如果人工智能每次都猜测最常见的答案（就像学生在多项选择题中猜"C"），其正确率仅为14.3%。
• 结论：人工智能的表现显著优于随机猜测，证明计算机可以学习理解这些法律裁决，但仍有很大的改进空间（尤其是针对罕见结果）。

6. 我们能用它做什么？（四项任务）

本文提出了四个供研究人员利用此数据进行的特定“游戏”：

1. 结果预测：“根据故事，公民会赢还是会输？”
2. 豁免检测：“政府使用了哪条秘密规则（如‘隐私’或‘商业机密’）来说‘不’？”
3. 通俗语言摘要：“将这份法律命令翻译成普通人能理解的一句话。”
4. 合规检查：“政府是否实际执行了命令，还是需要被罚款？”（注：此类案例仅有 17 个，因此仅为试点测试）。

7. 注意事项（局限性）

作者非常诚实地说明了该工具目前无法做到的事情：

• 覆盖范围：他们仅对约一半的新 PDF 进行了完整标注，其余部分仍需更多工作。
• 范围：这仅涵盖中央委员会，不包括州级委员会（后者处理的案件更多）。
• 缺失逻辑：机器人仅在政府明确写下规则编号时才能捕捉到豁免条款。如果政府使用规则但未命名，机器人就会遗漏。
• 伦理：他们警告，不应利用该工具劝阻人们提起上诉。仅仅因为上诉“胜算不大”并不意味着不应提起，因为提起上诉这一行为本身就能促使政府承担责任。

总结

RTI-Bench是首个印度《信息权法》裁决的有组织、公开的 dataset。它利用简单的基于规则的机器人，将杂乱的法律 PDF 转化为干净的数据。早期测试表明，计算机开始能够理解这些裁决，为未来可能帮助普通公民驾驭政府信息请求复杂世界的工具铺平了道路。