RTI-Bench: A Structured Dataset for Indian Right-to-Information Decision Analysis

インドの情報公開法（RTI）制度を、すべての市民が政府に対して好きな本（情報）を請求する権利を持つ、巨大で賑やかな図書館だと想像してみてください。しかし、ここには落とし穴があります。司書たち（政府職員）はしばしば秘密の暗号で返信し、館長（中央情報委員会、CIC）は最終判断を、外国の呪文書を読むような濃密な法律用語で記述します。多くの人は、控訴が手間に見合うかどうか、あるいは決定が実際に何を意味するのかを判断できないため、諦めてしまいます。

本論文は、その「呪文書」を平易な英語に翻訳し、図書館の記録を整理してコンピュータが私たちを支援できるよう学習させるために設計された新しいツール「RTI-Bench」を紹介します。

以下に、この論文が実際に何を行っているかを、簡単な比喩を用いて解説します。

1. 課題：テキストの壁

CIC は毎年数千件の決定を下しています。これらは公開されていますが、弁護士であることを前提とした書き方になっています。政府の決定に抗うべきかどうかを知りたい場合、複雑な専門用語に満ちたページをくぐり抜けなければなりません。論文は、これらの文書を解読するための「ロゼッタ・ストーン」が必要だと主張しています。

2. 解決策：RTI-Bench（整理された書類棚）

著者たちは、構造化されたデータセット「RTI-Bench」を構築しました。これは、1,516 件の法文書の混沌とした山を、すべてのフォルダに明確なラベルが付けられた整然としたデジタルの書類棚に変えるようなものです。

• 内容： 各ファイルには、結果（市民は勝ったか？）、使用された理由（なぜ負けたのか？）、出来事のタイムラインのタグが含まれています。
• ソース： 2 つの場所からデータを収集しました。
  1. 2023 年から 2026 年の間に CIC ウェブサイトから直接ダウンロードされた298 件の新しい PDF。
  2. オンラインで見つかった1,218 件の既存の要約（これらは精査されました）。

3. 手法：「ロボット司書」（ルールベースの抽出）

これらの文書を読むために高度な AI を使用すると予想されるかもしれませんが、代わりに著者たちはルールベースのパイプラインを構築しました。

• 比喩： 「考え」も「推測」もしないロボット司書を想像してください。代わりに、厳格なチェックリストに従います。「『DECISION』という単語が大文字で現れたら、次の行を見てください。『Rs.』が見えたら、数字を探してください。」
• なぜこれを行うのか： 著者たちは、法文書にラベルを付けるために高度な AI（LLM）を使用することは、AI が事実を捏造したり混乱したりするリスクがあるため危険だと述べています。彼らの「愚直な」ロボットは 100% 再現可能で、コストはゼロ、通常のノートパソコンで 90 秒未満で実行されます。
• 結果： 彼らは 50 件のランダムなファイルを手動で確認し、ロボットが95.3% の精度であることを確認しました。

4. 課題：3 つの異なる「書体」

論文は、CIC が 2017 年以降、文書のテンプレートを 3 回変更したことを発見しました。

• 2023a： 特定の「事実/決定」構造を使用。
• 2023b： 「観察」と「決定」を分離。
• 2026： 現在の形式で、大きく太字の「DECISION」ブロックを使用。
  ロボットは、これらの 3 つの異なる「書体」を認識し、まるで翻訳者が異なる方言間を切り替えるように、読み取り戦略を切り替えるようにプログラムされました。

5. 最初のテスト：コンピュータは勝者を推測できるか？

著者たちは、基本的な AI モデル（Mistral 7B）を 100 件の事例でテストし、テキストを読むだけで結果を予測できるかどうかを確認しました。

• スコア： AI の精度は**57.3%**でした。
• 比較： AI が毎回最も一般的な答えを推測するだけ（学生が多肢選択テストで「C」と推測するようなもの）であれば、正解率は**14.3%**に過ぎません。
• 教訓： AI はランダムな推測よりも著しく優れており、コンピュータがこれらの法的決定を理解し始めうることを証明していますが、まだ改善の余地が大きい（特に稀な結果については）ことが示されました。

6. これを使って何ができるか（4 つのタスク）

論文は、研究者がこのデータで遊べる 4 つの具体的なゲームを提案しています。

1. 結果の予測： 「この物語に基づいて、市民は勝つでしょうか、それとも負けるでしょうか？」
2. 免責事項の検出： 「政府が『ノー』と言った際に使用した、どの秘密の規則（プライバシーや商業的機密など）ですか？」
3. 平易な言語での要約： 「この法的命令を、普通の人が理解できる文書に翻訳してください。」
4. 遵守チェック： 「政府は実際に命令に従ったでしょうか、それとも罰せられる必要があるでしょうか？」（注：これに関する例は 17 件しかないため、パイロットテストに過ぎません）。

7. 細則（限界）

著者たちは、このツールが現時点でできないことについて非常に率直です。

• カバレッジ： 新しい PDF の約半分しか完全にラベル付けされておらず、残りはさらに作業が必要です。
• 範囲： これは中央委員会のみを対象としており、州レベルの委員会（さらに多くの事件を処理する）は含まれていません。
• 欠落する論理： ロボットは、政府が規則番号を明示的に記載した場合にのみ免責事項を捕捉します。名前を挙げずに規則を使用している場合、ロボットはそれを見逃します。
• 倫理： このツールが、控訴の提出を人々を思いとどまらせるために使用されてはならないと警告しています。控訴が「勝つ可能性が低い」からといって、提出すべきではないという意味ではありません。提出行為そのものが政府の説明責任を問うものだからです。

まとめ

RTI-Benchは、インドの RTI 決定に関する最初の組織化された公開データセットです。これは、単純なルールベースのロボットを使用して、散らかった法的 PDF をクリーンなデータに変換します。初期のテストは、コンピュータがこれらの決定を理解し始めうることを示しており、政府の情報請求という複雑な世界を一般市民がナビゲートするのを助ける可能性のある将来のツールへの道を開いています。