RTI-Bench: A Structured Dataset for Indian Right-to-Information Decision Analysis

Stellen Sie sich Indiens Recht auf Informationszugang (RTI) als eine riesige, geschäftige Bibliothek vor, in der jeder Bürger das Recht hat, die Regierung nach jedem beliebigen Buch (Information) zu fragen. Doch hier liegt der Haken: Die Bibliothekare (Regierungsbeamte) antworten oft in einem geheimen Code, und die Chefbibliothekarin (die Zentrale Informationskommission oder CIC) verfasst die endgültigen Urteile in einer dichten juristischen Sprache, die sich wie das Lesen eines fremden Zauberbuches anfühlt. Die meisten Menschen geben auf, weil sie nicht beurteilen können, ob eine Berufung den Aufwand wert ist oder was die Entscheidung tatsächlich bedeutet.

Dieser Beitrag stellt RTI-Bench vor, ein neues Werkzeug, das entwickelt wurde, um dieses „Zauberbuch" in einfache Sprache zu übersetzen und die Aufzeichnungen der Bibliothek so zu organisieren, dass Computer lernen können, uns dabei zu helfen.

Hier ist eine Aufschlüsselung dessen, was der Beitrag tatsächlich leistet, unter Verwendung einfacher Analogien:

1. Das Problem: Eine Wand aus Text

Die CIC erlässt jedes Jahr Tausende von Entscheidungen. Sie sind öffentlich, doch sie sind so verfasst, dass sie davon ausgehen, Sie seien ein Anwalt. Wenn Sie wissen möchten, ob Sie gegen eine Regierungsentscheidung vorgehen sollten, müssen Sie sich durch Seiten voller komplexer Fachbegriffe kämpfen. Der Beitrag argumentiert, dass wir einen „Rosetta-Stein" benötigen, um diese Dokumente zu entschlüsseln.

2. Die Lösung: RTI-Bench (Der organisierte Aktenschrank)

Die Autoren haben einen strukturierten Datensatz namens RTI-Bench erstellt. Stellen Sie sich dies vor, als würden Sie einen chaotischen Stapel von 1.516 juristischen Dokumenten in einen ordentlichen, digitalen Aktenschrank verwandeln, bei dem jeder Ordner klare Beschriftungen trägt.

• Was enthalten ist: Jede Datei enthält Tags für das Ergebnis (Hat der Bürger gewonnen?), die verwendeten Gründe (Warum haben sie verloren?) und den Zeitablauf der Ereignisse.
• Die Quelle: Die Daten wurden aus zwei Quellen gesammelt:
  1. 1.218 bestehende Zusammenfassungen, die online gefunden und bereinigt wurden.
  2. 298 frische PDFs, die zwischen 2023 und 2026 direkt von der CIC-Website heruntergeladen wurden.

3. Die Methode: Der „Roboter-Bibliothekar" (Regelbasierte Extraktion)

Man könnte erwarten, dass sie eine ausgefeilte KI verwenden, um diese Dokumente zu lesen. Stattdessen bauten sie eine regelbasierte Pipeline.

• Die Analogie: Stellen Sie sich einen Roboter-Bibliothekar vor, der nicht „denkt" oder „rät". Stattdessen folgt er einer strengen Checkliste: „Wenn Sie das Wort 'ENTSCHEIDUNG' in Großbuchstaben sehen, schauen Sie auf die nächste Zeile. Wenn Sie 'Rs.' sehen, suchen Sie nach einer Zahl."
• Warum tun sie das? Die Autoren sagen, dass die Verwendung einer intelligenten KI (LLM) zur Kennzeichnung juristischer Dokumente riskant ist, da die KI Fakten erfinden oder verwirrt werden könnte. Ihr „dummer" Roboter ist zu 100 % reproduzierbar, kostet nichts und läuft in unter 90 Sekunden auf einem normalen Laptop.
• Das Ergebnis: Sie überprüften 50 zufällige Dateien manuell und stellten fest, dass der Roboter 95,3 % genau war.

4. Die Herausforderung: Drei verschiedene „Schriftarten"

Der Beitrag entdeckte, dass die CIC ihre Dokumentenvorlagen seit 2017 dreimal geändert hat.

• 2023a: Verwendet eine spezifische „Fakten / Entscheidung"-Struktur.
• 2023b: Trennt „Beobachtungen" von „Entscheidungen".
• 2026: Das aktuelle Format, das große, fette „ENTSCHEIDUNG"-Blöcke verwendet.
  Der Roboter wurde so programmiert, dass er diese drei verschiedenen „Schriftarten" erkennt und seine Lesestrategie entsprechend ändert, ähnlich wie ein Übersetzer, der zwischen verschiedenen Dialekten wechselt.

5. Der erste Test: Kann ein Computer den Gewinner erraten?

Die Autoren testeten ein einfaches KI-Modell (Mistral 7B) an 100 Fällen, um zu sehen, ob es das Ergebnis allein durch das Lesen des Textes vorhersagen konnte.

• Die Punktzahl: Die KI erreichte 57,3 % Genauigkeit.
• Der Vergleich: Wenn die KI jedes Mal die häufigste Antwort erraten würde (wie ein Schüler, der bei einem Multiple-Choice-Test „C" rät), würde sie nur 14,3 % richtig liegen.
• Das Fazit: Die KI leistet deutlich mehr als reines Raten, was beweist, dass Computer lernen können, diese juristischen Entscheidungen zu verstehen, aber es gibt noch viel Raum für Verbesserungen (insbesondere bei seltenen Ergebnissen).

6. Was können wir damit anstellen? (Die vier Aufgaben)

Der Beitrag schlägt vier spezifische Spiele vor, die Forscher mit diesen Daten spielen können:

1. Vorhersage des Ergebnisses: „Basierend auf der Geschichte, wird der Bürger gewinnen oder verlieren?"
2. Erkennung von Befreiungen: „Welche geheime Regel (wie 'Privatsphäre' oder 'gewerbliches Vertrauen') hat die Regierung verwendet, um 'Nein' zu sagen?"
3. Zusammenfassung in einfacher Sprache: „Übersetzen Sie diese rechtliche Anordnung in einen Satz, den ein normaler Mensch verstehen kann."
4. Einhaltungsprüfung: „Hat die Regierung die Anordnung tatsächlich befolgt, oder müssen sie bestraft werden?" (Hinweis: Sie haben nur 17 Beispiele hierfür, daher ist es lediglich ein Pilottest).

7. Das Kleingedruckte (Einschränkungen)

Die Autoren sind sehr ehrlich darüber, was dieses Werkzeug noch nicht leisten kann:

• Abdeckung: Sie haben nur etwa die Hälfte der neuen PDFs vollständig gekennzeichnet; der Rest benötigt weitere Arbeit.
• Umfang: Dies deckt nur die Zentrale Kommission ab, nicht die Kommissionen auf Staatsebene (die noch mehr Fälle bearbeiten).
• Fehlende Logik: Der Roboter erfasst Befreiungen nur, wenn die Regierung die Regelnummer explizit niederschreibt. Wenn sie eine Regel verwenden, ohne sie zu nennen, übersieht der Roboter sie.
• Ethik: Sie warnen davor, dass dieses Werkzeug nicht verwendet werden sollte, um Menschen davon abzuhalten, Berufungen einzulegen. Nur weil eine Berufung „wahrscheinlich nicht gewinnen wird", bedeutet das nicht, dass sie nicht eingereicht werden sollte, da der Akt des Einreichens an sich die Regierung zur Rechenschaft zieht.

Zusammenfassung

RTI-Bench ist der erste organisierte, öffentliche Datensatz indischer RTI-Entscheidungen. Er verwendet einen einfachen, regelbasierten Roboter, um unordentliche juristische PDFs in saubere Daten zu verwandeln. Frühe Tests zeigen, dass Computer beginnen können, diese Entscheidungen zu verstehen, und ebnen den Weg für zukünftige Werkzeuge, die normalen Bürgern helfen könnten, sich in der komplexen Welt der Regierungsinformationsanfragen zurechtzufinden.