RTI-Bench: A Structured Dataset for Indian Right-to-Information Decision Analysis

Stel je het Right to Information (RTI)-systeem van India voor als een enorme, bruisende bibliotheek waar elke burger het recht heeft om de overheid om elk gewenst boek (informatie) te vragen. Maar hier zit de adder onder het gras: de bibliothecarissen (overheidsfunctionarissen) antwoorden vaak in een geheime code, en de hoofdbibliothecaris (de Central Information Commission of CIC) schrijft de uiteindelijke uitspraken in een dichte, juridische taal die voelt als het lezen van een vreemd spreukenboek. De meeste mensen geven het op omdat ze niet kunnen inschatten of een beroep de moeite waard is of wat de beslissing eigenlijk betekent.

Dit paper introduceert RTI-Bench, een nieuw instrument dat is ontworpen om dat "spreukenboek" te vertalen naar begrijpelijk Engels en de archieven van de bibliotheek zo te ordenen dat computers kunnen leren ons te helpen.

Hier is een uiteenzetting van wat het paper precies doet, met gebruikmaking van eenvoudige analogieën:

1. Het Probleem: Een Muur van Tekst

De CIC publiceert elk jaar duizenden uitspraken. Ze zijn openbaar, maar ze zijn zo geschreven dat wordt aangenomen dat je een advocaat bent. Als je wilt weten of je een overheidsbesluit moet aanvechten, moet je door pagina's vol complexe jargon waden. Het paper betoogt dat we een "Rosetta Stone" nodig hebben om deze documenten te decoderen.

2. De Oplossing: RTI-Bench (De Geordende Archiefkast)

De auteurs hebben een gestructureerde dataset gebouwd die RTI-Bench heet. Denk hierbij aan het nemen van een chaotische stapel van 1.516 juridische documenten en het omzetten in een nette, digitale archiefkast waar elke map duidelijke labels heeft.

• Wat zit erin: Elk bestand heeft tags voor de uitkomst (Heeft de burger gewonnen?), de gebruikte redenen (Waarom hebben ze verloren?) en de tijdlijn van gebeurtenissen.
• De Bron: Ze verzamelden gegevens uit twee bronnen:
  1. 1.218 bestaande samenvattingen die online te vinden waren (die ze hebben opgeschoond).
  2. 298 nieuwe PDF's die direct van de CIC-website werden gedownload tussen 2023 en 2026.

3. De Methode: De "Robo-Bibliothecaris" (Regelgebaseerde Extractie)

Je zou kunnen verwachten dat ze een geavanceerde AI gebruiken om deze documenten te lezen. In plaats daarvan bouwden ze een regelgebaseerde pijplijn.

• De Analogie: Stel je een robo-bibliothecaris voor die niet "denkt" of "raadt". In plaats daarvan volgt hij een strikte checklist: "Als je het woord 'BESLUIT' in hoofdletters ziet, kijk dan naar de volgende regel. Als je 'Rs.' ziet, zoek dan naar een getal."
• Waarom dit doen? De auteurs zeggen dat het gebruik van een slimme AI (LLM) voor het labelen van juridische documenten riskant is, omdat de AI feiten kan verzinnen of in de war kan raken. Hun "domme" robot is 100% reproduceerbaar, kost niets en draait in minder dan 90 seconden op een normale laptop.
• Het Resultaat: Ze controleerden 50 willekeurige bestanden handmatig en ontdekten dat de robot 95,3% accuraat was.

4. De Uitdaging: Drie Verschillende "Lettertypes"

Het paper ontdekte dat de CIC sinds 2017 drie keer de documenttemplates heeft gewijzigd.

• 2023a: Gebruikt een specifieke "Feiten / Besluit"-structuur.
• 2023b: Scheidt "Observaties" van "Besluiten".
• 2026: Het huidige formaat, dat grote, vetgedrukte "BESLUIT"-blokken gebruikt.
  De robot was geprogrammeerd om deze drie verschillende "lettertypes" te herkennen en zijn leesstrategie dienovereenkomstig aan te passen, net als een vertaler die wisselt tussen verschillende dialecten.

5. De Eerste Test: Kan een Computer de Winnaar Raden?

De auteurs testten een basis AI-model (Mistral 7B) op 100 zaken om te zien of het de uitkomst kon voorspellen door alleen de tekst te lezen.

• De Score: De AI behaalde 57,3% nauwkeurigheid.
• De Vergelijking: Als de AI elke keer het meest voorkomende antwoord zou raden (zoals een student die "C" raadt bij een meerkeuzetoets), zou hij slechts 14,3% goed hebben.
• De Les: De AI doet aanzienlijk beter dan willekeurig gokken, wat bewijst dat computers deze juridische beslissingen kunnen leren begrijpen, maar er is nog veel ruimte voor verbetering (vooral voor zeldzame uitkomsten).

6. Wat Kunnen We Hiermee Doen? (De Vier Taken)

Het paper stelt vier specifieke spelletjes voor voor onderzoekers om met deze data te spelen:

1. Uitkomstvoorspelling: "Op basis van het verhaal, zal de burger winnen of verliezen?"
2. Detectie van Uitzonderingen: "Welke geheime regel (zoals 'privacy' of 'commercieel vertrouwen') gebruikte de overheid om 'nee' te zeggen?"
3. Samenvatting in Gewone Taal: "Vertaal deze juridische order naar een zin die een normaal mens kan begrijpen."
4. Naleving Controleren: "Heeft de overheid de order daadwerkelijk opgevolgd, of moeten ze een boete krijgen?" (Opmerking: Ze hebben slechts 17 voorbeelden hiervan, dus het is slechts een proeftest).

7. De Kleine Lettertjes (Beperkingen)

De auteurs zijn zeer eerlijk over wat dit instrument nog niet kan:

• Dekking: Ze hebben ongeveer de helft van de nieuwe PDF's volledig gelabeld; de rest heeft meer werk nodig.
• Bereik: Dit dekt alleen de Centrale Commissie, niet de commissies op staatsniveau (die nog meer zaken afhandelen).
• Ontbrekende Logica: De robot vangt uitzonderingen alleen op als de overheid het regelnummer expliciet opschrijft. Als ze een regel gebruiken zonder deze te noemen, mist de robot het.
• Ethiek: Ze waarschuwen dat dit instrument niet mag worden gebruikt om mensen af te schrikken van het indienen van beroepen. Het feit dat een beroep "onwaarschijnlijk te winnen" is, betekent niet dat het niet ingediend moet worden, aangezien het indienen van het beroep op zich de overheid ter verantwoording roept.

Samenvatting

RTI-Bench is de eerste geordende, openbare dataset van Indiase RTI-beslissingen. Het gebruikt een eenvoudige, regelgebaseerde robot om rommelige juridische PDF's om te zetten in schone data. Eerste tests tonen aan dat computers deze beslissingen kunnen beginnen te begrijpen, wat de weg effent voor toekomstige instrumenten die gewone burgers kunnen helpen navigeren in de complexe wereld van overheidsinformatieaanvragen.