RTI-Bench: A Structured Dataset for Indian Right-to-Information Decision Analysis

Resumo Técnico: RTI-Bench

Declaração do Problema
A Lei de Direito à Informação (RTI) da Índia, de 2005, capacita os cidadãos a solicitar informações de autoridades públicas, contudo o sistema enfrenta barreiras significativas de acessibilidade. Embora dezenas de milhões de pedidos sejam protocolados anualmente, as decisões da Comissão Central de Informação (CIC) que resolvem recursos são redigidas em linguagem administrativa e jurídica densa, tornando-as difíceis de interpretar para leigos. Além disso, o acúmulo de mais de 32.000 recursos pendentes (até o final de 2021) destaca um gargalo sistêmico. A ausência de um conjunto de dados estruturado e rotulado impede o desenvolvimento de ferramentas computacionais — como preditores de resultado, classificadores de isenções ou sumarizadores em linguagem simples — que poderiam preencher a lacuna entre ordens administrativas complexas e a compreensão cidadã.

Metodologia
O artigo apresenta o RTI-Bench, um conjunto de dados estruturado composto por 1.516 decisões da CIC. Os dados são derivados de duas fontes distintas:

1. Fonte A: 1.218 resumos de casos de RTI de um corpus de instruções-respostas publicamente disponível (jatinmehra/RTI-CASE-DATASET).
2. Fonte B: 298 PDFs de decisões da CIC coletados diretamente do portal da Comissão (abrangendo 2023–2026), cobrindo cinco comissários e três gerações distintas de formatos de documento.

Pipeline de Extração
Uma escolha metodológica fundamental foi o uso de um pipeline de extração puramente baseado em regras (expressões regulares e correspondência de strings) em vez de Modelos de Linguagem de Grande Escala (LLMs) para anotação. Os autores argumentam que isso garante determinismo, reprodutibilidade e custo de inferência zero. O pipeline adapta-se a três gerações de formatos de documento:

• Formato 2023a: Cabeçalhos bilíngues com linhas separadas para apelante/réu.
• Formato 2023b: Seções distintas de "Observações" e "Decisão".
• Formato 2026: Blocos "DECISÃO" em maiúsculas com linhas explícitas de comissário.

O pipeline extrai campos estruturados incluindo rótulos de resultado, citações de isenções (componentes IRAC: Questão, Aplicação, Regra, Conclusão), cronogramas processuais e valores monetários.

Principais Contribuições

1. Conjunto de Dados RTI-Bench: O primeiro conjunto de dados estruturado publicamente lançado para decisões administrativas de RTI indianas, apresentando 1.516 casos com rótulos de resultado, anotações de isenções e componentes IRAC.
2. Framework de Extração Baseado em Regras: Um pipeline reprodutível que processa o corpus completo em menos de 90 segundos em um laptop padrão, evitando os riscos de alucinação associados à anotação por modelos generativos.
3. Análise de Formato: Um relato detalhado de três gerações de formatos de documento da CIC e das heurísticas específicas desenvolvidas para lidar com cada uma, auxiliando futuros pesquisadores que trabalhem com este corpus.
4. Desempenho de Linha de Base: Uma avaliação zero-shot do modelo Mistral 7B fornecendo um ponto de partida para modelagem futura.
5. Tarefas de Benchmark: Quatro tarefas propostas: Predição de Resultado, Classificação de Isenções, Sumarização em Linguagem Simples e Predição de Resultado de Conformidade (pilotagem).

Resultados e Validação

• Cobertura de Rótulos: O conjunto de dados alcança 89% de cobertura de rótulos na Fonte A e 51% nas decisões principais na Fonte B. A menor cobertura na Fonte B é atribuída à maior variação na forma como diferentes comissários redigem as ordens.
• Precisão: Uma revisão manual de uma amostra aleatória de 50 casos rotulados (Fonte A) resultou em uma precisão de rótulo de 95,3%. Os erros foram principalmente devidos a correspondentes de padrão identificando incorretamente o histórico processual como a direção final.
• Desempenho de Linha de Base: Um modelo Mistral 7B zero-shot foi testado em 100 casos para Predição de Resultado (Tarefa 1).
  • Acurácia: 57,3%
  • Macro-F1: 37,0%
  • Comparação: Isso supera significativamente a linha de base da classe majoritária (14,3% de Macro-F1), indicando que a tarefa é tratável apenas a partir do texto, embora exista espaço substancial para melhoria, particularmente para classes minoritárias como ALIVIO_PARCIAL e PENALIDADE_IMPOSTA.
• Distribuição de Isenções: A Seção 8(1)(j) (informação pessoal) representa 34% das citações, seguida por 8(1)(d) (confiança comercial) e 8(1)(e) (relação fiduciária).

Significância e Limitações
O artigo posiciona o RTI-Bench como um recurso fundamental para PLN jurídico na Índia, visando especificamente o direito administrativo em vez de julgamentos judiciais. Sua significância reside em permitir o desenvolvimento de ferramentas que poderiam ajudar os cidadãos a decidir se devem protocolar recursos, identificar possíveis aplicações equivocadas de isenções e compreender ordens complexas sem assistência jurídica.

Os autores reconhecem explicitamente várias limitações:

• Cobertura: O subconjunto em PDF possui apenas 51% de cobertura de rótulos; casos "DESCONHECIDO" exigem revisão humana antes do uso supervisionado.
• Escopo: O conjunto de dados cobre apenas decisões de nível da CIC, excluindo decisões das Comissões Estaduais de Informação que lidam com a maioria dos recursos.
• Anotação: A validação dependeu de um único revisor; a concordância entre anotadores não foi medida.
• Extração: O pipeline captura apenas isenções onde os números das seções são citados explicitamente, perdendo aquelas aplicadas apenas por meio de raciocínio.
• Tarefas Piloto: A tarefa de Predição de Resultado de Conformidade (Tarefa 4) é limitada a 17 exemplos, servindo apenas como prova de conceito.

O conjunto de dados e o código do pipeline estão disponíveis publicamente para facilitar pesquisas adicionais sobre acesso à justiça e raciocínio administrativo.