PROSLEX: A Novel Dataset for Expert-Annotated Legal Statute Prediction for Indian Judiciary

Imagine que você é um detetive tentando resolver um mistério, mas em vez de procurar por impressões digitais, você está procurando pelas leis específicas que se aplicam a uma história. No mundo do direito, especialmente em lugares como a Índia, cada crime ou disputa está vinculado a um conjunto específico de regras escritas chamadas "estatutos". Pense nesses estatutos como o livro de regras de um jogo gigante e complexo. Se alguém quebrar uma regra, você precisa encontrar a página exata no livro de regras que descreve o erro cometido. Isso é chamado de "Predição de Estatuto". Durante anos, os computadores têm ficado melhores em ler essas histórias e adivinhar a página correta do livro de regras, de forma semelhante a um bibliotecário superveloz. Mas há um porém: apenas adivinhar a página certa não é suficiente. Em um tribunal real, um juiz ou advogado precisa saber por que aquela regra se aplica. Eles precisam do raciocínio, o "porque", não apenas o "o quê". É como um GPS que diz para você virar à esquerda, mas se recusa a explicar que há um buraco gigante à frente. Este artigo mergulha nessa peça faltante, perguntando: Podemos ensinar os computadores não apenas a adivinhar a lei, mas a explicar sua lógica de uma forma que faça sentido para os humanos?

Os pesquisadores por trás deste estudo, liderados por uma equipe de universidades indianas, perceberam que, embora os computadores estivessem ficando bons em adivinhar, eles eram terríveis em explicar por que adivinharam o que adivinharam. Para corrigir isso, eles construíram algo chamado PROSLEX. Pense no PROSLEX como um campo de treinamento massivo e superorganizado para cérebros de computador. Eles pegaram 1.623 casos reais da Suprema Corte da Índia e fizeram com que especialistas jurídicos da vida real (os treinadores humanos) passassem por eles. Esses especialistas não apenas rotularam os casos; eles destacaram as sentenças exatas na história que provavam qual lei se aplicava e escreveram o raciocínio por trás disso. No total, eles criaram 7.450 explicações detalhadas. É como ter um mestre chef não apenas mostrando um bolo pronto, mas anotando cada passo da receita e explicando por que você precisa assá-lo exatamente a 350 graus.

Com este novo "campo de treinamento" pronto, a equipe colocou vários tipos diferentes de cérebros de computador à prova. Eles pediram a esses computadores que lessem uma história jurídica e fizessem duas coisas: adivinhassem a lei correta e escrevessem uma explicação para seu palpite. Eles testaram diferentes métodos de ensino, como mostrar ao computador alguns exemplos primeiro (few-shot), pedir para ele pensar passo a passo (Chain-of-Thought), ou até mesmo pedir para ele explorar múltiplos caminhos de raciocínio como uma árvore que se ramifica (Tree-of-Thoughts).

Aqui está o que eles descobriram. Primeiro, os computadores que foram especificamente treinados em textos jurídicos (como o InLegalBERT) foram os melhores em apenas adivinhar a lei correta, acertando cerca de 82% das vezes. No entanto, quando se tratava de escrever a explicação, os grandes modelos de IA de propósito geral (como o GPT-4) começaram a brilhar. Quando esses modelos foram solicitados a pensar passo a passo, tornaram-se muito melhores em prever a lei e escrever um motivo que soasse como um advogado real. De fato, o GPT-4 foi o melhor executor, obtendo as pontuações mais altas nas avaliações de especialistas para suas explicações.

Mas o artigo também encontrou pontos complicados. Quando os computadores tentaram usar o método "Tree-of-Thoughts" (ramificando em muitas ideias diferentes), eles na verdade pioraram na previsão da lei correta. Parece que tentar explorar muitos caminhos ao mesmo tempo os confundiu. Além disso, os pesquisadores descobriram um problema sorrateiro: às vezes, um computador adivinhava a lei correta, mas dava um motivo completamente errado para ela. É como um aluno que acerta a resposta em uma prova de matemática, mas mostra o desenvolvimento errado. O artigo mostrou que, mesmo quando o computador acertava o "estatuto", seu raciocínio poderia estar equivocado, destacando que não podemos confiar apenas na resposta do computador sem verificar sua lógica.

Em última análise, os autores sugerem que estamos chegando perto, mas ainda não chegamos lá. Os melhores resultados vieram da combinação da velocidade do computador com passos de raciocínio semelhantes aos humanos, mas o sistema ainda precisa de um especialista humano para conferir o trabalho. O artigo não afirma ter resolvido o mistério da IA jurídica para sempre; em vez disso, oferece um mapa de alta qualidade (o conjunto de dados PROSLEX) que outros pesquisadores podem usar para construir ferramentas jurídicas melhores e mais explicáveis. É um passo significativo à frente, provando que, se dermos aos computadores o tipo certo de dados de treinamento — completos com explicações humanas — eles podem começar a entender não apenas as regras do jogo, mas o espírito por trás delas.