Vichara: Appellate Judgment Prediction and Explanation for the Indian Judicial System

Resumo Técnico: Vichara

1. O Problema

O sistema judiciário da Índia enfrenta um acúmulo massivo de casos, com mais de 51 milhões de processos pendentes em diversos níveis. Dentro desse backlog, os casos de apelação (revisões de decisões de tribunais inferiores por cortes superiores) são críticos, pois estabelecem precedentes legais e garantem a consistência jurídica.

• Desafio Principal: A previsão automática de julgamentos (Legal Judgment Prediction - LJP) é complexa devido à natureza especializada da linguagem jurídica e ao raciocínio lógico necessário.
• Limitação Atual: A maioria dos sistemas existentes foca apenas na precisão da previsão ou gera explicações não estruturadas (textos livres ou extrações simples), o que dificulta a validação, a contestação e a confiança por parte de profissionais jurídicos. Existe uma lacuna para sistemas que não apenas prevejam o resultado, mas que forneçam explicações estruturadas e interpretáveis alinhadas à lógica judicial indiana.

2. Metodologia: O Framework Vichara

O Vichara é um framework inovador projetado especificamente para o contexto judicial indiano. Ele processa documentos de processos de apelação em inglês e opera em seis estágios sequenciais, utilizando Grandes Modelos de Linguagem (LLMs) via prompting (sem fine-tuning dos modelos base):

1. Classificação de Papel Retórico:
   • O documento é segmentado em sentenças e classificado em sete categorias retóricas (ex: Fatos, Argumentos, Precedentes, Decisão do Tribunal Inferior, Decisão do Tribunal Atual) usando um modelo Hierárquico BiLSTM-CRF.
2. Construção do Contexto do Caso:
   • Com base apenas nas sentenças identificadas como "Fatos", um LLM extrai seis campos estruturados: Apelante, Respondente, Questão Principal, Posição do Apelante, Posição do Respondente e Tribunal Atual.
3. Extração de Pontos de Decisão (Decision Points):
   • O documento é dividido em segmentos para extrair determinações legais discretas. Cada ponto de decisão é estruturado com: Questão, Autoridade Decisora, Resultado, Raciocínio, Contexto Temporal e um indicador booleano se a decisão foi do tribunal atual.
4. Geração da Decisão do Tribunal Atual:
   • Filtra-se apenas os pontos de decisão onde a autoridade é o "Tribunal Atual". Um LLM sintetiza uma decisão detalhada baseada nesses pontos filtrados e na declaração final do documento, ignorando decisões de tribunais inferiores a menos que sejam citadas.
5. Previsão do Julgamento:
   • Compara-se a "Decisão do Tribunal Atual" gerada com a "Posição do Apelante". Se a decisão concede total ou parcialmente o pedido, o resultado é classificado como "Apelo Concedido" (1); caso contrário, "Apelo Negado" (0).
6. Geração de Explicação Estruturada:
   • O sistema gera uma explicação seguindo um formato inspirado no framework IRAC (Issue, Rule, Application, Conclusion), adaptado para o raciocínio jurídico indiano. A explicação contém seções fixas: Fatos do Caso, Questões Legais, Lei e Precedentes Aplicáveis, Raciocínio e Conclusão.

3. Contribuições Chave

• Framework Vichara: Uma nova arquitetura para previsão e explicação de julgamentos de apelação centrada na extração de "pontos de decisão" estruturados.
• Explicabilidade Estruturada: Introdução de um formato de saída padronizado que reflete a lógica judicial, permitindo que advogados e juízes rastreiem o raciocínio da evidência até o resultado de forma transparente.
• Avaliação Empírica Robusta: Testes extensivos em dois conjuntos de dados indianos (PredEx e ILDC_expert) utilizando quatro LLMs diferentes, demonstrando superioridade em relação a baselines existentes.

4. Resultados e Avaliação

O framework foi avaliado em dois conjuntos de dados: PredEx (3.044 casos) e ILDC_expert (56 casos de alta qualidade anotados por especialistas). Foram testados quatro modelos: GPT-4o mini, Llama-3.1-8B, Mistral-7B e Qwen2.5-7B.

• Desempenho na Previsão:
  • O GPT-4o mini obteve o melhor desempenho, alcançando um F1-score de 81,5 no PredEx e 80,3 no ILDC_expert.
  • O Llama-3.1-8B foi o segundo melhor (F1: 76,7 no PredEx e 78,5 no ILDC_expert).
  • O Vichara superou o estado da arte anterior (modelo INLegalLlama) em ambos os conjuntos de dados.
• Qualidade da Explicação (Avaliação Humana):
  • Três advogados experientes avaliaram as explicações em três métricas: Clareza, Conexão (ligação entre fatos e resultado) e Utilidade.
  • O GPT-4o mini novamente liderou em todas as métricas (ex: Clareza 4,57/5, Conexão 4,96/5).
  • Nota Importante: Métricas automáticas (como ROUGE e BLEU) favoreceram o Qwen2.5-7B, enquanto a avaliação humana favoreceu o GPT-4o mini, destacando a limitação das métricas automáticas para capturar a qualidade jurídica e a coerência lógica.
• Estudo de Ablação:
  • A remoção da etapa de Extração de Pontos de Decisão causou a maior queda de desempenho (redução de ~11 pontos no F1), provando que a decomposição estruturada é o componente mais crítico do framework.

5. Significado e Impacto

O Vichara representa um avanço significativo na aplicação de IA no setor jurídico indiano:

• Transparência e Confiança: Ao fornecer explicações estruturadas e não apenas "caixas pretas", o sistema facilita a adoção de ferramentas de IA por profissionais do direito.
• Eficiência Judicial: Pode auxiliar na priorização de apelações e na análise de raciocínio legal, potencialmente reduzindo o tempo de resolução de casos.
• Acessibilidade de Modelos: O estudo demonstra que modelos menores (como Llama-3.1-8B), quando integrados a uma arquitetura robusta como a do Vichara, podem atingir desempenho comparável a modelos proprietários massivos, oferecendo uma via viável para implantações com recursos limitados.
• Limitações e Futuro: O trabalho reconhece limitações atuais, como a dependência de documentos em inglês, a variabilidade dos LLMs e o custo computacional de múltiplas chamadas de API. Trabalhos futuros visam otimizar a computação e expandir o framework para outras jurisdições e tipos de casos.

Em suma, o Vichara não apenas prevê resultados jurídicos com alta precisão, mas também "pensa" como um advogado, decompondo o caso em elementos lógicos para gerar justificativas que podem ser auditadas e compreendidas por humanos.