💻 ciência da computação

Augmented Question-guided Retrieval (AQgR) of Indian Case Law with LLM, RAG, and Structured Summaries

Este artigo propõe o Augmented Question-guided Retrieval (AQgR), um framework que aprimora a recuperação de jurisprudência indiana ao gerar questões jurídicas para as consultas, utilizando resumos de RAG estruturados para contexto e empregando LLMs para reclassificação e explicação de relevância, alcançando uma Precisão Média Averaging significativamente superior aos benchmarks existentes.

Autores originais: Vishnuprabha V, Daleesha M Viswanathan, Rajesh R, Aneesh V Pillai

Publicado 2026-10-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vishnuprabha V, Daleesha M Viswanathan, Rajesh R, Aneesh V Pillai

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo do direito, encontrar a decisão passada correta para apoiar um caso atual é frequentemente a parte mais demorada do trabalho de um advogado. Isso é especialmente verdadeiro na Índia, onde os julgamentos judiciais são documentos massivos e não estruturados que misturam fatos, argumentos e decisões em longos blocos contínuos de texto. Tradicionalmente, os computadores tentaram ajudar pesquisando casos que pareçam semelhantes à situação atual com base nas palavras específicas utilizadas. Se um advogado descreve uma disputa sobre a demissão de um trabalhador de uma fábrica, o computador procura outros casos que mencionem fábricas e trabalhadores. No entanto, essa abordagem frequentemente falha porque o direito se preocupa mais com o princípio jurídico subjacente do que com os detalhes específicos da história. Dois casos podem envolver pessoas e cenários completamente diferentes, mas basear-se na exata mesma questão jurídica, como se uma ação governamental foi justa. Para resolver isso, pesquisadores recorreram a uma nova geração de inteligência artificial conhecida como modelos de linguagem de grande escala. Esses sistemas conseguem ler e compreender a linguagem humana, mas enfrentam um obstoráculo significativo: eles não conseguem ler milhares de páginas de texto de uma só vez. Para trabalhar de forma eficaz, eles precisam que a informação seja comprimida em um tamanho gerenciável, e precisam ser guiados pelas perguntas certas, em vez de apenas fatos brutos.

Uma equipe de pesquisadores da Universidade de Ciência e Tecnologia de Cochin e do Laboratório Oceanográfico e Físico Naval estabeleceu o objetivo de construir um sistema que pudesse navegar por esses desafios para recuperar a jurisprudência indiana. Eles desenvolveram uma estrutura chamada Recuperação Aumentada Guiada por Perguntas (Augmented Question-guided Retrieval), que opera em duas etapas principais. Primeiro, o sistema pega um julgamento judicial longo e desestruturado e utiliza um modelo de inteligência artificial para extrair as partes mais importantes, tais como os fatos, as questões jurídicas levantadas e a decisão final, organizando-os em um resumo limpo e estruturado. Este passo é crucial porque encolhe um documento que pode ter vinte mil palavras para alguns campos fundamentais que cabem dentro da memória do computador. Segundo, em vez de pesquisar casos usando a história bruta da disputa atual, o sistema pede à inteligência artificial que gere as questões jurídicas específicas que a história levanta. Ele então utiliza essas questões jurídicas abstratas para pesquisar precedentes passados e, finalmente, uma segunda inteligência artificial reclassifica os resultados para explicar por que cada caso passado é relevante.

Os pesquisadores testaram este sistema em uma grande coleção de julgamentos da Suprema Corte da Índia. Eles descobriram que a forma como estruturaram a informação importava mais do que os termos de pesquisa específicos utilizados. Quando o sistema pesquisou casos usando as questões jurídicas geradas em vez dos fatos brutos, encontrou precedentes mais relevantes, mas apenas quando os julgamentos passados haviam sido convertidos naqueles resumos curtos e estruturados. Se o sistema tentasse pesquisar através do texto completo e não editado dos julgamentos, as questões jurídicas curtas eram muito esparsas para encontrar uma correspondência. O estudo também revelou um detalhe surpreendente sobre como o sistema lida com citações. Incluir os nomes de casos passados no resumo na verdade prejudicou o desempenho porque adicionou muito ruído. No entanto, quando o sistema resumiu o princípio jurídico por trás de cada citação em vez de apenas listar o nome, os resultados melhoraram significativamente. Isso sugere que o computador aprende melhor quando compreende a regra por trás de uma referência em vez de apenas ver a referência em si.

Para garantir que o sistema fosse robusto, os pesquisadores realizaram dezenas de experimentos, alterando a forma como as consultas eram formadas e como os dados eram organizados. Eles descobriram que combinar diferentes tipos de buscas — usando tanto os fatos do caso quanto as questões jurídicas geradas — ajudava o sistema a encontrar casos mais relevantes no geral, embora às vezes tornasse a classificação final ligeiramente menos precisa. Eles também descobriram que, embora o sistema pudesse lidar bem com a maioria dos documentos, os julgamentos muito longos às vezes falhavam ao serem resumidos corretamente, o que limitava a capacidade do sistema de encontrar a correspondência perfeita para certas consultas. Apesar dessas limitações, o sistema alcançou um nível de precisão que foi significativamente melhor do que os métodos anteriores, atingindo uma pontuação de aproximadamente 0,312 em um teste padrão, comparado a cerca de 0,157 para os melhores sistemas existentes. Este progresso foi alcançado sem a necessidade de retreinar a inteligência artificial em dados jurídicos, provando que uma maneira inteligente de organizar a informação pode ser tão poderosa quanto ensinar novos fatos ao computador.

O estudo conclui que a chave para tornar a inteligência artificial útil para a pesquisa jurídica não reside em tornar o computador mais inteligente, mas sim em apresentar a informação de uma forma que o computador possa realmente utilizar. Ao comprimir julgamentos longos em resumos estruturados e guiar a busca com questões jurídicas geradas, os pesquisadores criaram um fluxo de trabalho que ajuda os advogados a encontrar os precedentes certos mais rapidamente. O sistema fornece não apenas uma lista de casos, mas uma explicação de uma frase sobre o porquê de cada caso ter sido escolhido, permitindo que um advogado decida rapidamente se o documento completo vale a pena ser lido. Embora o sistema não seja perfeito e ainda tenha dificuldades com os documentos muito longos, ele demonstra um caminho prático a seguir. Mostra que, com a estrutura correta, a inteligência artificial pode ajudar a navegar pela vasta e complexa paisagem do direito indiano, transformando horas de busca em minutos de leitura.

Resumo Técnico: Recuperação de Jurisprudência Indiana Aumentada por Questões (AQgR)

Definição do Problema
Profissionais do direito na Índia enfrentam desafios significativos na recuperação de precedentes jurisprudenciais relevantes devido à natureza não estruturada das sentenças, que frequentemente carecem de cabeçalhos consistentes separando fatos, questões e fundamentação. Os sistemas de recuperação tradicionais dependem fortemente de correspondência de similaridade baseada em fatos (ex: BM25, embeddings densos), o que frequentemente falha em identificar precedentes que compartilham o mesmo princípio jurídico, mas diferem nos detalhes fáticos. Além disso, os sistemas automatizados existentes raramente explicam por que um precedente é relevante, forçando advogados a ler sentenças completas para verificar a aplicabilidade. O desafio central é recuperar casos com base em doutrina jurídica compartilhada em vez de similaridade factual superficial, tudo isso gerenciando as limitações da janela de contexto de Grandes Modelos de Linguagem (LLMs) e evitando alucinações sem a necessidade de ajuste fino (fine-tuning).

Metodologia: O Framework AQgR
O framework de Recuperação Aumentada por Questões (AQgR) proposto opera em duas etapas principais: geração de resumo estruturado e um pipeline de recuperação em conjunto com reclassificação (reranking) baseada em LLM.

Geração de Resumo Estruturado (RAG):
- Para abordar os limites da janela de contexto e a natureza não estruturada das sentenças indianas, o sistema utiliza Geração Aumentada por Recuperação (RAG) para extrair campos específicos de sentenças brutas para um formato JSON estruturado.
- A Fase 1 utilizou o Gemini Pro em um subconjunto de 50 sentenças, empregando Chain-of-Thought (CoT) para lidar com documentos longos através do processamento em blocos (chunks).
- A Fase 2 escalou este processo para 496 sentenças utilizando o Llama 3 70B. Introduziu um pipeline robusto com decodificação gananciosa (greedy decoding, temperatura=0) e um mecanismo de validação/reparo para garantir a conformidade com o esquema (21 campos, incluindo Fatos, Questões, Fundamentação e Novo Princípio Jurídico).
- Crucialmente, o sistema extrai "Novos Princípios Jurídicos" e "Princípios de Citação" (a regra por trás de uma citação) em vez de apenas nomes de citações, para reduzir o ruído.
Pipeline de Recuperação:
- Formulação de Consulta: O sistema gera três frases de questões jurídicas abstratas a partir dos fatos de entrada usando um LLM. Estas são concatenadas em uma string separada por pipes ( $q_I$ ).
- Recuperação de Primeira Etapa: Um recuperador híbrido "B5" combina BM25 (peso 0,7) e recuperação densa FAISS (peso 0,3). O sistema testa três tipos de consulta: Apenas Fatos ( $q_F$ ), Apenas Questões ( $q_I$ ) e Fatos+Questões ( $q_{FI}$ ).
- Reclassificação de Segunda Etapa: Um LLM reclassifica os 100 candidatos da primeira etapa. O prompt de reclassificação utiliza a consulta combinada de Fatos+Questões ( $q_{FI}$ ) para raciocinar sobre o pool de candidatos, que é representado pelos campos JSON estruturados. O LLM gera uma lista classificada dos 20 principais casos com uma explicação de relevância de uma linha para cada um.

Principais Contribuições
O artigo identifica várias contribuições específicas para o Processamento de Linguagem Natural (NLP) jurídico e IA:

Alinhamento de Densidade de Consulta-Documento: O estudo estabelece que o desempenho da recuperação depende do emparelhamento da densidade lexical da consulta com a representação do documento. Consultas curtas, baseadas em questões, apresentam desempenho insatisfatório contra sentenças de texto plano longas e não estruturadas, mas se destacam contra resumos estruturados comprimidos. Por outro lado, consultas descritivas longas são necessárias para a recuperação de texto plano.
Busca de Conteúdo de Citação: O artigo demonstra que incluir nomes completos de citações nos resumos estruturados adiciona ruído e consome espaço de contexto. No entanto, incluir o princípio jurídico por trás de uma citação melhora significativamente o desempenho da reclassificação.
Pipeline de LLM Zero-Shot: Os autores apresentam um pipeline de recuperação e reclassificação que alcança resultados competitivos sem a necessidade de ajuste fino específico para a tarefa, baseando-se em resumos estruturados e engenharia de prompt.
Gerenciamento de Janela de Contexto: O trabalho demonstra que reduzir as sentenças a um conjunto específico de seis campos principais (Fatos, Questões, Fundamentação, Novo Princípio Jurídico, Assuntos Importantes e Princípios de Citação) permite que 227 das 496 sentenças caibam em uma única janela de contexto de LLM simultaneamente, comparado a apenas 98 quando todos os 21 campos são mantidos, tornando a reclassificação em larga escala prática sem a necessidade de uma janela de contexto maior.
Ablação Sistemática: Através de oito experimentos controlados, o artigo isola o impacto da formulação de consulta, formato de documento, estratégias de agrupamento (pooling) e prompts de reclassificação, revelando que a representação do documento é um vetor de desempenho mais forte do que o tipo de consulta isoladamente.

Resultados

Fase 1 (Gemini Pro): Em um corpus de 50 sentenças (14 consultas), o sistema alcançou uma Média de Precisão Abrangente (MAP) de 0,365 e um Recall de 0,672. A inclusão de citações completas de precedentes nos resumos degradou o desempenho, confirmando a necessidade de extração seletiva.
Fase 2 (Llama 3 70B): Em um corpus de 496 sentenças (50 consultas), a melhor configuração (recuperador híbrido B5 com consultas de questões curtas, formato estruturado V4 e reclassificação de Fatos+Questões) alcançou um MAP de aproximadamente 0,312.
- Comparação com Baselines: Este resultado está bem acima do MAP de 0,1573 do líder do ranking FIRE 2020, embora os autores observem que os conjuntos de dados e protocolos não são diretamente comparáveis.
- Desempenho de Consulta: Nos resumos estruturados, a recuperação baseada em questões superou a recuperação baseada em fatos. No entanto, um pool de união (combinando fatos, questões e consultas combinadas) aumentou o teto de recall, mas diluiu a qualidade do ranking; o pool de apenas questões rendeu o melhor MAP.
- Formato de Documento: O Formato V4 (incluindo "princípios de citação" em vez de nomes) superou todos os outros formatos, incluindo aqueles com fundamentação completa ou nomes de citações.
- Estabilidade: O estudo descobriu que a recuperação é altamente reprodutível (9 match de 95,5%), mas a reclassificação por LLM introduz uma variância de execução para execução de aproximadamente ±0,03–0,04 MAP, principalmente devido à seleção inconsistente do número de documentos pelo LLM.
- Nota sobre Métricas: Enquanto a configuração de melhor MAP (V4, consulta de questão curta, prompt de fatos+questões) alcançou um MAP de 0,3124, seu MRR correspondente foi de 0,3379. Valores de MRR mais altos (ex: 0,4121) foram observados em configurações com pontuações de MAP menores (como o Pool de União com prompt de Fatos+Questões), indicando um trade-off entre qualidade de ranking e cobertura em diferentes configurações.

Significância e Alegações
O artigo afirma que o AQgR oferece uma rota prática e zero-shot para a recuperação explicável de jurisprudência para o direito indiano. Sua significância reside em demonstrar que:

Resumos Estruturados são Críticos: Eles permitem que os LLMs raciocinem sobre a doutrina jurídica em vez de apenas escanear texto não estruturado, tornando a recuperação viável sem ajuste fino.
Recuperação Baseada em Questões é Viável: Gerar questões jurídicas a partir de fatos permite que o sistema encontre precedentes com base em princípios jurídicos em vez de apenas similaridade factual, alinhando-se à forma como advogados realmente pesquisam.
Explicabilidade: O sistema fornece uma razão de relevância para cada caso recuperado, permitindo que advogados avaliem rapidamente se uma sentença completa precisa ser lida.
Utilidade Prática: A abordagem não requer ajuste fino e roda em hardware modesto, tornando-a acessível para profissionais individuais e pequenas firmas.

Os autores permanecem modestos, reconhecendo limitações como a variância de execução para execução, a incapacidade de resumir as sentenças mais longas e a falta de validação humana exaustiva para os 496 resumos gerados. Eles concluem que, embora o sistema seja um passo significativo, trabalhos futuros são necessários para fechar o teto de recall para casos sem sobreposição de vocabulário superficial e para melhorar a estabilidade das consultas geradas por LLM.

Mais como este