An Senegalese Legal Texts Structuration Using LLM-augmented Knowledge Graph

Este estudo demonstra a eficácia da utilização de Grandes Modelos de Linguagem (LLMs) e de bases de dados de conhecimento em grafos para estruturar e organizar textos jurídicos senegaleses, permitindo a extração de milhares de artigos e a visualização das suas interconexões para facilitar o acesso à justiça.

O essencial

Imagine que o sistema legal do Senegal é como uma biblioteca gigante e um pouco bagunçada. Nela, existem milhares de livros de leis, decretos e regulamentos. O problema é que esses livros estão escritos em uma linguagem difícil, as páginas estão misturadas, e muitas vezes um livro cita outro que está em outra prateleira. Para um cidadão comum ou até para um advogado, encontrar a resposta certa para uma pergunta específica (como "qual é o preço do aluguel nesta região?") é como procurar uma agulha num palheiro.

Este artigo de pesquisa é sobre como usar a Inteligência Artificial (IA) para organizar essa biblioteca e criar um "mapa do tesouro" que conecta todas as informações.

Aqui está a explicação do que os pesquisadores fizeram, usando analogias simples:

1. O Problema: O Labirinto de Papel

No Senegal, as leis são complexas. Elas se referem umas às outras, são atualizadas, e às vezes contraditórias.

• A Analogia: Imagine que cada lei é um nó em uma teia de aranha gigante. Se você puxar um fio (uma lei), ele puxa outros fios (decretos, artigos anteriores, mudanças). Sem um mapa, você se perde.

2. A Solução: O "Robô Bibliotecário" (Extração de Dados)

Os pesquisadores criaram um programa (um algoritmo) que atua como um robô bibliotecário super-rápido.

• O que ele fez: Ele leu 20 documentos legais diferentes e extraiu 7.967 artigos (pequenas regras dentro das leis).
• O foco especial: Eles prestaram muita atenção no "Código de Terras e Domínio Público", que é como o "livro de regras" mais importante para quem quer comprar terra ou construir algo no Senegal.

3. O Grande Mapa: O "Google Maps" das Leis (Grafo de Conhecimento)

Em vez de apenas guardar os textos em uma lista, eles construíram um Grafo de Conhecimento.

• A Analogia: Pense no Google Maps. O Google Maps não mostra apenas o nome das ruas; ele mostra como as ruas se conectam, onde são os semáforos e quais são os atalhos.
• O que eles criaram: Um banco de dados visual com 2.872 "pontos" (nós) e 10.774 "conexões" (relações).
  • Exemplo: A lei "A" cita o decreto "B", que alterou o artigo "C".
  • Isso permite que você veja a história de uma lei e como ela se conecta com outras, como se estivesse navegando em um mapa interativo.

4. O Cérebro Artificial: Os "Detetives de IA" (LLMs)

Para criar esse mapa, eles precisaram entender o significado das frases, não apenas copiar o texto. Para isso, usaram modelos de IA avançados (como o GPT-4o, GPT-4 e Mistral-Large).

• A Analogia: Imagine que você tem um grupo de detetives muito inteligentes. Você entrega a eles uma página de lei e diz: "Encontre quem citou quem e escreva em formato de 'Frase 1 -> Ação -> Frase 2'".
• O Teste: Eles testaram vários desses "detetives" (modelos de IA) para ver qual era o melhor.
  • O Vencedor: O GPT-4o foi o mais preciso, entendendo melhor as nuances e conexões complexas.
  • O Rápido: O Mistral-Large foi muito rápido e eficiente, quase tão bom quanto o vencedor, mas gastando menos tempo.
  • O Resultado: Eles conseguiram transformar textos confusos em "triplos de conhecimento" (fatos claros: Assunto - Relação - Objeto).

5. Por que isso é importante? (O Impacto Real)

O objetivo final não é apenas ter um banco de dados bonito, mas democratizar a justiça.

• Para o Cidadão Comum: Em vez de ter que contratar um advogado caro para saber se você tem direito a uma terra ou qual é a multa por um erro, você poderá usar uma ferramenta inteligente que consulta esse "mapa" e te dá a resposta clara: "Você tem direito a X porque a Lei Y diz isso".
• Para os Advogados: Eles podem encontrar precedentes e conexões entre leis em segundos, em vez de horas.

Resumo da Ópera

Os pesquisadores senegaleses pegaram uma montanha de documentos legais confusos, usaram robôs para ler tudo, usaram Inteligência Artificial de ponta para entender as conexões entre eles e criaram um mapa digital interativo.

É como transformar uma pilha de papéis soltos e ilegíveis em um Wikipedia interativo e inteligente das leis do Senegal, onde qualquer pessoa pode clicar em uma lei e ver exatamente para onde ela leva, quem a criou e como ela afeta a vida das pessoas. Isso torna a justiça mais transparente, acessível e menos intimidante para todos.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "An Senegalese Legal Texts Structuration Using LLM-augmented Knowledge Graph", apresentado em português:

Título do Estudo

Estruturação de Textos Legais Senegaleses Utilizando um Grafo de Conhecimento Augmentado por LLM

1. Problema Identificado

O sistema judicial do Senegal enfrenta desafios significativos relacionados ao acesso e à organização de textos legais. As principais dificuldades incluem:

• Complexidade e Fragmentação: A existência de diversos documentos regulatórios (leis, decretos, ordens ministeriais) que são frequentemente interconectados, contraditórios ou atualizados de forma não padronizada.
• Acesso Limitado: A dificuldade para cidadãos e profissionais jurídicos em navegar, citar e entender as leis, especialmente devido à falta de jurisprudência digitalizada e atualizações recentes.
• Estrutura Não Estruturada: Os documentos legais possuem hierarquias complexas (partes, livros, títulos, parágrafos) e citações cruzadas que são difíceis de extrair e visualizar manualmente.
• Necessidade de Transparência: Há uma urgência em melhorar a transparência e a eficiência do sistema de justiça, permitindo que os cidadãos compreendam melhor seus direitos e responsabilidades.

2. Metodologia

A pesquisa propõe uma abordagem híbrida que combina processamento de texto tradicional com Inteligência Artificial Generativa (LLMs). A metodologia divide-se em três etapas principais:

• A. Extração de Textos Legais (Algoritmo Personalizado):

  • Foi desenvolvido um algoritmo específico para processar arquivos .docx seguindo as diretrizes de redação legislativa do Senegal.
  • O algoritmo identifica e extrai metadados (nome do documento, número, data de assinatura, domínio) e o conteúdo dos artigos.
  • Lida com subdivisões hierárquicas e casos especiais, como tabelas de preços de aluguel no Código de Terras e Domínio Público.
  • A complexidade temporal da extração é linear $O(n)$, permitindo processamento eficiente de grandes volumes de dados.

• B. Construção de Banco de Dados em Grafo (Neo4j):

  • Foi criado um banco de dados de grafos focado no "Código de Terras e Domínio Público".
  • Nós (Entidades): Identificados a partir do sumário legal, incluindo: Domínio, Lei, Decreto, Artigo, Diário Oficial, Ordem Ministerial, Declaração, Lei Uniforme e Código Legal. Adicionalmente, "Pessoa" foi adicionado como nó para signatários.
  • Relações: Foram definidas conexões semânticas como publicar, possuir, está associado, modificar, revogar, enquadrar, executar e baseado em.
  • O grafo foi construído inicialmente com base em regras e extração manual de metadados para servir como "verdade fundamental" (ground truth).

• C. Extração de Triplos de Conhecimento com LLMs:

  • Utilizou-se a técnica LLM-augmented Knowledge Graph.
  • Prompt Engineering: Empregou-se a abordagem Few-Shot Chain of Thought (Few-Shot-CoT), fornecendo exemplos de artigos e suas triplos de saída, com a instrução "Let's think step by step" para melhorar o raciocínio.
  • Objetivo: O LLM deve extrair triplos (Sujeito, Predicado, Objeto) onde o sujeito é o artigo atual e o objeto é a entidade legal referenciada (ex: "Artigo X refere-se ao Artigo Y da Lei Z").
  • Modelos Testados: Mistral-Large, Mistral-Nemo, Pixtral-Large, GPT-3.5-Turbo, GPT-4, GPT-4o e GPT-4o-Mini.
  • Avaliação: As saídas foram comparadas com os dados do banco de dados Neo4j usando as métricas ROUGE (R-1, R-2, R-L, R-Lsum) para avaliar recall, precisão de bigramas e subsequências comuns.

3. Contribuições Principais

• Base de Dados Estruturada: Extração e organização de 7.967 artigos de 20 documentos legais senegaleses, com foco principal no Código de Terras e Domínio Público.
• Grafo de Conhecimento Funcional: Desenvolvimento de um grafo contendo 2.872 nós e 10.774 relações, visualizando as interconexões complexas entre leis, decretos e artigos.
• Benchmark de LLMs para Direito: Uma avaliação comparativa rigorosa de modelos de linguagem de última geração na tarefa de extração de conhecimento jurídico, estabelecendo métricas de desempenho específicas para o domínio legal.
• Framework para Acesso à Justiça: Proposta de um sistema que pode evoluir para um assistente jurídico inteligente, utilizando técnicas como RAG (Retrieval-Augmented Generation) e ReAct (Reasoning and Acting).

4. Resultados

• Desempenho dos Modelos (Métricas ROUGE):
  • GPT-4o: Obteve o melhor desempenho geral, com pontuações acima de 80% em todas as métricas (R-1: 86,00; R-Lsum: 85,99), demonstrando alta precisão na estruturação de triplos.
  • GPT-4: Segundo melhor, com resultados sólidos (R-1: 83,49), mas com tempo de inferência significativamente maior.
  • Mistral-Large: Destacou-se como o modelo mais eficiente em termos de tempo de inferência (2m 23s) e obteve o melhor desempenho na métrica R-2 (82,08), indicando excelente coerência estrutural de sequências de palavras.
  • Modelos Menores: GPT-3.5-Turbo e GPT-4o-Mini apresentaram desempenho inferior, com dificuldades em lidar com faixas de números de artigos e formatação complexa (ex: omissão de reticências ou prefixos incorretos).
• Eficiência Operacional: A extração de 24 artigos de teste com o Mistral-Large levou apenas 2 minutos e 23 segundos, com uma média de 8 segundos por artigo.
• Qualidade da Extração: Os modelos de ponta (GPT-4o, GPT-4, Mistral-Large) demonstraram capacidade de raciocínio lógico para identificar artigos antecedentes e faixas de numeração, enquanto modelos menores falharam frequentemente na formatação e no contexto.

5. Significância e Impacto

• Modernização Jurídica: O estudo demonstra como a IA pode transformar a gestão de informações legais em países em desenvolvimento, superando barreiras de acesso a documentos físicos ou mal organizados.
• Transparência e Democracia: Ao estruturar o conhecimento legal em um grafo acessível, facilita-se a compreensão dos direitos pelos cidadãos senegaleses, promovendo uma justiça mais inclusiva.
• Base para Futuras Ferramentas: O grafo de conhecimento e os dados extraídos servem como base fundamental para o desenvolvimento de assistentes jurídicos automatizados que podem responder a consultas complexas com precisão.
• Colaboração Interdisciplinar: O trabalho reforça a necessidade de colaboração contínua entre especialistas jurídicos e cientistas de dados para manter a base de conhecimento atualizada em um sistema legal dinâmico.

Em suma, o artigo valida a eficácia de combinar extração baseada em regras com LLMs avançados para criar uma infraestrutura de conhecimento jurídico robusta, escalável e acessível no Senegal.