SinhaLegal: A Benchmark Corpus for Information Extraction and Analysis in Sinhala Legislative Texts

O artigo apresenta o SinhaLegal, um corpus de benchmark composto por cerca de 2 milhões de palavras extraídas de leis e projetos de lei em cingalês, que serve como recurso fundamental para tarefas de Processamento de Linguagem Natural, como extração de informações e análise no domínio jurídico.

O essencial

Imagine que o sistema legal de um país é como uma biblioteca gigante e antiga, cheia de livros escritos em uma língua muito específica e cheia de regras complexas. No caso do Sri Lanka, essa biblioteca contém as leis (chamadas "Atos") e os projetos de lei (chamados "Projetos") escritos em Sinhala, a língua falada pela maioria da população local.

O problema é que, por muito tempo, essa biblioteca estava trancada. Os livros estavam em papel, alguns estavam velhos, outros em caixas de arquivos, e ninguém conseguia "ler" esses documentos de forma rápida e automática por computadores. Era como tentar encontrar uma agulha num palheiro, mas o palheiro era feito de papel e a agulha estava escrita em um código que as máquinas não entendiam.

É aqui que entra o SINHALEGAL, o projeto apresentado neste artigo. Vamos explicar como eles fizeram isso usando algumas analogias simples:

1. A Missão: Digitalizar a "Caverna das Leis"

Os autores (estudantes e pesquisadores do Sri Lanka) decidiram que precisavam transformar essa biblioteca física em uma biblioteca digital inteligente. Eles queriam criar um "corpus" (que é apenas um nome chique para um grande conjunto de textos organizados) que pudesse ser usado por computadores para aprender sobre leis em Sinhala.

• O que eles pegaram: Eles coletaram cerca de 1.206 documentos oficiais.
  • 1.065 "Atos": São as leis que já foram aprovadas e estão em vigor (como a Constituição ou leis de trânsito), publicadas entre 1981 e 2014.
  • 141 "Projetos": São os rascunhos das leis antes de serem aprovadas (2010-2014).

2. O Processo: Da "Fotocópia" ao "Livro de Ouro"

Como os documentos originais eram apenas imagens de PDF (como se fossem fotos de páginas de papel), eles precisaram de um processo de três etapas para torná-los legíveis por máquinas:

• Etapa 1: O Olho de Águia (OCR): Eles usaram uma tecnologia chamada "Reconhecimento Óptico de Caracteres" (OCR), alimentada por uma IA do Google. Imagine um robô muito rápido que olha para a foto da página e tenta adivinhar qual é cada letra.

  • O desafio: Alguns documentos tinham tabelas, colunas duplas ou estavam muito manchados, o que confundia o robô. Eles tiveram que filtrar os documentos ruins e focar nos que eram mais claros.

• Etapa 2: A Limpeza Manual (O "Faxina"): Mesmo com o robô, o texto saía cheio de erros. Havia números de página no meio das frases, carimbos borrados, títulos repetidos em cada página e espaços estranhos.

  • A solução: Os autores, que são falantes nativos de Sinhala, fizeram uma limpeza manual. Foi como um editor de texto muito cuidadoso que apagou o que não era importante (como o número da página no rodapé) e corrigiu palavras que o robô leu errado. Eles garantiram que o texto fluísse perfeitamente.

• Etapa 3: A Organização (A "Etiquetagem"): Depois de limpos, eles organizaram tudo em pastas digitais, criando "etiquetas" (metadados) para cada documento. Agora, o computador sabe exatamente qual é o ano, o tipo de lei e o conteúdo de cada arquivo.

3. O Resultado: Um "Treinador" para Inteligência Artificial

Com esse novo conjunto de dados (o SINHALEGAL), os pesquisadores testaram como as Inteligências Artificiais (IAs) se saem com esse tipo de texto.

• A Descoberta Surpreendente: Eles descobriram que as IAs aprendem mais fácil com as leis do que com textos gerais do dia a dia.
  • Por que? Imagine que você está aprendendo a falar. Se você ler um romance, as palavras mudam muito. Mas se você ler um manual de instruções ou uma lei, a estrutura é muito repetitiva e previsível (ex: "é proibido...", "deve ser feito...").
  • As IAs se sentem "em casa" com essa repetição. O texto legal é como uma música com um refrão que se repete muito; a IA consegue prever a próxima nota (palavra) com muita facilidade. Isso é chamado de "baixa perplexidade" (um termo técnico que significa "o quanto o computador fica confuso").

4. Por que isso é importante?

Antes desse projeto, não existia um "manual de instruções" digital para ensinar computadores a entender leis em Sinhala.

• O Vazio: Era como tentar ensinar um aluno a dirigir sem nunca ter tido um carro ou uma estrada.
• O Futuro: Agora, com o SINHALEGAL, os pesquisadores podem criar ferramentas para:
  • Resumir leis longas em poucas linhas.
  • Encontrar informações específicas rapidamente (ex: "Quais leis falam sobre impostos?").
  • Analisar como as leis mudaram ao longo dos anos.

Resumo em uma frase

O SINHALEGAL é como transformar uma pilha de documentos legais antigos e bagunçados do Sri Lanka em uma biblioteca digital organizada e brilhante, permitindo que computadores "leiam" e "entendam" as leis em Sinhala pela primeira vez, abrindo portas para uma justiça mais acessível e tecnológica.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "SINHALEGAL: A Benchmark Corpus for Information Extraction and Analysis in Sinhala Legislative Texts", apresentado em português:

1. Problema e Contexto

A documentação legal é a base dos sistemas jurídicos modernos, exigindo precisão, consistência e estrutura complexa. No entanto, a digitalização de textos legais em línguas de baixo recurso, como o Sinhala (falada por cerca de 16 milhões de pessoas no Sri Lanka), enfrenta desafios significativos:

• Falta de Dados Específicos: Embora existam coleções de texto geral em Sinhala, não há conjuntos de dados dedicados ao domínio legal, limitando o avanço de sistemas de Processamento de Linguagem Natural (NLP) jurídicos.
• Desafios de Digitalização: Muitos documentos legais existem apenas em formatos escaneados (PDFs), introduzindo ruído, problemas de layout (colunas múltiplas, tabelas) e erros de Reconhecimento Óptico de Caracteres (OCR).
• Complexidade Linguística: O texto legal em Sinhala possui vocabulário especializado e construções sintáticas complexas que diferem do uso geral da língua, dificultando a aplicação de modelos de linguagem genéricos.

2. Metodologia

Os autores desenvolveram o corpus SINHALEGAL através de um pipeline rigoroso de coleta, extração e limpeza de dados:

• Aquisição de Dados:

  • Fonte: Repositório público no GitHub contendo documentos governamentais do Sri Lanka.
  • Seleção: Foram selecionados Atos (Acts) e Projetos de Lei (Bills).
  • Exclusão: Gazetas e Gazetas Extraordinárias foram excluídas devido a layouts complexos que reduzem a precisão do OCR.
  • Período: Atos de 1981 a 2014 e Projetos de Lei de 2010 a 2014 (uma janela temporal selecionada para garantir qualidade e consistência).
  • Volume Inicial: 2.865 documentos PDF.

• Extração de Texto (OCR):

  • Ferramenta: Google Document AI foi escolhido após uma comparação que demonstrou superioridade sobre outros motores (como o Tesseract e o Surya) em documentos escaneados reais em Sinhala.
  • Processamento: Documentos com mais de 15 páginas foram divididos em chunks para respeitar os limites da API.
  • Métricas: Coleta de confiança do OCR, contagem de páginas e metadados.

• Filtragem e Pós-Processamento:

  • Filtragem: Documentos com anos de publicação fora da janela alvo, impressões duplas (que causam erros graves de OCR), documentos com mais de 50 páginas (devido a tabelas complexas) e layouts de múltiplas colunas foram removidos.
  • Limpeza Manual: Realizada por falantes nativos de Sinhala para corrigir:
    • Erros ortográficos e substituições de caracteres.
    • Remoção de rodapés, números de página e carimbos.
    • Eliminação de títulos repetidos em cada página.
    • Correção de espaçamento inconsistente e remoção de caracteres desnecessários (sublinhados, traços).
  • Resultado Final: Um corpus de 1.206 documentos (1.065 Atos e 141 Projetos de Lei) contendo aproximadamente 2 milhões de palavras.

• Estruturação:

  • Organização hierárquica por tipo de documento e ano.
  • Criação de arquivos de metadados estruturados (JSON) para cada documento, contendo ID, tipo, ano, número de páginas e pontuação de confiança do OCR.

3. Contribuições Principais

• Primeiro Corpus Legal em Sinhala: SINHALEGAL preenche uma lacuna crítica, sendo o primeiro conjunto de dados de grande escala focado exclusivamente em textos legislativos em Sinhala.
• Pipeline de Processamento Reproduzível: O artigo detalha um fluxo de trabalho completo para lidar com documentos legais escaneados de baixo recurso, servindo como guia para futuras coletas de dados em línguas similares.
• Metadados Ricos: A inclusão de metadados detalhados permite rastreabilidade e auditoria dos resultados de OCR.
• Benchmarks de Avaliação: O corpus foi submetido a análises estatísticas e de modelagem para estabelecer linhas de base para tarefas de NLP jurídico.

4. Resultados e Análise

O artigo apresenta uma avaliação abrangente do corpus:

• Estatísticas do Corpus:

  • Tamanho: ~2,02 milhões de tokens.
  • Vocabulário: 39.169 tipos de palavras únicas.
  • Diversidade Léxica (TTR): 0,7284 (indicando alta repetição de termos funcionais e técnicos).
  • Hapax Legomena: 46,14% do vocabulário ocorre apenas uma vez, refletindo a natureza especializada e a longa cauda de termos técnicos.

• Frequência de Palavras:

  • As 100 palavras mais frequentes cobrem cerca de 46% do corpus, demonstrando a natureza formulaica e padronizada da linguagem legal (ex: conectivos, termos de obrigação como "deve", "para").

• Reconhecimento de Entidades Nomeadas (NER):

  • Implementação de um sistema baseado em regras (Regex) para identificar 6 tipos de entidades: Data, Título, Organização, Lei, Pessoa e Valor Monetário.
  • Foram extraídas 28.937 entidades, com uma densidade média de 24 entidades por documento.

• Modelagem de Tópicos (LDA):

  • Identificação de 10 tópicos principais, incluindo referências a "Atos/Leis", "Tribunais", "Comissões", "Eleições", "Pensões" e "Dinheiro".

• Avaliação de Modelos de Linguagem (Perplexidade):

  • Testes realizados com modelos modernos (Llama-3.1, Mistral-7B, Falcon-7B, etc.) comparando o corpus legal com um corpus geral de Sinhala (MADLAD CulturaX).
  • Resultado Chave: Os modelos apresentaram menor perplexidade no corpus legal do que no geral. Isso sugere que, apesar da complexidade do vocabulário, a estrutura repetitiva e as frases fixas da legislação tornam o texto mais previsível para os modelos do que o conteúdo cultural geral.

• Precisão do OCR:

  • Taxa de Erro de Caracteres (CER) e Taxa de Erro de Palavras (WER) foram calculadas. Após normalização, o WER foi de 23,44%, indicando que, embora haja ruído, o corpus é utilizável para tarefas de NLP.

5. Significado e Impacto

O SINHALEGAL é um recurso vital para a comunidade de NLP e pesquisa jurídica no Sri Lanka e além.

• Ponte para Pesquisa: Permite o desenvolvimento de tarefas como sumarização automática, extração de informações, previsão de resultados judiciais e análise diacrônica de leis.
• Inclusão Digital: Ao fornecer dados estruturados em uma língua de baixo recurso, o projeto democratiza o acesso à informação legal e apoia a criação de ferramentas de IA justas e representativas.
• Futuro: O trabalho estabelece uma fundação para expandir o corpus para outros tipos de documentos legais (como sentenças judiciais) e para outras línguas da região, além de servir como base para o treinamento de Grandes Modelos de Linguagem (LLMs) especializados em direito.

Em resumo, o artigo não apenas entrega um dataset, mas também valida metodologicamente a viabilidade de processar textos legais complexos em línguas de baixo recurso, oferecendo métricas e insights que guiarão futuros desenvolvimentos em IA jurídica.