ANNOTARES: A Dataset for Extracting Logical Structures from German Statutory Texts

Resumo Técnico de "ANNOTARES: Um Conjunto de Dados para Extração de Estruturas Lógicas de Textos Normativos Alemães"

Definição do Problema
A análise estrutural automática de textos jurídicos é um elemento fundamental da tecnologia jurídica, mas a extração precisa das estruturas lógicas subjacentes permanece um obstáculo técnico significativo. Especificamente, os textos normativos alemães são elaborados para a interpretação humana, caracterizando-se por um fraseado altamente aninhado e contextos implícitos que complicam o processamento automatizado. Embora avanços recentes em Processamento de Linguagem Natural (PLN) e Modelos de Linguagem de Grande Escala (LLMs) tenham aprimorado capacidades em tarefas como reconhecimento de entidades nomeadas (NER), predição de sentenças e sumarização, essas abordagens frequentemente tratam o texto jurídico como uma sequência de rótulos, sem capturar a lógica definidora de uma norma jurídica.

O desafio central abordado neste artigo é a segmentação da prosa normativa em seus componentes lógicos: as condições jurídicas (Tatbestand) e a consequência jurídica resultante (Rechtsfolge). Diferente do NER padrão, esta tarefa exige a identificação de partes funcionais de uma frase que constituem uma regra jurídica condicional, um processo complicado pelo fato de que os textos normativos existentes muitas vezes precedem os padrões modernos de redação executáveis por máquinas.

Metodologia
Para abordar isso, os autores introduzem o ANNOTARES (Annotations of Tatbestand-Rechtsfolge Sequences), um novo conjunto de dados e um framework de benchmarking para uma tarefa de etiquetagem de sequências.

• Construção do Conjunto de Dados: O corpus compreende mais de 400 sentenças anotadas da Lei Federal de Proteção de Dados (BDSG), servindo como o principal conjunto de treinamento e de teste no domínio. Para avaliar a generalização entre estatutos, o conjunto de dados inclui 50 sentenças anotadas cada da Lei Federal de Assistência à Educação e Formação (BAföG) e do Código Federal de Construção (BauGB) como conjuntos de teste fora do domínio. O conjunto de dados contém aproximadamente 21.500 tokens anotados ao nível de span em três classes: Tatbestand, Rechtsfolge e none (contexto/fundo). A qualidade da anotação foi verificada via alfa de Krippendorff, resultando em uma pontuação de 0,89.
• Diretrizes de Anotação: As diretrizes são derivadas do manual de redação legislativa do Ministério Federal da Justiça Alemã (Handbuch der Rechtsförmlichkeit). Elas impõem dois princípios: Atomicidade (uma declaração jurídica por sentença) e Completude (sentenças são definições ou combinações de condições e consequências). Uma restrição fundamental é a interdependência dos rótulos: um Tatbestand deve coexistir com um Rechtsfolge dentro da mesma sentença.
• Configuração Experimental: Os autores testaram seis abordagens arquiteturais:
  1. Baseline Baseada em Regras: Um sistema de três estágios utilizando estruturas de verbo no início e palavras-chave (ex: wenn, falls).
  2. Modelos Probabilísticos: Campos Aleatórios Condicionais (CRF) utilizando características de token, POS (partes da fala) e dependência.
  3. Modelos de Sequência Neurais: Arquiteturas BiLSTM e BiLSTM-CRF utilizando embeddings fastText pré-treinados.
  4. Modelos Baseados em Transformers: Variantes incluindo mBERT, DistilBERT, LEGAL-BERT e BERT-LER, aumentadas com embeddings de POS e dependência.
  5. Modelos de Linguagem de Grande Escala (LLMs): Avaliações zero-shot e few-shot usando Claude 3 Haiku e Opus com duas estratégias de prompting distintas (uma baseada em diretrizes e outra otimizada com características estruturais).

Resultados Principais
A avaliação, medida principalmente por Macro F1 (mF1) e Correspondência Exata de Span (Exact Span Match), gerou os seguintes achados:

• Desempenho dos Modelos: Modelos baseados em Transformers demonstraram desempenho superior. O mBERT alcançou a maior precisão geral (85,4%) e mF1 (0,798) no conjunto de teste BDSG no domínio. Modelos específicos do domínio como LEGAL-BERT e BERT-LER apresentaram desempenho competitivo, porém ligeiramente inferior ao mBERT multilingue geral.
• Limitações do Baseline: Abordagens tradicionais tiveram dificuldades significativas. O sistema baseado em regras alcançou um mF1 de apenas 0,197 devido à incapacidade de lidar com a complexidade sintática, enquanto as arquiteturas BiLSTM pontuaram abaixo de 0,50 mF1, provavelmente devido à escassez de dados e falta de transferência de aprendizado.
• Correspondência de Span vs. Precisão de Token: Uma distinção crítica surgiu entre a precisão ao nível de token e a correspondência exata de span. Embora alguns modelos tenham alcançado alta precisão de token, eles falharam frequentemente em identificar fronteiras precisas. Por exemplo, o modelo BiLSTM-CRF alcançou 0,772 de precisão de token para Rechtsfolge, mas uma pontuação de correspondência exata de span de 0,000, indicando que identificar o núcleo de uma condição sem fronteiras precisas resulta em falha total da tarefa.
• Generalização entre Estatutos: O modelo mBERT exibiu uma robustez notável, mantendo a precisão quase constante entre os três estatutos. Notavelmente, seus escores de mF1 nos conjuntos fora do domínio (BAföG: 0,868; BauGB: 0,812) excederam seu escore no domínio, sugerindo que o modelo capturou padrões estruturais universais do direito estatutário alemão.
• Desempenho dos LLMs: Os LLMs mostraram desempenho competitivo ao nível de token com prompts baseados em diretrizes, mas subperformaram quando os prompts foram fortemente otimizados com características linguísticas explícitas (Prompt 2), sugerindo que a adição de complexidade introduziu ruído. No entanto, os LLMs (especificamente o Opus com o Prompt 2) alcançaram a maior correspondência exata de span para a classe none (0,875), superando outros modelos na identificação de sentenças não normativas.
• Estudo de Ablação: A remoção das etiquetas de Partes da Fala (POS) e de dependência causou uma queda significativa de desempenho em todos os modelos, particularmente para o mBERT (o mF1 caiu de 0,798 para 0,679). Isso indica que características sintáticas explícitas são cruciais para ancorar a lógica jurídica em estruturas gramaticais, mesmo para modelos com representações internas fortes.

Significância e Alegações
O artigo alega que o ANNOTARES fornece um recurso necessário para avançar o raciocínio jurídico automatizado, movendo-se além da extração de entidades para a segmentação de estruturas lógicas. Os autores afirmam que:

1. A Segmentação Lógica é Distinta: Extrair Tatbestand e Rechtsfolge requer uma abordagem granular diferente do NER padrão ou da classificação de documentos.
2. Superioridade dos Transformers: Modelos modernos baseados em Transformers, particularmente os multilingues como o mBERT, são atualmente as arquiteturas mais eficazes para esta tarefa, superando tanto sistemas baseados em regras quanto redes neurais tradicionais.
3. Importância da Sintaxe: Características linguísticas estruturais (etiquetas de POS e dependência) são essenciais para que modelos tradicionais e ajustados superem o viés do conjunto de dados e identifiquem corretamente as condições lógicas.
4. Fundação para Pesquisas Futuras: Ao lançar o conjunto de dados e os benchmarks, os autores visam facilitar novas pesquisas em PLN consciente de lógica, especificamente para transformar a prosa normativa não estruturada em formas adequadas para o raciocínio executável por máquinas e grafos de conhecimento jurídico.

Os autores permanecem modestos quanto ao estado atual do campo, observando que, embora o desempenho tenha melhorado, a tarefa continua desafiadora, e a maioria dos textos normativos existentes ainda possui estruturas sintáticas complexas que exigem esforço significativo para serem analisadas automaticamente.