A Two-Stage Architecture for NDA Analysis: LLM-based Segmentation and Transformer-based Clause Classification

Este artigo propõe uma arquitetura de duas etapas que utiliza o modelo LLaMA-3.1-8B-Instruct para segmentação e o Legal-Roberta-Large fine-tuned para classificação de cláusulas em Acordos de Não Divulgação (NDAs), alcançando alto desempenho na automação da análise desses documentos.

O essencial

Imagine que você é um advogado e precisa revisar centenas de contratos de confidencialidade (os famosos NDAs). O problema é que cada empresa escreve esses contratos de um jeito diferente: uns são curtos, outros longos, alguns usam letras miúdas, outros têm tabelas, e a linguagem jurídica é cheia de "juridiquês" difícil de entender. Fazer isso manualmente é como tentar achar uma agulha em um palheiro, mas o palheiro muda de tamanho e cor a cada vez. É cansativo, demorado e propenso a erros.

Os autores deste artigo criaram um "Robô Assistente Jurídico" em duas etapas para resolver esse caos. Vamos entender como funciona usando uma analogia simples:

O Grande Problema: A Torre de Babel dos Contratos

Antes, os advogados tinham que ler cada linha de cada contrato. Como os documentos não seguem um padrão (um pode ter 10 páginas, outro 50, e a estrutura é bagunçada), computadores comuns travavam tentando entender onde começa e termina uma cláusula.

A Solução: A Fábrica de Dois Andares

Os pesquisadores criaram uma arquitetura (um sistema) que funciona como uma fábrica de duas etapas. Pense nela como uma linha de montagem inteligente:

1º Andar: O "Cortador de Pizzas" (Segmentação)

• O que faz: O primeiro robô recebe o contrato inteiro, que é um "bolo" gigante e bagunçado. Sua missão é cortar esse bolo em fatias perfeitas, onde cada fatia é uma cláusula (uma parte do contrato que fala sobre um assunto específico, como "sigilo", "multas" ou "duração").
• O Segredo: Eles usaram um modelo de Inteligência Artificial muito poderoso chamado LLaMA (um "cérebro" gigante treinado para entender linguagem).
• A Analogia: Imagine que o contrato é um texto escrito à mão, com rabiscos e desenhos. O LLaMA é como um especialista que consegue ler a letra feia, entender o contexto e dizer: "Ok, aqui começa a parte sobre dinheiro, e aqui termina". Ele não apenas corta, ele entende que uma tabela no meio do texto não deve quebrar a cláusula.
• O Resultado: O robô foi incrivelmente preciso (95% de acerto), conseguindo separar as fatias do bolo sem misturar os ingredientes.

2º Andar: O "Detetive de Etiquetas" (Classificação)

• O que faz: Agora que temos as fatias separadas, o segundo robô pega cada uma delas e colar uma etiqueta explicativa. Ele precisa dizer: "Esta fatia é sobre Confidencialidade", "Esta é sobre Prazo", "Esta é sobre Propriedade Intelectual".
• O Desafio: Uma fatia pode ter mais de uma etiqueta ao mesmo tempo (ex: uma cláusula pode falar sobre "Prazo" e "Multas" juntas). Além disso, algumas etiquetas são muito raras (poucos contratos têm), o que confunde o robô.
• O Segredo: Eles usaram um modelo especializado em leis, chamado Legal-Roberta, que foi "treinado" (fine-tuned) especificamente para entender o contexto jurídico.
• A Analogia: Pense nele como um bibliotecário experiente que, ao ver um livro, sabe exatamente em qual prateleira ele deve ser colocado, mesmo que o livro tenha capas estranhas.
• O Resultado: O robô acertou 85% das classificações principais. Ele ficou muito bom nas etiquetas comuns, mas ainda tem dificuldade com as "etiquetas raras" (aquelas que aparecem em menos de 100 contratos), um pouco como um aluno que sabe muito de matemática, mas ainda está aprendendo geografia.

Por que isso é importante?

1. Velocidade: O que levaria horas para um humano, o robô faz em segundos.
2. Precisão: Ele não fica cansado, não pula linhas e não deixa de ler o "letra miúda".
3. Futuro: O sistema foi desenhado para crescer. No futuro, ele não só vai ler e classificar, mas poderá sugerir correções, como um "co-piloto" jurídico que diz: "Ei, essa cláusula de multa parece estranha comparada com as outras, vamos revisar?".

O Desafio Escondido

A maior dificuldade não foi a tecnologia, mas sim conseguir os dados. Contratos de confidencialidade são secretos. As empresas não querem que ninguém veja. Por isso, os autores tiveram que usar um conjunto de dados público limitado e anotá-los manualmente com ajuda de advogados reais. Foi como tentar treinar um cozinheiro para fazer um prato secreto, mas só tendo acesso a 322 receitas que alguém conseguiu copiar.

Resumo em uma frase

Os autores criaram um sistema inteligente que primeiro corta contratos jurídicos bagunçados em pedaços menores e depois identifica o que cada pedaço significa, transformando uma tarefa chata e arriscada em um processo rápido e confiável, como se tivesse um assistente jurídico super-rápido trabalhando 24 horas por dia.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português:

Título: Uma Arquitetura de Duas Etapas para Análise de Acordos de Não Divulgação (NDA): Segmentação Baseada em LLM e Classificação de Cláusulas Baseada em Transformer

1. Problema

Na relação business-to-business (B2B), os Acordos de Não Divulgação (NDAs) são fundamentais, mas apresentam desafios significativos para a análise manual devido à sua alta variabilidade em formato, estrutura e estilo de escrita.

• Desafios Principais: A falta de padronização dificulta o uso de sistemas baseados em regras. O volume crescente e a urgência na revisão de contratos aumentam o risco de erros humanos e a omissão de inconsistências legais.
• Complexidade: A linguagem jurídica é marcada por termos específicos, ambiguidades e variações estruturais, o que torna o processamento de linguagem natural (PLN) tradicional desafiador.

2. Metodologia

Os autores propõem uma arquitetura de duas etapas para automatizar a segmentação e a classificação de cláusulas em NDAs, implementada com o uso do framework LangGraph.

• Etapa 1: Segmentador (Segmenter)

  • Objetivo: Receber o documento NDA completo e dividi-lo em cláusulas individuais, independentemente da estrutura ou estilo de escrita.
  • Modelo: Utilização do LLaMA-3.1-8B-Instruct (um Grande Modelo de Linguagem - LLM).
  • Infraestrutura: O modelo é executado via vLLM (uma biblioteca de inferência otimizada que utiliza PagedAttention para gerenciar memória e GPU de forma eficiente), permitindo o processamento de documentos longos (média de ~3.400 tokens).
  • Desafio de Avaliação: Como o número de cláusulas geradas pelo LLM pode diferir das cláusulas de referência, foi utilizado o algoritmo de alinhamento de sequências Needleman-Wunsch (originalmente da biologia) para mapear as cláusulas previstas às referências, reduzindo a complexidade computacional de comparação em 92,5%.

• Etapa 2: Classificador (Classifier)

  • Objetivo: Atribuir uma ou mais categorias semânticas a cada cláusula segmentada (problema de classificação multirrótulo).
  • Classes: O esquema de classificação inclui 14 categorias (ex: Identificação das Partes, Definição de Informação Confidencial, Obrigação de Confidencialidade, Lei Aplicável, etc.).
  • Modelo: Fine-tuning (ajuste fino) do modelo Legal-Roberta-Base (uma variante de BERT treinada especificamente para o domínio jurídico).
  • Tratamento de Dados: O dataset é desbalanceado (a classe "Informações Adicionais" representa ~49% dos dados). Para mitigar isso, utilizou-se a função de perda Focal Loss e divisão estratificada dos dados.

3. Contribuições Chave

1. Arquitetura Híbrida Eficiente: Combina a capacidade de compreensão de contexto longo e geração de texto de LLMs (para segmentação) com a precisão de modelos BERT especializados (para classificação), superando as limitações de cada modelo isolado.
2. Método de Avaliação Robusto: Introdução do algoritmo Needleman-Wunsch para alinhar cláusulas geradas por LLM com anotações de referência, permitindo métricas precisas em cenários onde o número de segmentos não é idêntico.
3. Pipeline de Processamento: Implementação completa usando LangGraph e vLLM, demonstrando viabilidade técnica para processamento em larga escala com baixa latência.
4. Dataset e Anotação: Criação de um conjunto de dados anotado por especialistas jurídicos (322 NDAs, 3.714 cláusulas) com definições claras para 14 classes legais, abordando a escassez de dados públicos de alta qualidade para NDAs.

4. Resultados

Os experimentos foram realizados no dataset público Kleister-NDA.

• Desempenho do Segmentador:

  • ROUGE F1: 0,95 ± 0,0036 (indicando alta fidelidade lexical).
  • Factual Correctness: 0,95 ± 0,0044 (garantia de que a informação essencial não foi distorcida).
  • Semantic Similarity: 0,98 ± 0,0027 (alta aderência semântica entre o gerado e a referência).
  • O modelo demonstrou robustez em preservar a integridade das cláusulas, mesmo com variações de layout (colunas únicas/duplas).

• Desempenho do Classificador:

  • F1 Ponderado (Weighted F1): 0,85 no conjunto de teste (indicando bom desempenho nas classes majoritárias).
  • F1 Macro: 0,69 no teste (refletindo a dificuldade em generalizar para classes minoritárias com menos de 100 amostras).
  • MCC (Matthews Correlation Coefficient): 0,84, indicando forte correlação entre previsões e rótulos verdadeiros.
  • Hamming Loss: 0,03, indicando baixa taxa de erro por rótulo.

5. Significado e Conclusão

O trabalho demonstra a viabilidade de automatizar a revisão de NDAs complexos e não padronizados. A arquitetura proposta reduz a carga de trabalho manual, aumenta a consistência na validação de contratos e melhora a confiabilidade jurídica.

• Limitações: A principal limitação foi a escassez de dados anotados (devido à confidencialidade dos NDAs), o que afetou o desempenho do modelo em classes minoritárias.
• Trabalho Futuro: Os autores planejam melhorar a classificação minoritária através de aumento de dados (data augmentation) e geração de paráfrases. Além disso, pretendem expandir o sistema para incluir agentes especialistas que não apenas classifiquem, mas também sugiram correções e identifiquem inconsistências legais específicas.

Em suma, o estudo oferece uma solução prática e escalável para a transformação digital no setor jurídico, utilizando o estado da arte de LLMs e modelos de linguagem jurídica.