Time as Structure: Temporal Dependency Graphs for Verifiable Deadline Computation over Legal Documents
Este artigo propõe uma abordagem híbrida que extrai dependências temporais de documentos jurídicos para um grafo para computação de prazos baseada em código, demonstrando que este pipeline supera significamente o questionamento direto por modelos de linguagem em precisão e verificabilidade, particularmente ao evitar erros aritméticos, enquanto destaca que a extração permanece como a principal fonte de falha.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo do direito, o tempo não é meramente um pano de fundo; é um elemento estrutural que pode determinar o destino de uma reivindicação. Um protocolo jurídico deve frequentemente ser apresentado até um prazo específico, calculado a partir de um evento inicial, como a rescisão de um contrato de trabalho ou um incidente discriminatório. Esses cálculos raramente são uma aritmética simples. Eles envolvem a contagem de dias de acordo com regras estatutárias rigorosas, contabilizando as pausas onde o relógio para para permitir a mediação obrigatória e ajustando-se às peculiaridades do calendário, como meses de diferentes durações ou anos bissextos. Se uma reivindicação for protocolada mesmo um dia atrasada, ela é frequentemente barrada para sempre, independentemente de quão forte seja o caso. Isso cria um ambiente de alto risco onde a diferença entre o sucesso e o fracasso é medida em horas, embora os documentos contendo as datas necessárias estejam frequentemente enterrados em uma prosa jurídica complexa e aninhada.
Pesquisadores da Universidade de Leiden propuseram-se a resolver uma questão fundamental sobre como os computadores devem lidar com este problema. Eles perguntaram se um modelo de linguagem de grande escala, o tipo de inteligência artificial capaz de ler e resumir textos, deveria ser confiado para calcular esses prazos diretamente. Ou, seria mais seguro fazer com que o computador primeiro extraísse as datas específicas e suas relações do texto, construísse um mapa estruturado desses fatos e, em seguida, utilizasse uma calculadora separada e rígida para fazer a matemática? A equipe construiu um sistema que trata o tempo como uma rede de fatos conectados, onde cada data é um nó e as regras que as ligam são as arestas. Eles testaram essa abordagem contra o método de resposta direta e bruta usando julgamentos reais de tribunais de emprego do Reino Unido e um vasto conjunto de casos simulados onde a resposta correta era conhecida por design.
O estudo revelou que, embora os modelos de linguagem modernos sejam surpreendentemente bons em ler textos jurídicos, eles têm dificuldades significativas quando solicitados a realizar a aritmética precisa exigida para prazos legais. Quando os pesquisadores pediram a um modelo de linguagem poderoso para ler um caso e gerar um prazo de uma só vez, o modelo frequentemente errava o veredito final, mesmo quando seus passos de raciocínio interno estavam corretos. Em uma descoberta impressionante, o modelo às vezes calculava o número correto de dias, mas depois se contradizia na frase final, declarando uma reivindicação atrasada como tempestiva. Isso aconteceu em seis de vinte e uma tentativas com os modelos mais fortes testados. O erro não estava na matemática em si, mas na incapacidade do modelo de alinhar consistentemente sua conclusão final com o trabalho que acabara de realizar.
Para testar a abordagem alternativa, os pesquisadores construíram um pipeline que primeiro extraía as datas relevantes e suas dependências em um grafo, uma estrutura visual na qual o computador poderia ver como uma data levava a outra. Um motor determinístico aplicava então as regras legais estritas a este grafo. Este motor não adivinha; ele segue um conjunto fixo de instruções para contar meses, lidar com anos bissextos e aplicar as pausas obrigatórias para conciliação. Quando este sistema estruturado foi testado nos mesmos casos do mundo real, ele reproduziu perfeitamente as datas dos próprios juízes e coincidiu com os vereditos do tribunal em seis de sete casos. O sistema era tão confiável que, quando não conseguia encontrar um ponto de partida claro no texto, simplesmente se recusava a responder e explicava o por que, em vez de adivinhar.
Os pesquisadores então levaram o teste além, criando 427 novos casos. Eles pegaram julgamentos reais e deslocaram sistematicamente as datas de início em alguns dias, cruzando o limite exato onde uma reivindicação mudaria de estar no prazo para estar atrasada. Isso criou um cenário onde a resposta correta era conhecida com absoluta certeza porque era calculada pelo próprio motor, não pela anotação humana. Neste teste rigoroso, o pipeline estruturado foi correto 9heses 90,2% das vezes nos casos que tentou, enquanto os modelos de linguagem diretos foram corretos apenas 61,2% das vezes. A força do sistema estruturado residia em sua capacidade de lidar com a cadeia de dependências; conforme a cadeia de eventos se tornava mais longa, os modelos diretos ficavam cada vez mais confusos, enquanto o sistema baseado em grafos permanecia preciso.
No entanto, o estudo também identificou onde este novo método atinge seus limites. Os erros no sistema estruturado quase nunca estavam na aritmética ou no cálculo do prazo. Em vez disso, as falhas ocorriam no primeiríssimo passo: escolher qual evento no texto era o ponto de partida correto. Em documentos jurídicos complexos, múltiplos eventos podem parecer potenciais pontos de partida, e o sistema às vezes escolhia o errado. Este é um problema de compreensão do contexto jurídico, não de fazer a matemática. Os pesquisadores descobriram que mesmo os melhores modelos de linguagem, quando solicitados a extrair esses fatos, frequentemente falhavam ao vincular o evento correto à regra correta, sugerindo que a parte mais difícil da tarefa não é o cálculo, mas a interpretação inicial de quais fatos importam.
Em última análise, o artigo demonstra que para tarefas que exigem adesão estrita a regras e cálculo preciso, uma abordagem híbrida funciona melhor. Ao separar a leitura do texto da execução da matemática, o sistema ganha uma camada de confiabilidade que os modelos de linguagem puros não possuem. O modelo de linguagem atua como um tradutor, transformando uma prosa jurídica desordenada em um conjunto limpo de fatos, enquanto o motor atua como um juiz, aplicando a lei sem hesitação ou contradição. Essa divisão de trabalho permite que o sistema admita quando não tem certeza, fornecendo uma razão clara para sua hesitação em vez de uma resposta confiante, porém errada. Os resultados sugerem que, para prazos legais, onde um único dia pode mudar tudo, a ferramenta mais eficaz não é um modelo que tenta fazer tudo de uma vez, mas um sistema que decompõe o problema, verifica seu trabalho e sabe quando parar e pedir ajuda.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.