Structured Legal Document Generation in India: A Model-Agnostic Wrapper Approach with VidhikDastaavej

Este trabalho apresenta o VidhikDastaavej, um novo conjunto de dados de grande escala com documentos jurídicos privados indianos, e o VidhikDastaavej, uma abordagem de "wrapper" agnóstica a modelos que melhora significativamente a precisão factual e a coerência na geração estruturada de documentos jurídicos.

O essencial

Imagine que você é um advogado no Brasil (ou na Índia, onde o estudo foi feito) e precisa redigir um contrato complexo, como um acordo de compra de uma empresa ou um testamento. Antigamente, você teria que começar do zero, procurando modelos antigos, copiando e colando parágrafos e torcendo para não esquecer nenhuma cláusula importante. Isso é cansativo e propenso a erros.

Este artigo apresenta uma solução inteligente para automatizar essa tarefa, mas com um "superpoder": ele funciona com qualquer inteligência artificial (IA) moderna, não apenas com uma específica.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Grande Problema: A "Falta de Receitas"

Para ensinar uma IA a escrever documentos legais, você precisa de muitos exemplos (receitas). No mundo jurídico, os documentos privados (contratos entre pessoas) são secretos. Não existem livros públicos com milhares desses contratos para a IA estudar.

• A Analogia: É como tentar ensinar um cozinheiro a fazer um prato especial, mas você não tem acesso aos livros de receitas da família dele. Você só tem algumas receitas públicas de restaurantes famosos (que são diferentes dos contratos privados).

2. A Solução 1: O "Livro de Receitas Secreto" (VidhikDastaavej)

Os pesquisadores trabalharam com um escritório de advocacia na Índia para criar um novo conjunto de dados chamado VidhikDastaavej.

• O que é: Uma biblioteca gigante de mais de 11.000 documentos legais reais (como acordos de divórcio, contratos de trabalho, compra de ações), mas com um detalhe crucial: todos os nomes e dados sensíveis foram apagados (como trocar "João Silva" por "[Pessoa]" e "Banco do Brasil" por "[Banco]").
• A Analogia: É como se o escritório de advocacia tivesse emprestado sua gaveta de arquivos secretos para a IA estudar, mas antes de entregar, um especialista riscou todos os nomes e endereços com um marcador preto, garantindo que ninguém pudesse saber quem era quem. Agora, a IA tem um "livro de receitas" completo para aprender.

3. A Solução 2: O "Gerente de Obra" (O Wrapper Modelo-Agnóstico)

Aqui está a parte mais genial. Normalmente, para usar uma IA, você precisa "treiná-la" (como ensinar um cachorro a sentar). Mas treinar IAs é caro e demora. Se sai uma IA nova e melhor amanhã, você teria que treinar tudo de novo.
Os autores criaram algo chamado Wrapper (Capa/Invólucro) Modelo-Agnóstico.

• O que é: Em vez de treinar a IA para escrever o contrato inteiro de uma vez, eles criaram um "gerente" que organiza o trabalho.
• A Analogia: Imagine que você quer construir uma casa.
  • O jeito antigo (Treinamento): Você pega um pedreiro e tenta ensinar a ele, de uma só vez, como construir a fundação, as paredes, o telhado e a pintura. Se ele errar a fundação, a casa cai.
  • O jeito novo (O Wrapper): Você contrata um Arquiteto (o Wrapper).
    1. Planejamento: O Arquiteto primeiro desenha o plano: "Primeiro fazemos a fundação, depois as paredes, depois o telhado". Ele mostra o plano para você aprovar.
    2. Execução: Só depois ele chama o pedreiro (a IA) para fazer apenas a fundação.
    3. Memória: Enquanto o pedreiro faz a parede, o Arquiteto olha para o plano e lembra: "Ei, a fundação já está pronta, então a parede deve encaixar ali". Ele usa um banco de dados para lembrar o que foi feito antes.
    4. Flexibilidade: Se o pedreiro ficar doente e você chamar outro, o Arquiteto continua o mesmo! O plano e a organização não mudam. É por isso que é "Modelo-Agnóstico": funciona com qualquer IA (pedreiro) que você escolher.

4. Por que isso é melhor?

Quando a IA tenta escrever um contrato gigante de uma vez só, ela tende a "alucinar" (inventar fatos, esquecer leis importantes ou misturar tipos de contrato).

• O Resultado: Com o "Arquiteto" (Wrapper), a IA escreve o documento em pedaços, verificando se cada parte faz sentido com o que foi escrito antes.
• A Comparação: Os testes mostraram que esse método, mesmo usando IAs gratuitas e abertas, ficou melhor do que usar a IA mais famosa e cara do mercado (GPT-4) para escrever sozinha. O documento ficou mais completo, mais preciso e com menos erros.

5. O Toque Humano (Human-in-the-Loop)

O sistema não é "mágico" e não substitui o advogado. É uma ferramenta de assistência.

• A Analogia: É como um copiloto no avião. A IA (o copiloto) prepara o voo, desenha a rota e escreve o relatório. Mas o advogado (o piloto) precisa olhar, aprovar, fazer ajustes finais e assinar. O sistema permite que o advogado edite o plano antes de começar a escrever.

Resumo Final

Este trabalho criou duas coisas principais para o futuro da advocacia na Índia (e no mundo):

1. Um banco de dados secreto e seguro de contratos reais para treinar IAs.
2. Um sistema de organização que permite usar qualquer IA para escrever contratos longos e complexos sem cometer erros bobos, funcionando como um "chefe de cozinha" que organiza o trabalho para que a IA (o cozinheiro) não se perca.

É um passo gigante para tornar a justiça mais acessível, barata e eficiente, garantindo que os documentos sejam feitos com a precisão que a lei exige.

Resumo técnico

Resumo Técnico: Geração Estruturada de Documentos Legais na Índia

1. Problema e Contexto

A automação da redação de documentos legais tem o potencial de aumentar significativamente a eficiência e a acessibilidade no setor jurídico. No entanto, a geração estruturada de documentos legais privados (como contratos, acordos e procurações) permanece pouco explorada, especialmente no contexto indiano. As principais barreiras são:

• Escassez de Dados: A confidencialidade dos documentos legais privados limita a disponibilidade de conjuntos de dados públicos para treinamento.
• Complexidade de Longo Alcance: A geração de textos jurídicos longos exige coerência lógica, precisão factual e adesão a convenções estruturais específicas, desafios que os Modelos de Linguagem de Grande Porte (LLMs) genéricos frequentemente falham em atender.
• Dependência de Modelos Específicos: Métodos baseados em Supervised Fine-Tuning (SFT) tornam-se rapidamente obsoletos com o lançamento de novos modelos e exigem recursos computacionais que muitos usuários finais (como escritórios de advocacia) não possuem.

2. Metodologia

Os autores propõem uma solução composta por dois pilares principais: um novo conjunto de dados e uma nova arquitetura de geração.

A. VidhikDastaavej (Conjunto de Dados)

• Descrição: Um conjunto de dados em larga escala, anonimizado e diversificado, contendo 11.825 documentos legais privados (11.692 para treino e 133 para teste).
• Diversidade: Abrange 133 categorias distintas de documentos (ex: Acordos de Licença, Acordos de Rescisão, Opções de Ações, Contratos de Compra e Venda).
• Privacidade: Todos os documentos passaram por um processo rigoroso de anonimização baseado em Reconhecimento de Entidades Nomeadas (NER) usando spaCy, substituindo entidades (pessoas, organizações, locais, datas) por marcadores de tipo (ex: [PERSON], [DATE]).
• Curadoria: Envolveu validação de especialistas jurídicos para categorização, estruturação de seções e avaliação de qualidade.

B. Model-Agnostic Wrapper (MAW) - O Framework de Geração
Para superar as limitações do SFT e garantir compatibilidade com qualquer LLM (aberto ou fechado), os autores desenvolveram o MAW, um framework de duas etapas que desacopla a geração do modelo base:

1. Fase 1: Planejamento de Títulos de Seção: O modelo gera uma lista estruturada de títulos de seções baseada nas instruções do usuário. O usuário pode revisar, renomear ou editar esses títulos antes de prosseguir.
2. Fase 2: Geração Iterativa de Conteúdo:
   • O conteúdo é gerado seção por seção.
   • Aprimoramento por Recuperação (RAG): Um resumo de cada seção gerada é armazenado em um banco de dados vetorial (ChromaDB).
   • Para gerar a próxima seção, o sistema recupera os resumos das seções anteriores e os inclui no contexto do LLM. Isso garante coerência global, fluxo lógico e reduz alucinações, mantendo o documento alinhado com as instruções iniciais.

C. Avaliação e Sistema HITL

• Human-in-the-Loop (HITL): Foi desenvolvido um sistema interativo que permite aos usuários definir o tipo de documento, personalizar seções e refinar o rascunho gerado.
• Métricas de Avaliação: Além de métricas léxicas (ROUGE, BLEU) e semânticas (BERTScore), utilizou-se uma avaliação baseada em Especialistas Jurídicos (escala Likert 1-10) focada em:
  • Precisão Factual (aderência às instruções e fatos legais).
  • Completude e Abrangência (cobertura de todas as cláusulas essenciais).
  • Consistência Inter-avaliadores (medida por Fleiss' κ, ICC, Krippendorff's α).

3. Contribuições Principais

1. VidhikDastaavej: O primeiro recurso de dados de grande escala focado em documentos legais privados na Índia, preenchendo uma lacuna crítica na comunidade de IA Jurídica.
2. Model-Agnostic Wrapper (MAW): Um framework de geração estruturada que melhora a coerência e a precisão factual sem depender do ajuste fino (fine-tuning) do modelo base, sendo aplicável a qualquer LLM.
3. Métricas de Avaliação Baseadas em Especialistas: Introdução de critérios rigorosos de avaliação focados na realidade da redação jurídica, superando métricas automáticas tradicionais.
4. Sistema Interativo: Uma interface prática que integra a geração de IA com a supervisão humana, validando a viabilidade de uso no mundo real.

4. Resultados e Análise

Os experimentos compararam modelos de código aberto (Qwen3-14B, LLaMA-3.1-8B, Gemma-3-12B) com e sem SFT, além do uso do MAW, contra o modelo proprietário GPT-4o.

• Desempenho do SFT: O ajuste fino supervisionado (SFT) nos modelos de código aberto resultou, paradoxalmente, em degradação do desempenho em comparação com os modelos base. Isso foi atribuído ao sobreajuste a padrões dominantes e à incapacidade de generalizar para categorias menos frequentes.
• Eficácia do MAW: A aplicação do Wrapper resultou em melhorias dramáticas:
  • Precisão Factual: O Gemma-3-12B-It com MAW atingiu uma pontuação de 8.82 (especialistas), superando o GPT-4o (8.80) e o modelo base sem wrapper (1.00).
  • Completude: O MAW melhorou significativamente a cobertura de cláusulas obrigatórias.
  • Redução de Alucinações: A abordagem de "planejamento-estrutura-geração" reduziu drasticamente a invenção de cláusulas irrelevantes ou citações falsas.
  • Consistência: As configurações com Wrapper apresentaram alta concordância entre avaliadores humanos (Fleiss' κ > 0.80), indicando que os documentos gerados eram mais fáceis de avaliar e mais consistentes.
• Estudo de Ablação: A remoção do módulo de recuperação (RAG) ou da estruturação de seções resultou em quedas significativas nas pontuações de precisão factual e completude, confirmando que ambas as etapas são essenciais.

5. Significado e Impacto

Este trabalho estabelece um novo paradigma para a IA Jurídica na Índia e globalmente:

• Viabilidade Prática: Demonstra que é possível gerar documentos legais de alta qualidade e precisão utilizando modelos de código aberto acessíveis, desde que guiados por um framework estruturado como o MAW.
• Solução para Escassez de Dados: A combinação de um conjunto de dados anonimizado robusto com uma arquitetura de recuperação de contexto mitiga a necessidade de grandes volumes de dados de treinamento para cada novo modelo.
• Futuro da Redação Jurídica: O estudo valida a abordagem "Human-in-the-Loop", onde a IA atua como uma ferramenta de assistência para rascunhos estruturados, que são então refinados por profissionais jurídicos, garantindo conformidade legal e ética.

Em suma, o artigo prova que a estruturação do processo de geração (via Wrapper) é mais eficaz do que apenas o ajuste fino dos modelos para tarefas complexas e de alta precisão como a redação jurídica.