Legal-DC: Benchmarking Retrieval-Augmented Generation for Legal Documents

1. Problema e Contexto

A aplicação de Modelos de Linguagem de Grande Escala (LLMs) no domínio jurídico, especificamente para consultas de documentos legais, enfrenta desafios críticos:

• Alucinações e Desatualização: LLMs puros tendem a alucinar informações e possuem corpora desatualizados, o que é inaceitável em cenários legais onde a precisão estatutária é obrigatória.
• Limitações do RAG Existente: Embora a Geração Aumentada por Recuperação (RAG) mitigue esses problemas, as abordagens atuais no contexto legal chinês possuem duas lacunas principais:
  1. Falta de Benchmarks Especializados: As avaliações existentes focam predominantemente na geração da resposta, negligenciando a avaliação conjunta e granular do componente de recuperação (retriever).
  2. Inadequação Estrutural: Os sistemas RAG padrão frequentemente falham em acomodar a natureza estruturada das leis (divididas em artigos, cláusulas e parágrafos), tratando documentos como blocos de texto contínuo, o que pode quebrar a integridade das disposições legais.

2. Metodologia e Solução Proposta

Para abordar essas lacunas, os autores desenvolveram duas contribuições principais: um novo conjunto de dados (benchmark) e um novo framework de sistema.

A. O Dataset Legal-DC

Foi construído um benchmark especializado para consultas legais no contexto das atividades de negócios na China:

• Escala e Cobertura: Composto por 480 documentos legais (leis, regulamentos administrativos e regras departamentais) cobrindo áreas como regulação de mercado, gestão de contratos e segurança de alimentos.
• Pares Pergunta-Resposta (QA): Contém 2.475 pares QA refinados, cada um anotado com referências ao nível de cláusula.
• Processo de Anotação Rigoroso: Envolveu três etapas:
  1. Geração inicial de candidatos por LLMs (ERNIE-4.0 superou o GPT-3.5).
  2. Seleção e anotação humana por especialistas (estudantes de direito e pós-graduandos em informática jurídica), focando em "significância prática" e "qualidade/precisão".
  3. Revisão cruzada cega para garantir consistência (Coeficiente Kappa de Cohen ≥ 0,83).
• Metadados: Cada entrada inclui o tipo de questão (explicação de conceito, indução de resumo, raciocínio lógico) e a localização exata da cláusula de referência.

B. O Framework LegRAG

Foi proposto o LegRAG, um framework RAG adaptado ao domínio legal que integra:

1. Indexação Adaptativa (Splitter Duplo): Divide os documentos em duas granularidades simultâneas:
   • Baseada em Chunk (Parágrafos): Para manter detalhes contextuais.
   • Baseada em Artigo: Para garantir a integridade das disposições legais completas.
2. Recuperação Dual-Path: Utiliza uma estratégia híbrida de recuperação (vetorial + palavras-chave) seguida por um reordenamento (reranking) para selecionar os melhores trechos.
3. Mecanismo de Auto-Reflexão (Self-Reflection): Após a geração inicial da resposta, o sistema verifica se a resposta está estritamente baseada nas evidências recuperadas, se as conclusões legais são consistentes com os artigos citados e se nenhuma informação chave foi omitida. Se falhar, o sistema itera para recuperar mais informações ou regenerar a resposta.
4. Avaliação Automatizada: Utiliza o modelo Qwen3-max como avaliador automático, com um prompt especializado que prioriza a "evidência baseada" e a "precisão legal", ponderando mais a precisão factual do que a fluência linguística.

3. Resultados Experimentais

Os experimentos foram conduzidos comparando o LegRAG com sistemas de ponta (LightRAG, QAnything, Weknora) e diversos LLMs (DeepSeek-V3.2, Qwen3-8B, Qwen3-max).

• Desempenho de Recuperação: O LegRAG superou o state-of-the-art (LightRAG) em Recall@5 (78,02% vs. 75,86%) e MRR@5 (50,23% vs. 47,56%), demonstrando melhor capacidade de localizar cláusulas relevantes.
• Desempenho de Geração: A combinação LegRAG + Qwen3-max alcançou as melhores pontuações em todas as métricas, incluindo precisão, F1 e pontuação de avaliação por LLM (LLM-eval).
• Ablation Studies:
  • A estratégia de processamento Chunk + Artigo superou significativamente o uso de apenas uma granularidade.
  • O mecanismo de Auto-Reflexão trouxe ganhos substanciais, aumentando a pontuação F1 de 0,6576 para 0,6928 (no caso do Qwen3-max) e melhorando a precisão legal.
  • A Aumento de Entidades (Entity Augmentation) também melhorou a recuperação e a geração.
• Análise por Tipo de Questão: O sistema apresentou melhor desempenho em questões conceituais e de generalização, mas ainda enfrenta desafios em questões de raciocínio lógico (que exigem inferências multi-hop entre cláusulas), embora o LegRAG ainda supere as linhas de base nessa categoria.

4. Contribuições Principais

1. Legal-DC: O primeiro benchmark abrangente para avaliação conjunta de recuperadores e geradores em RAG jurídico chinês, com anotações de nível de cláusula.
2. LegRAG Framework: Uma arquitetura que valida a eficácia da indexação adaptativa (dual-path) e da verificação por auto-reflexão para garantir a integridade das citações legais.
3. Protocolo de Avaliação: Um método de avaliação automatizada robusto, calibrado com especialistas humanos, que mede a confiabilidade legal além da mera similaridade textual.
4. Insights Empíricos: Evidência de que a granularidade de recuperação e a verificação de coerência são fatores críticos para o sucesso de sistemas RAG jurídicos.

5. Significado e Impacto

Este trabalho fornece uma base fundamental para o desenvolvimento de sistemas de IA jurídica confiáveis na China. Ao demonstrar que a estruturação específica do domínio legal (artigos vs. chunks) e a verificação iterativa (reflexão) são essenciais, o estudo oferece um roteiro prático para superar as limitações de alucinação e imprecisão em consultas legais. O código e os dados estão disponíveis publicamente, promovendo a reprodutibilidade e o avanço da pesquisa em RAG jurídico.

Limitações Futuras: Os autores reconhecem que o raciocínio lógico complexo ainda é um gargalo e planejam integrar bases de regras de lógica jurídica e melhorar a confiabilidade da avaliação automática com calibração humana periódica.