Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization

Título: Aprimorando LLMs Jurídicos através de Pipelines RAG Enriquecidos com Metadados e Otimização Direta de Preferência (DPO)

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam desafios significativos no domínio jurídico, especialmente ao processar documentos longos e complexos. Os principais problemas identificados são:

• Alucinações: Geração de informações factuais incorretas, como citações de estatutos falsas, precedentes inventados ou cláusulas erradas.
• Degradação em Contextos Longos: O desempenho cai drasticamente em documentos jurídicos extensos (muitas vezes com mais de 50.000 palavras).
• Falhas no RAG (Retrieval-Augmented Generation):
  • Erros de Recuperação: Devido à redundância lexical e estrutural em corpora jurídicos, os recuperadores frequentemente selecionam trechos de documentos incorretos (falta de correspondência no nível do documento).
  • Erros de Decodificação: Modelos pequenos e localmente implantados (necessários para privacidade de dados) tendem a gerar respostas mesmo quando o contexto fornecido é insuficiente, ou, inversamente, recusam-se a responder excessivamente (comportamento conservador) quando há contexto suficiente.

2. Metodologia

A proposta dos autores combina duas abordagens principais para mitigar esses erros: um pipeline de RAG aprimorado e o ajuste fino via DPO.

A. RAG Enriquecido com Metadados (Metadata-Enriched Hybrid RAG)
Para melhorar a recuperação de documentos, os autores desenvolveram uma estratégia que vai além do simples "chunking" (fragmentação) de texto:

• Chunking Recursivo: Utilização de uma estratégia hierárquica que prioriza limites naturais do documento (seções, parágrafos) antes de dividir por caracteres, mantendo a coerência semântica.
• Injeção de Metadados: Os "chunks" de texto são enriquecidos com metadados específicos do domínio, como:
  • Resumo local (janela de 4 chunks vizinhos).
  • Detalhes do documento (nome, jurisdição).
  • Isso ocupa cerca de 20-25% do espaço de tokens, mas fornece contexto crucial para a geração de embeddings.
• Resumo de Janela Local: Geração de resumos concisos (150-200 tokens) de janelas sobrepostas de chunks para capturar contexto de longo alcance.
• Recuperação Híbrida: Combinação de embeddings densos (modelo gte-large) e recuperação esparsa (BM25) com pesos ponderados (0.8 para denso, 0.2 para esparsa) para garantir correspondência semântica e exata de termos jurídicos.

B. Otimização Direta de Preferência (DPO)
Para corrigir o comportamento do modelo gerador (decoder), os autores aplicaram DPO para ensinar o modelo a distinguir entre contextos suficientes e insuficientes:

• Construção do Dataset: Criação de pares de preferência a partir do conjunto de dados Australian Legal QA:
  • Contexto Correto: O modelo deve gerar a resposta correta (Chosen) ou recusar se o contexto for insuficiente (Rejeitado).
  • Contexto Incorreto: O modelo deve recusar a resposta (Chosen) e não alucinar uma resposta baseada em dados errados (Rejeitado).
• Objetivo: Alinhar o modelo para gerar respostas quando há evidência suficiente e recusar ("Given context is not sufficient to answer") quando não há, eliminando o viés de recusa excessiva observado em modelos instruídos via zero-shot.

3. Contribuições Principais

1. Identificação de Modos de Falha Específicos: Mapeamento detalhado de como a redundância lexical jurídica causa erros de recuperação (DRM) e como instruções explícitas de recusa levam a comportamentos conservadores indesejados em modelos pequenos.
2. Arquitetura Híbrida de RAG Jurídico: Demonstração de que a injeção de metadados (resumos locais e detalhes do documento) nos chunks de texto supera significativamente as abordagens de chunking recursivo padrão.
3. Aplicação de DPO para Segurança Jurídica: Uso bem-sucedido do DPO para calibrar a "confiança" do modelo, reduzindo alucinações em contextos inadequados sem sacrificar a capacidade de resposta em contextos adequados.
4. Avaliação Abrangente: Implementação de métricas específicas para o domínio, como Document Retrieval Mismatch (DRM) e Span Recall, além de avaliações de ponta a ponta.

4. Resultados

Os experimentos foram realizados em três conjuntos de dados: PrivacyQA, MAUD (análise de contratos) e Australian Legal QA.

Resultados do RAG (Recuperação):

• Melhoria no Span Recall: A abordagem enriquecida com metadados aumentou o Span Recall em até 34,9 pontos percentuais no conjunto Australian Legal QA (k=16) e em 320% no conjunto MAUD.
• Redução de Erros (DRM): Houve uma redução significativa na taxa de recuperação de documentos errados (DRM), caindo de 87% para 13% no conjunto MAUD e uma redução de 18,7 pontos percentuais no Australian Legal QA.
• Eficácia Variável: A melhoria foi mais dramática em contratos estruturados (MAUD) do que em políticas de privacidade, indicando que a estrutura do documento influencia a eficácia dos metadados.

Resultados do DPO (Geração/Decodificação):

• Comportamento de Recusa Seletiva:
  • Zero-shot: O modelo recusava 53,2% das vezes mesmo com contexto correto (excesso de cautela) e 87,3% das vezes com contexto incorreto.
  • Pós-DPO: A taxa de recusa com contexto correto caiu para 1,5%, enquanto com contexto incorreto subiu para 99,3%.
• Qualidade da Resposta: O modelo ajustado via DPO alcançou uma pontuação média BERTScore (F1) de 0,9074, comparado a 0,8526 do baseline (zero-shot), uma melhoria estatisticamente significativa.

Avaliação de Ponta a Ponta:
A combinação de Chunking com metadados + DPO resultou em uma melhoria de 0,0178 no F1 médio em relação ao baseline completo, demonstrando que a melhoria na recuperação e no alinhamento do modelo são complementares.

5. Significância e Conclusão

O trabalho demonstra que a precisão em LLMs jurídicos não pode ser alcançada apenas com modelos maiores ou mais dados, mas requer uma engenharia cuidadosa do pipeline de recuperação e alinhamento comportamental.

• Confiabilidade: A abordagem proposta mitiga alucinações em duas frentes: garantindo que a informação recuperada seja do documento correto (via metadados) e garantindo que o modelo não invente respostas quando a informação não está presente (via DPO).
• Privacidade e Eficiência: A solução é viável para modelos pequenos e localmente implantados, o que é crucial para a conformidade com privacidade de dados no setor jurídico.
• Futuro: Os autores sugerem que essa metodologia pode ser estendida para outros domínios de alta precisão, como o biomédico, e que estudos futuros devem explorar o impacto da escala do modelo e técnicas de pré-treinamento específico.

Em suma, o artigo oferece um roteiro prático para transformar LLMs genéricos em ferramentas jurídicas confiáveis, equilibrando a necessidade de precisão factual com a segurança de não alucinar.