DALDALL: Data Augmentation for Lexical and Semantic Diverse in Legal Domain by leveraging LLM-Persona

Resumo Técnico: DALDALL

1. O Problema

A área de Recuperação de Informação (RI) no domínio jurídico enfrenta um desafio persistente: a escassez de dados anotados de alta qualidade. Diferente de domínios gerais, o direito possui terminologia especializada, estruturas complexas e a necessidade de expertise para anotação, tornando a criação de conjuntos de dados grandes e caros.

• Limitações das abordagens atuais: Métodos existentes de aumento de dados (data augmentation) baseados em Grandes Modelos de Linguagem (LLMs) frequentemente priorizam a quantidade em detrimento da qualidade. Técnicas como few-shot prompting tendem a fazer o modelo reutilizar o vocabulário dos exemplos fornecidos, resultando em dados sintéticos com baixa diversidade lexical e semântica.
• Necessidade: Em domínios de baixo recurso (low-resource), como o jurídico, é crucial gerar dados que não apenas aumentem o volume, mas que introduzam diversidade lexical (para sistemas de recuperação esparsa, como BM25) e diversidade semântica (para sistemas de recuperação densa), mantendo a fidelidade ao significado original.

2. Metodologia: DALDALL

Os autores propõem o DALDALL, um framework de aumento de dados baseado em personas (papéis profissionais) para o domínio jurídico.

• Conceito Central: Em vez de solicitar ao LLM que gere consultas de forma genérica ("Vanilla"), o método atribui ao modelo personas profissionais específicas (ex: advogado, promotor, juiz, professor de direito). Cada persona possui uma perspectiva, objetivos e padrões linguísticos distintos ao formular consultas sobre um mesmo caso.
• Pipeline de Geração:
  1. Extração de Essenciais: Antes da geração, o sistema extrai componentes invariantes do caso original (questão jurídica, teste/standard legal, precedentes chave e estatutos/regras) baseando-se no framework IRAC (Issue, Rule, Application, Conclusion). Isso garante que o significado legal seja preservado.
  2. Geração com Persona: O LLM gera consultas sintéticas baseadas no texto original e nos "essenciais", mas instruído a adotar a perspectiva de uma persona específica.
  3. Comparação: O método é comparado contra uma abordagem "Vanilla" (sem persona) e contra os dados originais.
• Configuração Experimental:
  • Datasets: CLERC (focado em citação, consultas curtas) e COLIEE (focado em recuperação de casos, consultas longas e complexas).
  • Modelos de Recuperação: Avaliação em retrievers densos (DPR, LegalBERT, BGE-base, multilingual-e5-base, BGE-M3) e esparsos (BM25).
  • Métricas: Diversidade Lexical (Self-BLEU), Diversidade Semântica (Intra-Cosine Similarity) e Desempenho de Recuperação (Recall@k).

3. Contribuições Principais

1. Estratégia de Persona Jurídica: Introdução de uma estratégia de aumento de dados que utiliza papéis profissionais específicos do direito para induzir diversidade lexical e semântica significativa, superando as limitações do few-shot prompting tradicional.
2. Análise Empírica de Diversidade: Demonstração de que as personas geram consultas com maior diversidade lexical (menores pontuações de Self-BLEU) e, dependendo da complexidade do texto de entrada, maior diversidade semântica, sem perder a fidelidade semântica ao caso original.
3. Validação de Desempenho: Evidência de que retrievers finamente ajustados (fine-tuned) em dados aumentados por personas alcançam desempenho de recall competitivo ou superior em comparação com dados originais ou aumentações genéricas.

4. Resultados Chave

• Diversidade Lexical: O método baseado em Persona superou consistentemente o método Vanilla em ambos os datasets.
  • No CLERC, houve uma melhoria de 15% na diversidade (Self-BLEU de 0,368 vs 0,435).
  • No COLIEE, a melhoria foi de 23% (Self-BLEU de 0,318 vs 0,414).
  • Isso indica que as personas introduzem variações de vocabulário que o Vanilla prompting não consegue alcançar apenas por paráfrase.
• Diversidade Semântica:
  • Em textos longos (COLIEE), as personas conseguiram gerar variações semânticas genuínas (menor similaridade intra-augmentação), explorando diferentes aspectos do caso.
  • Em textos curtos (CLERC), a diversidade semântica foi menor, pois o conteúdo limitado impedia a diferenciação profunda entre as perspectivas, embora a diversidade lexical permanecesse alta.
• Desempenho de Recuperação:
  • Retrieveres como DPR e BGE-base-en-v1.5 ajustados com dados de Persona mostraram melhorias ou manutenção do desempenho em relação aos dados originais.
  • O método não causou distribution shift (desvio de distribuição) prejudicial nos modelos, exceto em casos específicos como o LegalBERT (que pode ter sido prejudicado pela natureza mais informal das consultas geradas por personas, contrastando com seu pré-treinamento em textos jurídicos formais).
• Ablação de Personas: O estudo identificou que 5 personas oferecem o melhor equilíbrio entre ganho de diversidade semântica, custo computacional e desempenho final, embora o número ideal dependa do trade-off entre diversidade lexical e semântica desejada.

5. Significado e Impacto

O trabalho DALDALL estabelece que a engenharia de prompts baseada em personas é uma estratégia eficaz para gerar dados de treinamento de alta qualidade em domínios especializados e de baixo recurso.

• Para o Domínio Jurídico: Oferece uma solução prática para a escassez de dados, permitindo o treinamento de modelos de RI mais robustos que entendem as nuances de diferentes atores jurídicos.
• Para a Comunidade de IA: Demonstra que a qualidade dos dados sintéticos (diversidade e fidelidade) é mais crítica do que a quantidade bruta em tarefas complexas. O framework pode ser adaptado para outros domínios especializados (como medicina ou engenharia) onde papéis profissionais distintos influenciam a formulação de consultas.

Em suma, o DALDALL valida que simular a perspectiva de múltiplos profissionais jurídicos via LLMs é um caminho viável e superior para enriquecer conjuntos de dados de treinamento, melhorando a capacidade de recuperação de informações em cenários onde os dados reais são escassos.