LEMUR: A Corpus for Robust Fine-Tuning of Multilingual Law Embedding Models for Retrieval

Resumo Técnico: LEMUR – Um Corpus para Ajuste Fino Robusto de Modelos de Embedding Jurídico Multilíngue

1. O Problema

O uso de Grandes Modelos de Linguagem (LLMs) no setor jurídico enfrenta desafios críticos, como "alucinações" e a falta de fundamentação em fontes oficiais. Para mitigar isso, utiliza-se a Geração Aumentada de Recuperação (RAG). No entanto, o sucesso do RAG depende da qualidade dos modelos de embedding (que transformam texto em vetores para busca).

Os autores identificam três lacunas principais:

• Falta de modelos especializados: Modelos de embedding genéricos não lidam bem com a terminologia arcaica e a sintaxe complexa do direito.
• Escassez de dados multilíngues de alta qualidade: A maioria dos conjuntos de dados jurídicos existentes é voltada para classificação ou pré-treinamento, não para tarefas de recuperação semântica (retrieval).
• Ruído de extração (Extraction Gap): Documentos legislativos oficiais costumam estar em PDF, cuja conversão para texto frequentemente corrompe tabelas e layouts, prejudicando a integridade dos dados para sistemas de busca.

2. Metodologia

Os pesquisadores propuseram uma abordagem de ponta a ponta para construir e avaliar modelos de recuperação jurídica:

• Construção do Corpus LEMUR: Criaram um corpus multilingue de legislação ambiental da União Europeia, extraído de 24.953 documentos PDF oficiais do EUR-Lex, abrangendo 25 idiomas.
• Métrica LCS (Lexical Content Score): Para validar a conversão de PDF para texto, desenvolveram o LCS, que mede a similaridade de cosseno entre os vetores bag-of-words do texto extraído e a versão HTML oficial (referência de verdade).
• Processamento de Dados: Utilizaram o olmOCR para converter PDFs em arquivos JSONL estruturados. O método de treinamento baseia-se em pares metadados-documento: o bloco de metadados (tipo de ato, data, descrição) serve como a query (pergunta), e o corpo do texto legislativo serve como o documento a ser recuperado.
• Estratégias de Fine-Tuning (Ajuste Fino):
  • Monolíngue: Uso de aprendizado contrastivo (Multiple Negatives Ranking - MNR) para treinar um modelo por idioma.
  • Bilingue (Multi-positivo): Treinamento conjunto de dois idiomas (ex: Inglês e Letão), onde uma única query de metadados é emparelhada com as versões traduzidas do mesmo ato legal, promovendo o alinhamento semântico entre línguas.
• Modelos Testados: Três modelos de estado da arte (SOTA): E5-Multilingual, Qwen3-0.6B e Qwen3-4B.

3. Principais Contribuições

1. LEMUR: Um novo dataset de larga escala focado em recuperação semântica jurídica multilingue.
2. LCS: Uma metodologia sistemática para quantificar a fidelidade da conversão de documentos jurídicos complexos.
3. Framework de Fine-Tuning: Um protocolo de treinamento que demonstra como adaptar modelos de embedding para o domínio jurídico e para cenários de busca realistas.

4. Resultados

• Melhoria Consistente: O ajuste fino no domínio jurídico melhorou a precisão de recuperação (Top-k accuracy) em todos os idiomas e tamanhos de modelo testados.
• Redução da Lacuna de Recursos: Em idiomas de "baixos recursos" (como Letão e Maltês), o desempenho inicial era baixo, mas o ajuste fino elevou sua precisão a níveis comparáveis aos idiomas de "altos recursos" (Inglês, Alemão, Francês).
• Transferência Cross-lingual: Os modelos ajustados em um idioma demonstraram capacidade de generalização para idiomas não vistos durante o treinamento. Isso indica que o ajuste fino melhora a representação do conteúdo jurídico em nível conceitual, e não apenas o conhecimento linguístico específico.
• Efeito Bilingue: O treinamento conjunto (ex: EN-LV) ajudou a fortalecer o desempenho de idiomas com menos dados, sem prejudicar o desempenho dos idiomas mais robustos (sem transferência negativa).

5. Significância

Este trabalho é fundamental para o desenvolvimento de sistemas de IA jurídica mais confiáveis e acessíveis globalmente. Ao provar que é possível transferir conhecimento jurídico entre idiomas através de embeddings, os autores pavimentam o caminho para sistemas de busca legal que funcionam de forma eficiente em toda a União Europeia, independentemente da riqueza de dados de um idioma específico. Além disso, a abordagem de usar metadados como queries torna o modelo altamente aplicável a sistemas de RAG reais, onde usuários buscam informações baseadas em descrições curtas de leis.