💬 NLP

Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws

Este estudo demonstra que o ajuste fino eficiente em parâmetros com LoRA e quantização de 4 bits utilizando o framework Unsloth aumenta significativamente a capacidade do modelo Llama-3.1 de responder a questões jurídicas em árabe baseadas nas leis jordanianas, alcançando maior precisão e eficiência de recursos.

Autores originais: Mohammed Fasha, Bassam Hammo, Bilal Sowan, Husam Barham, Esam Nsour

Publicado 2026-01-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mohammed Fasha, Bassam Hammo, Bilal Sowan, Husam Barham, Esam Nsour

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário brilhante e culto chamado Llama. Este bibliotecário leu quase tudo no mundo e sabe falar muitas línguas, incluindo o árabe. No entanto, se você lhe fizer uma pergunta muito específica sobre a lei jordaniana (como "O que acontece se eu for preso por um crime específico?"), ele pode dar uma resposta vaga e genérica. Ele conhece a língua, mas não estudou o livro de regras específico do sistema jurídico da Jordânia.

Este artigo é sobre ensinar esse bibliotecário a se tornar um especialista.

O Problema: O Generalista vs. O Especialista

Os autores notaram que, embora os grandes modelos de IA (como o Llama 3.1) sejam ótimos para conversas gerais, eles têm dificuldade com tarefas complexas e específicas, como responder a questões jurídicas em árabe. É como pedir a um clínico geral para realizar uma cirurgia cardíaca; ele conhece medicina, mas precisa de treinamento específico para esse trabalho determinado. Além disso, treinar um modelo de IA massivo geralmente requer um supercomputador do tamanho de um edifício, o que é caro e difícil de acessar.

A Solução: "Rodinhas de Treinamento" para a IA

Os pesquisadores usaram um truque inteligente chamado Ajuste Fino de Parâmetros Eficientes (PEFT - Parameter Efficient Fine-Tuning).

A Analogia: Imagine que o modelo Llama é um caminhão gigante e pesado. Para ensinar a ele uma nova rota (leis jordanianas), você não precisa reconstruir todo o motor ou o chassi. Em vez disso, você apenas acopla um pequeno e leve módulo de GPS (chamado de adaptador LoRA) ao painel.
O Resultado: Este pequeno módulo ensina o caminhão exatamente para onde ir sem a necessidade de atualizar todo o veículo. Isso torna o processo de treinamento rápido, barato e possível em um computador padrão na nuvem (como o Google Colab Pro).

Eles também usaram a quantização de 4 bits, que é como comprimir um filme em alta definição para um arquivo menor para que ele caiba no seu telefone sem perder muita qualidade. Isso economizou ainda mais memória.

Os Dados de Treinamento: Construindo um Livro Didático Personalizado

Para ensinar a IA, os autores não apenas jogaram livros aleatórios nela. Eles:

Coletaram 18 leis jordanianas específicas (abrangendo coisas como direito civil, trabalhista, crimes e tribunais).
Extraíram 3.578 artigos específicos dessas leis.
Criaram um "Baralho de Flashcards": Eles usaram outra IA para transformar esses artigos jurídicos áridos em 6.000 pares de Pergunta e Resposta.
- Exemplo: Em vez de apenas ler a lei, a IA aprendeu: "Pergunta: Quando um pedido de reconsideração pode ser aceito? Resposta: Antes de iniciar o julgamento."

O Experimento: O Confronto

Os pesquisadores testaram duas versões da IA:

O Modelo Base: O Llama 3.1 "bruto" (o bibliotecário generalista).
O Modelo de Instrução (Instruct): Uma versão do Llama 3.1 que já foi ensinada a seguir instruções muito bem.

Eles então pegaram ambos esses modelos e aplicaram seu "módulo de GPS" (ajuste fino) usando os flashcards jurídicos jordanianos.

Os Resultados: Quem Venceu?

Os pesquisadores compararam as respostas usando um sistema de pontuação (BLEU e ROUGE) que mede o quão próxima a resposta da IA está de uma resposta escrita por um humano como sendo a "correta".

Os Vencedores: Ambos os modelos ajustados (fine-tuned) pontuaram significativamente mais alto do que as versões não treinadas. Eles aprenderam muito melhor o jargão e as regras jurídicas específicas.
A Surpresa: O Llama 3.1 "bruto", após o treinamento, na verdade teve um desempenho ligeiramente melhor do que a versão "Instruct".
- Por quê? Os autores sugerem que o modelo "Instruct" pode ter tido algumas "noções pré-concebidas" de seu treinamento anterior que atrapalharam o processo. O modelo "bruto" era como uma tela em branco, permitindo que ele absorvesse as regras jurídicas jordanianas perfeitamente, sem que velhos hábitos interferissem.

O Que a IA Realmente Fez Melhor?

O artigo mostra que, antes do treinamento, a IA dava respostas longas, vagas ou ligeiramente erradas. Após o treinamento:

Precisão: Se a lei dizia que um pedido deve ser feito antes do início de um julgamento, a IA treinada dizia exatamente isso. A IA não treinada poderia dar uma explicação genérica sobre "procedimentos judiciais".
Contexto: Quando questionada sobre medidas urgentes (como detenção), a IA treinada sabia exatamente quais etapas jurídicas específicas se aplicavam, enquanto a não treinada ficava confusa.

A Conclusão Principal

Este artigo prova que você não precisa de um supercomputador para tornar uma IA massiva um especialista em um campo específico. Ao usar "rodinhas de treinamento" eficientes (PEFT) e um bom conjunto de "flashcards" (os 6.000 pares de Q&A jurídicos), você pode transformar uma IA geral em uma especialista em Direito Jordaniano.

Os autores concluem que este método funciona bem e prepara o terreno para a construção de ferramentas que possam ajudar as pessoas a entender documentos jurídicos, embora notem que este estudo específico focou apenas na parte do treinamento, não na construção de um mecanismo de busca completo ainda.

Resumo Técnico: Ajuste Fino Eficiente de Parâmetros do Llama 3.1 para Responder a Questões Jurídicas em Árabe

Definição do Problema
O artigo aborda o desafio de aplicar Grandes Modelos de Linguagem (LLMs) a consultas jurídicas específicas em árabe, particularmente no contexto da lei jordaniana. Embora modelos como o Llama-3.1 demonstrem adaptabilidade geral, eles enfrentam obstáculos significativos no domínio jurídico devido à complexidade da linguística árabe, à escassez de conjuntos de dados anotados e à necessidade de um raciocínio preciso em vez de apenas recuperação de conhecimento geral. Os sistemas de PLN em árabe existentes frequentemente carecem do treinamento especializado necessário para interpretar terminologias jurídicas e nuances procedimentais com precisão. Além disso, as abordagens de ajuste fino padrão são frequentemente proibitivas do ponto de vista computacional, limitando sua acessibilidade para pesquisadores que trabalham em ambientes com recursos restritos.

Metodologia
O estudo emprega um pipeline estruturado para adaptar os modelos Llama-3.1 para o sistema de perguntas e respostas (QA) jurídico jordaniano:

Curadoria de Dados: Os autores coletaram e organizaram artigos de 18 leis jordanianas específicas, incluindo o Direito Civil, o Código Penal, a Lei do Trabalho e a Lei de Crimes Eletrônicos. A partir desses textos, foram extraídos 3.578 artigos jurídicos.
Geração de Conjunto de Dados: Utilizando a API da OpenAI (GPT-3.5 Turbo), a equipe gerou um conjunto de dados customizado de aproximadamente 6.000 triplas estruturadas (Pergunta, Resposta, Contexto) baseadas nos artigos jurídicos extraídos. Este conjunto de dados foi dividido em 80% para treinamento e 20% para teste.
Seleção de Modelo e Quantização: Duas variantes do modelo Llama-3.1-8B foram selecionadas: o modelo base e a variante ajustada para instruções (instruction-tuned). Ambos foram quantizados para precisão de 4 bits (bnb-4bit) para reduzir o overhead de memória.
Ajuste Fino Eficiente de Parâmetros (PEFT): Os modelos foram ajustados utilizando adaptadores de Adaptação de Baixo Rank (LoRA). A configuração incluiu um rank ( $r$ ) de 16, um LoRA alpha de 16 e nenhum dropout. O treinamento foi conduzido em um ambiente Google Colab Pro utilizando uma GPU NVIDIA A10-SXM4-40GB.
Parâmetros de Treinamento: Os modelos foram treinados por uma época com uma taxa de aprendizado de $2 \times 10^{-4}$ , um tamanho de lote (batch size) de 2 (utilizando acumulação de gradiente) e precisão FP16/BF16. O framework Unsloth foi utilizado para acelerar o processo de treinamento.

Principais Resultados
O desempenho dos modelos ajustados foi avaliado em relação aos seus respectivos modelos base utilizando as métricas BLEU e ROUGE (ROUGE-1, ROUGE-2 e ROUGE-L).

Melhorias Quantitativas: Ambos os modelos ajustados superaram significativamente seus correspondentes base.
- O llama3.1 base alcançou uma pontuação BLEU de 0,058, enquanto o fine_tuned_llama3.1 atingiu 0,290.
- O llama3.1_instruct base obteve 0,128 no BLEU, enquanto o fine_tuned_llama3.1_instruct obteve 0,270.
- Melhorias semelhantes foram observadas em todas as métricas ROUGE, indicando que os modelos ajustados geraram respostas muito mais próximas da verdade fundamental (ground truth) escrita por humanos.
Comparação de Modelos: Curiosamente, o modelo base ajustado (fine_tuned_llama3.1) superou ligeiramente o modelo de instrução ajustado (fine_tuned_llama3.1_instruct) nas pontuações BLEU e ROUGE. Os autores sugerem que isso pode ser devido à inicialização neutra do modelo base, permitindo uma adaptação mais específica à tarefa jurídica, enquanto o modelo ajustado para instruções pode ter carregado vieses prévios conflitantes com os padrões do conjunto de dados específico.
Análise Qualitativa: A avaliação humana de amostras aleatórias revelou que os modelos ajustados forneceram respostas concisas e procedimentalmente precisas, alinhadas com as verdades fundamentais jurídicas. Em contraste, os modelos base frequentemente produziram respostas verbosas, generalizadas ou procedimentalmente incorretas. Por exemplo, em questões relativas a prazos procedimentais ou medidas urgentes, os modelos ajustados identificaram corretamente condições jurídicas específicas (ex: reportar crimes antes da descoberta), enquanto os modelos base falharam em capturar essas nuances.

Principais Contribuições

Criação de Conjunto de Dados: A criação e o lançamento público de um conjunto de dados curado de 6.000 pares de perguntas e respostas jurídicas jordanianas, derivados de 18 leis específicas.
Estratégia de Adaptação Eficiente: Demonstração de um fluxo de trabalho eficiente em recursos usando quantização de 4 bits, LoRA e o framework Unsloth para ajustar o Llama-3.1 em uma única GPU de nível consumidor (via Colab), tornando a adaptação de domínio acessível.
Evidência Empírica: Fornecimento de evidências quantitativas e qualitativas de que o ajuste fino melhora significativamente o desempenho dos LLMs no domínio jurídico árabe, especificamente para a lei jordaniana.

Significância e Alegações
O artigo afirma que este trabalho serve como um passo fundamental para a construção de sistemas de Geração Aumentada por Recuperação (RAG) offline para aplicações jurídicas em árabe. Ao demonstrar que os LLMs ajustados podem compreender e responder efetivamente a questões jurídicas específicas, o estudo destaca o potencial de adaptar grandes modelos de linguagem para domínios especializados de baixo recurso. Os autores enfatizam que sua abordagem oferece uma metodologia replicável para avançar o PLN em árabe em contextos jurídicos, pavimentando o caminho para ferramentas práticas, como assistentes de pesquisa jurídica e análise automatizada de documentos. O estudo conclui que, embora o ajuste fino seja eficaz, trabalhos futuros devem focar na integração desses modelos em pipelines completos de RAG e na expansão dos conjuntos de dados para incluir diversos dialetos árabes e documentos jurídicos não estruturados.