💬 NLP

Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws

Este estudio demuestra que el ajuste fino eficiente en parámetros con LoRA y la cuantización de 4 bits utilizando el marco de trabajo Unsloth mejora significativamente la capacidad del modelo Llama-3.1 para responder preguntas legales en árabe basadas en las leyes jordanas, logrando una mayor precisión y eficiencia de recursos.

Autores originales: Mohammed Fasha, Bassam Hammo, Bilal Sowan, Husam Barham, Esam Nsour

Publicado 2026-01-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mohammed Fasha, Bassam Hammo, Bilal Sowan, Husam Barham, Esam Nsour

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a una bibliotecaria brillante y culta llamada Llama. Esta bibliotecaria ha leído casi todo en el mundo y sabe hablar muchos idiomas, incluyendo el árabe. Sin embargo, si le haces una pregunta muy específica sobre la ley jordana (como "¿Qué pasa si me arrestan por un delito específico?"), es posible que dé una respuesta vaga y genérica. Conoce el idioma, pero no ha estudiado el manual de reglas específico del sistema legal de Jordania.

Este documento trata sobre cómo enseñar a esa bibliotecaria a convertirse en una especialista.

El Problema: El Generalista frente al Especialista

Los autores notaron que, aunque los grandes modelos de IA (como Llama 3.1) son excelentes para la conversación general, tienen dificultades con tareas compleicas y específicas como responder preguntas legales en árabe. Es como pedirle a un médico general que realice una cirugía cardíaca; conoce la medicina, pero necesita un entrenamiento específico para ese trabajo concreto. Además, entrenar un modelo de IA masivo suele requerir una supercomputadora del tamaño de un edificio, lo cual es costoso y difícil de acceder.

La Solución: "Ruedas de entrenamiento" para la IA

Los investigadores utilizaron un truño ingenioso llamado Ajuste Fino de Parámetros Eficiente (PEFT).

La Analogía: Imagina que el modelo Llama es un camión gigante y pesado. Para enseñarle una nueva ruta (las leyes jordanas), no necesitas reconstruir todo el motor o el chasis. En su lugar, solo conectas un pequeño y ligero módulo GPS (llamado adaptador LoRA) al tablero.
El Resultado: Este pequeño módulo le enseña al camión exactamente hacia dónde ir sin necesidad de actualizar todo el vehículo. Esto hace que el proceso de entrenamiento sea rápido, barato y posible en una computadora estándar en la nube (como Google Colab Pro).

También utilizaron la cuantización de 4 bits, que es como comprimir una película de alta definición en un archivo más pequeño para que quepa en tu teléfono sin perder demasiada calidad. Esto ahorró aún más memoria.

Los Datos de Entrenamiento: Construyendo un Libro de Texto Personalizado

Para enseñar a la IA, los autores no solo le lanzaron libros aleatorios. Ellos:

Recolectaron 18 leyes específicas de Jordania (que cubren temas como derecho civil, laboral, delitos y tribunales).
Extrajeron 3,578 artículos específicos de estas leyes.
Crearon un mazo de "Fichas de estudio": Utilizaron otra IA para convertir estos áridos artículos legales en 6,000 pares de Pregunta-Respuesta.
- Ejemplo: En lugar de solo leer la ley, la IA aprendió: "Pregunta: ¿Cuándo se puede aceptar una solicitud de reconsideración? Respuesta: Antes de entrar al juicio".

El Experimento: El Enfrentamiento

Los investigadores probaron dos versiones de la IA:

El Modelo Base: El Llama 3.1 "puro" (el bibliotecario general).
El Modelo de Instrucción (Instruct): Una versión de Llama 3.1 que ya había sido enseñada a seguir instrucciones con destreza.

Luego, tomaron ambos y aplicaron su "módulo GPS" (ajuste fino) utilizando las fichas de estudio legales jordanas.

Los Resultados: ¿Quién ganó?

Los investigadores compararon las respuestas utilizando un sistema de puntuación (BLEU y ROUGE) que mide qué tan cerca está la respuesta de la IA de una respuesta "correcta" escrita por un humano.

Los Ganadores: Ambos modelos ajustados (fine-tuned) obtuvieron puntuaciones significativamente más altas que las versiones no entrenadas. Aprendieron mucho mejor la jerga y las reglas legales específicas.
La Sorpresa: El Llama 3.1 "puro", tras el entrenamiento, desempeñó en realidad un rendimiento ligeramente mejor que la versión "Instruct".
- ¿Por qué? Los autores sugieren que el modelo "Instruct" podría haber tenido algunas "nociones preconcebidas" de su entrenamiento previo que interfirieron en el proceso. El modelo "puro" era como una hoja en blanco, por lo que pudo absorber las reglas legales jordanas perfectamente sin que los viejos hábitos interfirieran.

¿Qué hizo mejor la IA realmente?

El documento muestra que, antes del entrenamiento, la IA daba respuestas largas, vagas o ligeramente incorrectas. Después del entrenamiento:

Precisión: Si la ley decía que una solicitud debe presentarse antes de que comience el juicio, la IA entrenada decía exactamente eso. La IA no entrenada podría haber dado una explicación genérica sobre "procedimientos judiciales".
Contexto: Cuando se le preguntaba sobre medidas urgentes (como la detención), la IA entrenada sabía exactamente qué pasos legales específicos se aplicaban, mientras que la no entrenada estaba confundida.

La Conclusión Final

Este documento demuestra que no necesitas una supercomputadora para hacer de una IA masiva un experto en un campo específico. Al usar "ruedas de entrenamiento" eficientes (PEFT) y un buen conjunto de "fichas de estudio" (los 6,000 pares de preguntas y respuestas legales), puedes convertir una IA general en una especialista en la Ley Jordana.

Los autores concluyen que este método funciona bien y sienta las bases para construir herramientas que puedan ayudar a las personas a entender documentos legales, aunque señalan que este estudio específico se centró solo en la parte del entrenamiento, no en la construcción de un motor de búsqueda completo todavía.

Resumen Técnico: Ajuste Fino de Parámetros Eficiente para Llama 3.1 en la Respuesta a Preguntas Legales en Árabe

Planteamiento del Problema
El artículo aborda el desafío de aplicar Modelos de Lenguaje de Gran Escala (LLMs) a consultas legales en árabe específicas de un dominio, particularmente dentro del contexto del derecho jordano. Aunque modelos como Llama-3.1 muestran una adaptabilidad general, enfrentan obstáculos significativos en el dominio legal debido a la complejidad de la lingüística árabe, la escasez de conjuntos de datos anotados y la necesidad de un razonamiento preciso en lugar de una simple recuperación de conocimiento general. Los sistemas de PLN en árabe existentes suelen carecer de la formación especializada necesaria para interpretar con precisión la terminología legal y los matices procesales. Además, los enfoques de ajuste fino estándar suelen ser computacionalmente prohibitivos, lo que limita su accesibilidad para investigadores que trabajan en entornos con recursos limitados.

Metodología
El estudio emplea un flujo de trabajo estructurado para adaptar los modelos Llama-3.1 para la respuesta a preguntas (QA) legales jordanas:

Curación de Datos: Los autores recopilaron y curaron artículos de 18 leyes jordanas específicas, incluyendo el Derecho Civil, el Código Penal, la Ley Laboral y la Ley de Delitos Electrónicos. De estos textos se extrajeron 3,578 artículos legales.
Generación del Conjunto de Datos: Utilizando la API de OpenAI (GPT-3.5 Turbo), el equipo generó un conjunto de datos personalizado de aproximadamente 6,000 tríos estructurados (Pregunta, Respuesta, Contexto) basados en los artículos legales extraídos. Este conjunto de datos se dividió en un 80% para entrenamiento y un 20% para pruebas.
Selección de Modelos y Cuantización: Se seleccionaron dos variantes del modelo Llama-3.1-8B: el modelo base y la variante ajustada por instrucciones (instruction-tuned). Ambos fueron cuantizados a precisión de 4 bits (bnb-4bit) para reducir la sobrecarga de memoria.
Ajuste Fino de Parámetros Eficiente (PEFT): Los modelos fueron ajustados utilizando adaptadores de Adaptación de Bajo Rango (LoRA). La configuración incluyó un rango ( $r$ ) de 16, un alfa de LoRA de 16 y sin dropout. El entrenamiento se llevó a cabo en un entorno de Google Colab Pro utilizando una GPU NVIDIA A100-SXM4-40GB.
Parámetros de Entrenamiento: Los modelos fueron entrenados durante una época (epoch) con una tasa de aprendizaje de $2 \times 10^{-4}$ , un tamaño de lote (batch size) de 2 (utilizando acumulación de gradientes) y precisión FP16/BF16. Se aprovechó el marco de trabajo Unsloth para acelerar el proceso de entrenamiento.

Resultados Clave
El rendimiento de los modelos ajustados se evaluó frente a sus respectivos modelos base utilizando las métricas BLEU y ROUGE (ROUGE-1, ROUGE-2 y ROUGE-L).

Mejoras Cuantitativas: Ambos modelos ajustados superaron significativamente a sus contrapartes base.
- El llama3.1 base logró una puntuación BLEU de 0.058, mientras que el fine_tuned_llama3.1 alcanzó 0.290.
- El llama3.1_instruct base obtuvo 0.128 en BLEU, mientras que el fine_tuned_llama3.1_instruct obtuvo 0.270.
- Se observaron mejoras similares en todas las métricas ROUGE, lo que indica que los modelos ajustados generaron respuestas mucho más cercanas a la verdad de referencia (ground truth) escrita por humanos.
Comparación de Modelos: Curiosamente, el modelo base ajustado (fine_tuned_llama3.1) superó ligeramente al modelo de instrucciones ajustado (fine_tuned_llama3.1_instruct) en las puntuaciones BLEU y ROUGE. Los autores sugieren que esto puede deberse a que la inicialización neutral del modelo base permite una adaptación más específica a la tarea legal, mientras que el modelo ajustado por instrucciones puede haber portado sesgos previos que entran en conflicto con los patrones específicos del conjunto de datos.
Análisis Cualitativo: La evaluación humana de muestras aleatorias reveló que los modelos ajustados proporcionaron respuestas concisas y procesalmente precisas alineadas con las verdades legales de referencia. En contraste, los modelos base a menudo produjeron respuestas verbosas, generalizadas o procesalmente incorrectas. Por ejemplo, en preguntas relativas a tiempos procesales o medidas urgentes, los modelos ajustados identificaron correctamente condiciones legales específicas (por ejemplo, reportar delitos antes de su descubrimiento), mientras que los modelos base no lograron capturar estos matices.

Contribuciones Clave

Creación de Conjunto de Datos: La creación y publicación de un conjunto de datos curado de 6,000 pares de preguntas-respuestas legales jordanas, derivadas de 18 leyes específicas.
Estrategia de Adaptación Eficiente: Demostración de un flujo de trabajo eficiente en recursos utilizando cuantización de 4 bits, LoRA y el marco Unsloth para ajustar Llama-3.1 en una sola GPU de consumo (vía Colab), haciendo que la adaptación de dominio sea accesible.
Evidencia Empírica: Provisión de evidencia cuantitativa y cualitativa de que el ajuste fino mejora significativamente el rendimiento de los LLM en el dominio legal árabe, específicamente para la ley jordana.

Significancia y Reivindicaciones
El artículo sostiene que este trabajo sirve como un paso fundacional para construir sistemas de Generación Aumentada por Recuperación (RAG) offline para aplicaciones legales en árabe. Al demostrar que los LLM ajustados pueden comprender y responder eficazmente a preguntas legales específicas, el estudio subraya el potencial de adaptar los modelos de lenguaje de gran escala para dominios especializados de bajos recursos. Los autores enfatizan que su enfoque ofrece una metodología replicable para avanzar en el PLN en árabe en contextos legales, allanando el camino para herramientas prácticas como asistentes de investigación legal y análisis automatizado de documentos. El estudio concluye que, si bien el ajuste fino es efectivo, el trabajo futuro debería centrarse en integrar estos modelos en canales (pipelines) RAG completos y expandir los conjuntos de datos para incluir diversos dialectos árabes y documentos legales no estructurados.