IslamicLegalBench: Evaluating LLMs Knowledge and Reasoning of Islamic Law Across 1,200 Years of Islamic Pluralist Legal Traditions

Resumen Técnico: IslamicLegalBench

1. Planteamiento del Problema

Con el aumento del uso de Modelos de Lenguaje Grandes (LLMs) como GPT, Claude y DeepSeek para obtener orientación religiosa por parte de millones de musulmanes, surge una pregunta crítica: ¿Pueden estos sistemas de IA razonar de manera fiable sobre la ley islámica (Fiqh)?

La ley islámica presenta desafíos únicos para la IA debido a:

• Pluralismo jurídico: Existen múltiples escuelas de jurisprudencia (Suníes y Chiíes) con metodologías y respuestas válidas diferentes para un mismo problema.
• Dependencia de textos fundacionales: A diferencia de los sistemas legales occidentales codificados, el Fiqh requiere una interacción profunda con textos clásicos (Corán, Sunnah, consenso, analogía) durante más de 1.200 años.
• Riesgo de Alucinación: En contextos religiosos, una alucinación (fabricación de fatwas, citas erróneas o principios legales inventados) tiene consecuencias espirituales y sociales graves, no meramente informativas.
• Vacío de Evaluación: No existía un marco de evaluación sistemático que abarcara múltiples escuelas, dominios legales y niveles de complejidad razonada.

2. Metodología: IslamicLegalBench

Los autores introducen IslamicLegalBench, el primer benchmark pluralista diseñado para evaluar el rendimiento de los LLMs en la jurisprudencia islámica.

• Fuente de Datos:

  • Se extrajeron manualmente 271 pares de preguntas-respuestas de 38 textos legales fundacionales que abarcan 1.200 años de historia (desde el siglo VIII hasta la época moderna).
  • Se cubren 7 escuelas de jurisprudencia: Hanafi, Maliki, Shafi'i, Hanbali (Suníes), y Twelver Shi'i, Zaydi y Zahiri (Chiíes).
  • Se seleccionaron textos para evitar la contaminación de datos (modelos que ya "memorizaron" los textos durante su entrenamiento), priorizando obras menos comunes en corpus web modernos.

• Estructura del Dataset (718 instancias):
  El conjunto de datos se organiza en 13 tipos de tareas divididas en 3 niveles de complejidad:

  1. Baja Complejidad: Recuperación de hechos bibliográficos, existencia de conceptos y citas de autoridad (ej. "¿Quién es el autor de X?").
  2. Moderada Complejidad: Enumeración de condiciones legales, distinción de reglas comparativas y síntesis de artículos estatutarios. Estas tareas requieren conocimiento exacto y verbatim.
  3. Alta Complejidad: Identificación de la razón legal ('illah), aplicación analógica (qiyas), síntesis entre escuelas y mapeo a máximas legales.

• Evaluación:

  • Se probaron 9 LLMs de última generación (4 de código cerrado: GPT-5, Claude Sonnet 4.5, Gemini 2.5 Pro, Grok-4; y 5 de código abierto: Llama 4, Llama 3.1, GPT-OSS, DeepSeek R1, Qwen3).
  • Se utilizaron estrategias de Zero-shot y Few-shot prompting.
  • Métricas: Precisión, tasas de alucinación, tasas de abstención (cuando el modelo se niega a responder) y detección de premisas falsas.
  • Validación: Se utilizó un marco "LLM-as-a-Judge" (usando o3) validado por expertos humanos en derecho islámico, con un acuerdo inter-evaluador (Kappa de Cohen) de 0.816.

3. Contribuciones Clave

1. Nuevo Benchmark Multi-Escuela: El primer marco que evalúa sistemáticamente 7 escuelas de jurisprudencia y múltiples dominios legales (contratos, familia, finanzas, etc.).
2. Descubrimiento del Fallo en el Aprendizaje en Contexto (ICL): Se demostró que el few-shot prompting (dar ejemplos al modelo) no mejora significativamente el razonamiento legal islámico. Solo 2 de 9 modelos mejoraron más del 1%.
3. Identificación de Vulnerabilidades Críticas:
   • Comportamiento Sycophantic (Adulación): Los modelos tienden a aceptar premisas falsas en lugar de corregirlas.
   • Zona de Fallo de Complejidad Media: Un patrón paradójico donde los modelos fallan más en tareas de complejidad media que en las de alta complejidad.
4. Liberación de Datos: Se publica el 20% del dataset como conjunto de desarrollo, manteniendo el 80% oculto para preservar la integridad de la evaluación futura.

4. Resultados Principales

• Rendimiento General:

  • El mejor modelo (GPT-5) alcanzó solo un 67.65% de precisión con una tasa de alucinación del 21.25%.
  • Varios modelos (especialmente de código abierto más pequeños) tuvieron una precisión inferior al 35% y tasas de alucinación superiores al 55%.
  • Existe una brecha significativa entre modelos cerrados y abiertos: 19.76% en precisión y 13.32% en tasas de alucinación.

• La "Zona de Fallo de Complejidad Media" (Mid-Complexity Failure Zone):

  • Paradoja: Los modelos obtienen buenos resultados en tareas de baja complejidad (recuerdo de hechos) y relativamente mejores en alta complejidad (razonamiento abstracto), pero falle sistemáticamente en tareas de complejidad media.
  • Causa: Las tareas de complejidad media requieren conocimiento exacto y verbatim de textos clásicos (ej. enumerar condiciones de un contrato). Los modelos, al carecer de estos datos específicos en su entrenamiento, "alucinan" condiciones plausibles pero incorrectas. En cambio, en tareas de alta complejidad, pueden usar generalización semántica para parecer competentes sin necesidad de precisión textual.
  • Riesgo: Las respuestas de complejidad media parecen autoritarias y correctas, pero contienen errores fatales, creando una "valle inquietante" de razonamiento.

• Fallo en el Few-Shot Prompting:

  • El few-shot no compensa la falta de conocimiento fundamental. De hecho, empeoró el comportamiento sycophantic (aceptación de premisas falsas) en un 3.49% adicional.
  • Esto indica que el prompting no puede sustituir la falta de datos de entrenamiento especializados.

• Detección de Premisas Falsas:

  • 6 de los 9 modelos aceptaron premisas engañosas en más del 40% de los casos (el peor, GPT-OSS-120B, llegó al 86.27%).
  • Existe una correlación negativa fuerte (r = -0.87) entre la aceptación de premisas falsas y el rendimiento general: los modelos más débiles son más propensos a aceptar mentiras y generar respuestas incorrectas con confianza.

• Confianza Excesiva (False Confidence):

  • La mayoría de los modelos tienen tasas de abstención cercanas a 0%. Incluso cuando fallan, responden con confianza, sin indicar incertidumbre, lo que es peligroso en contextos religiosos.

5. Significado e Implicaciones

• No Listos para el Despliegue: Los LLMs generales actuales no están listos para ser utilizados como fuentes de orientación legal o religiosa islámica sin supervisión humana experta. Sus conocimientos fundamentales sobre el Fiqh son insuficientes.
• Fallo de las Técnicas de Post-Entrenamiento: El ajuste fino (fine-tuning) o el prompting no son soluciones suficientes. El problema es la falta de datos de entrenamiento base.
• Recomendación para la Comunidad de IA Islámica:
  • Es imperativo entrenar modelos con corpus legales islámicos a gran escala que incluyan colecciones de Hadiz clásicas, obras jurisprudenciales de las principales escuelas (madhabs) y compendios legales codificados.
  • Se necesita un enfoque de "conocimiento enriquecido" en lugar de técnicas ligeras de post-hoc.
• Seguridad y Ética: La capacidad de los modelos para aceptar premisas falsas y alucinar con confianza representa un riesgo espiritual y social grave para las comunidades musulmanas que dependen de estas herramientas.

En conclusión, IslamicLegalBench expone limitaciones críticas en la capacidad de razonamiento legal de la IA actual, demostrando que la precisión en el derecho islámico requiere una base de conocimientos especializada y exhaustiva que los modelos actuales no poseen.