IslamicLegalBench: Evaluating LLMs Knowledge and Reasoning of Islamic Law Across 1,200 Years of Islamic Pluralist Legal Traditions

1. Il Problema

Con la crescente adozione di modelli linguistici su larga scala (LLM) come GPT, Claude e DeepSeek da parte di milioni di musulmani per la guida religiosa, sorge una domanda critica: gli attuali sistemi di intelligenza artificiale sono in grado di ragionare in modo affidabile sulla legge islamica (Fiqh)?

La legge islamica presenta sfide uniche rispetto ai sistemi legali occidentali codificati:

• Pluralismo giuridico: Esistono sette scuole principali di giurisprudenza (4 sunnite e 3 sciite), ognuna con metodologie interpretative distinte (usul al-fiqh).
• Natura delle fonti: Si basa su testi fondamentali complessi (Corano, Sunnah, consenso degli studiosi, ragionamento analogico) e richiede una profonda comprensione del contesto storico e sociale.
• Rischio di allucinazioni: In contesti religiosi, le "allucinazioni" (risposte plausibili ma fattualmente errate) non sono solo errori tecnici, ma possono portare a conseguenze spirituali e sociali gravi, come la distorsione delle pratiche religiose o l'erosione dell'autorità degli studiosi.

Attualmente, mancano framework di valutazione che coprano in modo sistematico più scuole giuridiche, diversi domini legali e livelli di complessità ragionativa.

2. Metodologia: IslamicLegalBench

Gli autori hanno sviluppato IslamicLegalBench, il primo benchmark multi-scuola per valutare le prestazioni degli LLM nella giurisprudenza islamica.

• Origine dei Dati: Il dataset è stato costruito estraendo manualmente 271 coppie domanda-risposta da 38 testi legali fondamentali che coprono 1.200 anni di tradizione (dall'VIII secolo al periodo contemporaneo).
• Copertura: Include 7 scuole di giurisprudenza (Hanafi, Maliki, Shafi'i, Hanbali, Zahiri, Zaydi, Twelver Shi'i) e copre domini come diritto contrattuale, familiare, penale e finanziario.
• Struttura del Benchmark: I 271 punti di partenza sono stati trasformati in 718 istanze di valutazione organizzate in 13 tipi di task e suddivisi in tre livelli di complessità:
  1. Bassa Complessità: Richiamo bibliografico e fattuale (es. autore, periodo, esistenza di un concetto).
  2. Media Complessità: Enumerazione di condizioni legali, distinzioni comparative, sintesi di articoli statutari.
  3. Alta Complessità: Identificazione della ragione legale ('illah), applicazione analogica (qiyas), sintesi tra scuole diverse, mappatura su massime legali.
• Valutazione: Sono stati testati 9 modelli LLM all'avanguardia (sia closed-source che open-source) utilizzando strategie zero-shot e few-shot. La valutazione è stata condotta tramite un framework "LLM-as-a-Judge" (utilizzando il modello o3) calibrato con esperti umani per misurare correttezza, allucinazioni, astensione e rilevamento di premesse false.

3. Contributi Chiave

1. Nuovo Benchmark Multi-Scuola: Il primo framework sistematico che include tradizioni sunnite e sciite, testando capacità che vanno dal richiamo di base al ragionamento analogico complesso.
2. Scoperta del Fallimento dell'Apprendimento in Contesto (ICL): L'analisi rivela che il few-shot prompting offre benefici minimi o nulli per il ragionamento legale islamico (solo 2 modelli su 9 migliorano di oltre l'1%).
3. Identificazione di Vulnerabilità Critiche:
   • Sycophancy (Adulazione): I modelli tendono ad accettare premesse false inserite nelle query (es. attribuire un testo a una scuola sbagliata) invece di correggerle.
   • Zona di Fallimento a Media Complessità: I modelli falliscono sistematicamente su task che richiedono conoscenza testuale esatta, pur mostrando buone prestazioni su task di ragionamento astratto.
4. Rilascio del Dataset: Viene reso pubblico il 20% del dataset come set di sviluppo, mantenendo l'80% riservato per preservare l'integrità della valutazione.

4. Risultati Principali

L'analisi dei 9 modelli testati ha rivelato limitazioni significative:

• Prestazioni Generali: Il modello migliore (GPT-5) ha raggiunto solo il 67,65% di correttezza con un tasso di allucinazione del 21,25%. Diversi modelli hanno ottenuto correttezza inferiore al 35% e tassi di allucinazione superiori al 55%.
• Il Paradosso della Complessità (Mid-Complexity Failure Zone):
  • I task di bassa complessità (richiamo fattuale) e alta complessità (ragionamento astratto, principi generali) mostrano prestazioni accettabili.
  • I task di media complessità (che richiedono l'enumerazione esatta di condizioni legali o la sintesi di articoli specifici) mostrano i tassi di errore più alti (correttezza tra l'8,82% e il 47,06%, allucinazioni fino al 73%).
  • Spiegazione: I modelli eccellono nel generare argomentazioni fluide e plausibili (ragionamento semantico) ma falliscono quando è necessaria una conoscenza testuale verbatim assente nei dati di addestramento.
• Fallimento del Few-Shot Prompting: L'aggiunta di esempi in contesto non ha colmato il divario di conoscenza. Anzi, in alcuni casi ha peggiorato il comportamento "sycophantic", aumentando l'accettazione di premesse false del 3,49%.
• Divario Closed-Source vs Open-Source: I modelli proprietari (closed-source) superano significativamente quelli open-source (+19,76% di correttezza, -13,32% di allucinazioni), ma nemmeno i migliori modelli closed-source sono pronti per un dispiegamento autonomo in contesti ad alto rischio.
• Rilevamento di Premesse False: 6 modelli su 9 accettano premesse fuorvianti in più del 40% dei casi (il peggio: 86,27%). Esiste una forte correlazione negativa (r = -0,87) tra l'accettazione di premesse false e la correttezza complessiva.

5. Significato e Implicazioni

I risultati del paper hanno implicazioni profonde per l'intersezione tra IA e diritto islamico:

• Inadeguatezza dei Modelli Attuali: I modelli LLM generali attuali non possiedono la conoscenza legale islamica fondamentale necessaria per essere utilizzati come fonti affidabili di guida religiosa. Le loro risposte, sebbene linguisticamente fluide, sono spesso prive di fondamento dottrinale preciso.
• Il Prompting non è una Soluzione: L'ingegneria dei prompt (few-shot, istruzioni) non può compensare l'assenza di dati di addestramento specifici. Non è possibile "insegnare" a un modello concetti giuridici complessi solo fornendogli esempi in contesto se il modello non ha mai visto i testi originali durante l'addestramento.
• Necessità di Addestramento Specializzato: La strada per un'IA legale islamica affidabile passa attraverso l'addestramento su corpora legali islamici su larga scala e comprensivi, che includano collezioni di Hadith, opere giurisprudenziali delle diverse scuole (madhabs) e codici legali, coprendo un arco temporale di oltre 1200 anni.
• Sicurezza ed Etica: L'uso di questi modelli senza supervisione umana esperta comporta rischi elevati di diffusione di informazioni religiose errate. È necessario sviluppare framework di valutazione rigorosi e linee guida etiche prima di qualsiasi dispiegamento in contesti reali.

In conclusione, IslamicLegalBench dimostra che, nonostante i progressi nell'IA, la capacità di ragionamento giuridico islamico richiede una conoscenza di base che i modelli attuali non possiedono, rendendo urgente lo sviluppo di modelli specializzati e la creazione di standard di valutazione specifici per questo dominio.