MAWARITH: A Dataset and Benchmark for Legal Inheritance Reasoning with LLMs

Il paper introduce MAWARITH, un dataset su larga scala di 12.500 casi di eredità islamica in arabo e una nuova metrica di valutazione MIR-E per testare la capacità di ragionamento strutturato dei modelli linguistici, dimostrando che mentre Gemini-2.5-flash raggiunge prestazioni elevate, altri modelli faticano a gestire la complessità delle regole giuridiche.

L'essenziale

Ecco una spiegazione semplice e creativa del paper MAWARITH, immaginata come se stessi raccontando una storia a un amico mentre prendete un caffè.

🏛️ Il Grande Enigma dell'Eredità: MAWARITH

Immagina di essere un giudice chiamato a dividere un tesoro (l'eredità) tra i parenti di una persona scomparsa. Non è come dividere una pizza a caso: ci sono regole antiche, precise e matematiche che non amano gli errori. Se sbagli a contare i parenti, sbagli a calcolare le quote, o dimentichi una regola, l'intero tesoro viene distribuito male.

Questo è il mondo della Legge delle Eredità Islamica (ʿilm al-mawārīth). È un labirinto di regole dove:

1. Devi capire chi ha diritto a entrare nella stanza (gli eredi).
2. Devi sapere chi deve essere "bloccato" fuori (perché c'è un parente più stretto).
3. Devi calcolare esattamente quanto spetta a ciascuno, usando frazioni precise.
4. A volte, se le quote sommate superano il tesoro, devi ridurle tutte proporzionalmente (come se il tesoro si fosse rimpicciolito).
5. Altre volte, se le quote sommate sono meno del tesoro, devi ridistribuire il resto (come se il tesoro fosse cresciuto).

🤖 Il Problema: I Robot che Sbagliano i Calcoli

Gli Intelligenti Artificiali (i modelli linguistici o LLM) sono bravissimi a scrivere poesie, riassumere testi o rispondere a domande di cultura generale. Ma quando si tratta di questo tipo di "matematica legale", spesso si perdono.

È come dare a un genio della letteratura un compito di algebra avanzata: potrebbe scrivere una spiegazione bellissima e convincente, ma se il risultato finale è sbagliato, il compito è fallito. I robot tendono a:

• Inventare parenti che non esistono.
• Dimenticare parenti che invece ci sono.
• Applicare le regole sbagliate (es. dare la metà a qualcuno che dovrebbe avere un sesto).

🎒 La Soluzione: MAWARITH (Il Campo di Addestramento)

Gli autori del paper hanno creato MAWARITH. Immaginalo come un enorme manuale di esercizi con 12.500 casi di studio scritti in arabo.

Non è solo un elenco di domande a scelta multipla (tipo "Quale risposta è giusta? A, B o C?"). È molto di più: è come un taccuino di un maestro. Per ogni caso, il manuale mostra:

• Il ragionamento passo-passo: Come un esperto umano pensa. "Prima guardo chi c'è, poi blocco chi non può ereditare, poi calcolo le frazioni..."
• La giustificazione: Perché ho fatto questo passo? (Citando le regole antiche).
• Il risultato finale: La divisione esatta del tesoro.

L'obiettivo è insegnare alle intelligenze artificiali a pensare come un giurista, non solo a indovinare la risposta.

📏 Il Nuovo Righello: MIR-E

Come si fa a capire se un robot sta imparando davvero? Non basta guardare se la risposta finale è giusta.
Immagina di correggere un compito di matematica. Se lo studente sbaglia il primo numero, tutto il resto sarà sbagliato, anche se la formula era giusta.

Gli autori hanno creato un nuovo righello chiamato MIR-E. Invece di dare un voto solo al risultato finale, MIR-E guarda ogni singolo passo:

1. Ha trovato tutti gli eredi giusti? (Voto 1)
2. Ha bloccato quelli che non dovevano entrare? (Voto 2)
3. Ha calcolato le quote iniziali correttamente? (Voto 3)
4. Ha applicato le correzioni finali (se necessarie)? (Voto 4)

Se il robot sbaglia al primo passo, il voto crolla, perché l'errore si propaga a catena. Questo ci dice dove il robot sta fallendo, non solo che ha fallito.

🏆 La Gara: Chi ha vinto?

Hanno messo alla prova 5 robot diversi (alcuni famosi come Gemini, altri open-source come LLaMA o Qwen) su questo campo di addestramento.

• Il Campione: Gemini-2.5-flash (un modello commerciale) ha fatto un lavoro eccezionale, ottenendo un punteggio del 90%. È riuscito a seguire quasi perfettamente il ragionamento passo-passo.
• Gli Altri: Gli altri modelli (come LLaMA, Qwen, Fanar) sono rimasti sotto il 50%.
  • Spesso iniziavano male: inventavano parenti o ne dimenticavano.
  • Una volta sbagliato l'inizio, tutto il calcolo successivo andava in tilt.
  • Anche quando capivano chi erano gli eredi, sbagliavano spesso le frazioni matematiche o le regole speciali (come quando bisogna ridistribuire il resto).

💡 La Morale della Storia

Il paper ci dice che, anche se l'Intelligenza Artificiale sta diventando bravissima a parlare, ragionare con regole rigide e matematiche è ancora una sfida enorme.

MAWARITH è come una palestra di lusso per questi robot. Se vogliamo che l'AI possa aiutare davvero in campi delicati come il diritto o la medicina, non basta che "sappia" le regole a memoria; deve imparare a applicarle passo dopo passo, senza saltare nulla e senza allucinare.

In sintesi: MAWARITH è il manuale che insegna ai robot a non fare errori di distrazione quando devono dividere l'eredità di una famiglia, trasformandoli da "indovini" a "veri giuristi".

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "MAWARITH: A Dataset and Benchmark for Legal Inheritance Reasoning with LLMs", presentata in italiano.

1. Il Problema

Il diritto ereditario islamico (ʿilm al-mawārīth) rappresenta una sfida significativa per i Large Language Models (LLM) a causa della sua natura complessa e strutturata. Risolvere un caso di successione non richiede solo la conoscenza fattuale, ma un ragionamento logico multi-step rigoroso basato su regole giuridiche precise. Il processo implica:

1. Identificare gli eredi eleggibili tra i parenti sopravvissuti.
2. Applicare le regole di esclusione (ḥajb o blocking) per determinare chi è escluso dalla successione.
3. Assegnare le quote fisse prescritte dal Corano e dalla Sunna.
4. Gestire casi di aggiustamento complessi come l'ʿawl (riduzione proporzionale quando le quote superano l'intero patrimonio) e il radd (ridistribuzione dell'eccedenza quando le quote sono inferiori all'intero e non ci sono eredi residuari).

I modelli esistenti spesso falliscono perché:

• Si basano su dataset a scelta multipla (MCQ) che non valutano la catena di ragionamento intermedia.
• Tendono a "allucinazioni" (citare versetti inesistenti o regole errate).
• Gli errori nelle fasi iniziali (es. identificazione errata degli eredi) si propagano deterministicamente, invalidando l'intera soluzione finale, anche se il calcolo matematico successivo fosse corretto.

2. Metodologia e Dataset (MAWARITH)

Gli autori hanno introdotto MAWARITH, un dataset su larga scala e un benchmark specifico per il ragionamento legale islamico.

• Composizione del Dataset:

  • 12.500 casi di successione islamica annotati in lingua araba.
  • Copre un ampio spettro di scenari, da casi semplici (1-2 categorie di eredi) a casi complessi (fino a 12 categorie), includendo relazioni di parentela fino all'ottavo livello.
  • Ogni caso è strutturato con una catena di ragionamento completa (step-by-step reasoning) che include:
    • Estrazione degli eredi potenziali.
    • Analisi delle regole di esclusione (ḥajb).
    • Assegnazione delle quote e applicazione di ʿawl o radd.
    • Calcolo delle quote finali normalizzate.
  • I dati sono generati tramite un calcolatore strutturato, convertiti in linguaggio naturale arabo, arricchiti da esperti di studi islamici e standardizzati.

• Formato di Output:
  Il dataset richiede ai modelli di produrre un output strutturato che separa il ragionamento intermedio (in tag <thought>) dalla risposta finale (in tag <answer>), permettendo una valutazione granulare di ogni fase.

3. Contributi Chiave

A. Nuovo Benchmark per il Ragionamento Strutturato

A differenza di precedenti lavori (come QIAS 2025 o MirathQA) che si limitavano a domande a scelta multipla, MAWARITH richiede una generazione end-to-end del processo di ragionamento, valutando non solo la risposta finale ma la correttezza logica di ogni passaggio intermedio.

B. Metrica di Valutazione MIR-E

Gli autori propongono MIR-E (Mawarith Inheritance Reasoning Evaluation), una metrica multi-stadio pesata che supera la semplice accuratezza della risposta finale. MIR-E scompone la valutazione in quattro componenti:

1. Identificazione Eredi e Blocco ($S_h$): Valuta l'F1-score degli eredi corretti e l'accuratezza del conteggio, penalizzando gli eredi mancanti o spurii.
2. Assegnazione Quote ($S_s$): Verifica la correttezza numerica delle quote assegnate agli eredi eleggibili.
3. Aggiustamento ($S_a$): Valuta la capacità di identificare correttamente la necessità e il tipo di aggiustamento (none, ʿawl, o radd).
4. Allocazione Finale ($S_f$): Verifica la correttezza della distribuzione finale normalizzata.
   La metrica finale è una somma pesata: $MIR-E = 0.30 S_h + 0.30 S_s + 0.10 S_a + 0.30 S_f$. Questo approccio cattura la propagazione degli errori: se la fase 1 fallisce, le fasi successive non possono essere valutate correttamente.

4. Risultati Sperimentali

Il paper valuta cinque LLM in modalità zero-shot (senza addestramento specifico sul task):

• Modelli testati: Gemini-2.5-flash (commerciale), Qwen3-32B, LLaMA 3.3-70B, GPT-OSS-120B, Fanar-Sadiq e Fanar-C-2-27B (modelli open-source focalizzati sull'arabo/islam).

Risultati Principali:

• Gemini-2.5-flash domina nettamente, raggiungendo un punteggio MIR-E di circa 0.90 (90%) sia sul set di validazione che su quello di test.
• Tutti gli altri modelli (open-weight) rimangono sotto il 50% (tra 0.32 e 0.44).
• Analisi della Propagazione degli Errori (Figura 2):
  • Gemini mantiene un tasso di successo cumulativo del 78.2% nella fase di identificazione degli eredi.
  • Gli altri modelli falliscono massicciamente già nella prima fase (identificazione eredi), con tassi di successo inferiori al 25%.
  • Gli errori iniziali (es. includere eredi bloccati o escludere eredi eleggibili) causano un crollo delle prestazioni nelle fasi successive, rendendo inutile il calcolo matematico successivo.

Tipologie di Errori:

• Identificazione Eredi: Il modello commette spesso errori di "Falsa Eleggibilità" (aggiungere eredi che non dovrebbero ereditare) o "Falso Blocco".
• Errore Linguistico: Difficoltà nel parsing di espressioni di parentela complesse in arabo (es. interpretare "quattro figlie del figlio" come un'unica categoria invece di due).
• Regole Giuridiche: Anche quando gli eredi sono corretti, alcuni modelli falliscono nell'applicare eccezioni specifiche (es. la riduzione della quota della madre da 1/3 a 1/6 in presenza di fratelli).

5. Significato e Implicazioni

• Limiti dei Modelli Attuali: Il lavoro dimostra che la semplice conoscenza fattuale o la capacità di generare testo fluido non sono sufficienti per il ragionamento legale strutturato. I modelli open-source attuali faticano a mantenere la coerenza logica attraverso catene di ragionamento lunghe e vincolate da regole rigide.
• Importanza del Dataset: MAWARITH fornisce una risorsa fondamentale per addestrare modelli capaci di ragionamento giuridico, offrendo un terreno di prova standardizzato per valutare la capacità di seguire procedure complesse.
• Direzioni Future: Gli autori suggeriscono l'uso di tecniche di Reinforcement Learning (come i Process Reward Models) per fornire feedback a livello di singolo passaggio, guidando i modelli verso traiettorie di ragionamento valide e riducendo la propagazione degli errori. Il dataset verrà inoltre esteso per includere casi ancora più complessi (gravidanza, persone scomparse, eredi intersex).

In sintesi, il paper stabilisce un nuovo standard per la valutazione del ragionamento legale negli LLM, evidenziando il divario significativo tra i modelli commerciali avanzati e le soluzioni open-source attuali quando si tratta di applicazioni che richiedono precisione giuridica e logica multi-step.