DeonticBench: A Benchmark for Reasoning over Rules

1. Il Problema

Il ragionamento su regole complesse e specifiche al contesto rimane una sfida significativa per i Large Language Models (LLM). In ambiti ad alto rischio come il diritto, la politica e la finanza, questo si manifesta come ragionamento deontico: la capacità di dedurre obblighi, permessi e divieti basandosi su statuti e politiche esplicite.
Sebbene molti benchmark recenti si concentrino sul ragionamento matematico in contesti brevi, pochi affrontano il ragionamento deontico a lungo contesto e ad alto rischio. I modelli attuali tendono a commettere errori di "allucinazione" o a fallire nel seguire fedelmente regole formali, il che è inaccettabile in scenari legali o fiscali dove la precisione è cruciale. Inoltre, esiste un divario tra il ragionamento puramente linguistico e quello che utilizza strumenti simbolici eseguibili.

2. Metodologia e Costruzione del Dataset

Gli autori introducono DEONTICBENCH, un benchmark composto da 6.232 task distribuiti su quattro domini reali degli Stati Uniti:

1. Tasse Federali USA (SARA): Calcolo della responsabilità fiscale e verifica di entailment legale.
2. Politiche Bagagli delle Compagnie Aeree (Airline): Calcolo delle tariffe basato su regole strutturate.
3. Amministrazione Immigrazione USA (USCIS-AAO): Decisioni su appelli di immigrazione (accettati o respinti) basati su criteri legali multifattoriali.
4. Legge Abitativa Statale USA (Housing): Domande vero/falso su leggi abitative specifiche per stato.

Caratteristiche Chiave del Dataset:

• Formato Unificato: Ogni task include il contesto (statuti e fatti del caso) e richiede una risposta (numerica, binaria o di entailment).
• Workflow Simbolico (Prolog): Oltre al ragionamento diretto in linguaggio naturale, DEONTICBENCH introduce un flusso di lavoro assistito da solver. I modelli devono tradurre gli statuti e i fatti del caso in codice Prolog eseguibile.
• Artifatti di Riferimento: Per ogni istanza, gli autori rilasciano programmi Prolog di riferimento (gold standard) che codificano le regole e i fatti, permettendo un'esecuzione deterministica e un'analisi dei tracciati del programma.
• Sottoinsieme "Hard": È stato curato un sottoinsieme di casi difficili, selezionati tramite filtraggio automatico e validazione umana, per evitare che i punteggi medi nascondano le reali capacità di ragionamento dei modelli.

3. Contributi Principali

1. Benchmark Esclusivo: È il più grande benchmark esistente per il ragionamento basato su regole eseguibili in domini reali ad alto rischio.
2. Valutazione Ibrida: Permette di valutare i modelli sia in modalità non simbolica (risposta diretta in linguaggio naturale) che simbolica (generazione di codice Prolog + esecuzione), fornendo artefatti verificabili.
3. Analisi degli Errori: Fornisce una tassonomia dettagliata dei fallimenti, distinguendo tra errori di selezione della regola, estrazione dei fatti, precisione numerica e bug di implementazione.
4. Studio sull'Addestramento: Esplora l'efficacia del Supervised Fine-Tuning (SFT) e del Reinforcement Learning (RL) per migliorare la generazione di programmi simbolici.

4. Risultati Sperimentali

Gli autori hanno valutato 8 modelli LLM all'avanguardia (inclusi modelli di ragionamento come O3 e GPT-5) e 3 modelli di codifica.

• Prestazioni Generali: Le prestazioni sono generalmente basse sui sottoinsiemi difficili. Il miglior risultato ottenuto su un sottoinsieme hard (SARA Numeric) è del 44,4%, mentre su Housing il Macro-F1 è del 46,6%.
• Modelli Open Source vs Proprietari: Esiste un divario significativo. I modelli open-source (es. Qwen3-235B) mostrano prestazioni inferiori e sono molto sensibili al prompt, sebbene migliorino leggermente su task binari con prompt diretti.
• Impatto del Prompting:
  • Il Few-shot aiuta nei task numerici strutturati (es. Airline).
  • Il Zero-shot o il Direct prompting funzionano meglio per i task binari, ma aumentano il tasso di errori rispetto all'approccio simbolico.
• Addestramento (SFT e RL):
  • Il Supervised Fine-Tuning (SFT) e l'ottimizzazione delle preferenze (DPO/GRPO) migliorano la qualità della generazione Prolog e le prestazioni sui task binari.
  • Tuttavia, non risolvono il problema del ragionamento numerico preciso (es. SARA Numeric rimane sotto il 10% di accuratezza anche dopo l'addestramento).
  • I metodi RL attuali falliscono nel garantire una soluzione affidabile end-to-end per task complessi.
• Tipologie di Errori:
  • Nei domini legali complessi (Housing, USCIS), l'errore principale è la scelta errata della regola (Wrong Rule).
  • Nei task strutturati (SARA), l'errore dominante è l'estrazione errata dei fatti (Entity/Fact errors).
  • Nei task numerici, la precisione aritmetica rimane un collo di bottiglia.

5. Significato e Conclusioni

DEONTICBENCH evidenzia che, nonostante i progressi nei modelli di ragionamento, gli LLM attuali non sono ancora affidabili per l'applicazione diretta in contesti legali o fiscali ad alto rischio senza supervisione umana.

• Limiti dell'Approccio Simbolico: Sebbene l'uso di solver esterni (Prolog) offra tracciabilità e interpretabilità, la capacità dei modelli di generare codice corretto e privo di errori rimane limitata.
• Necessità di Nuovi Metodi: L'addestramento attuale (SFT/RL) migliora la forma ma non la sostanza del ragionamento logico profondo. Sono necessari avanzamenti specifici nell'ancoraggio delle regole (rule grounding), nell'estrazione strutturata delle informazioni e nel calcolo numerico affidabile.
• Impatto Etico: Il benchmark è rilasciato esclusivamente per scopi di ricerca e valutazione, sottolineando che l'output dei modelli non deve essere considerato consulenza legale o fiscale professionale.

In sintesi, il paper stabilisce un nuovo standard per valutare la capacità dei modelli di AI di operare in ambienti regolamentati, dimostrando che la fedeltà alle regole formali è ancora una sfida aperta per l'intelligenza artificiale generativa.