Sintesi Tecnica: Sicuramente Sbagliato: Il Collasso della Catena di Eccezioni nella Valutazione delle Regole dei Modelli LLM di Frontiera

1. Definizione del Problema

Il documento identifica un fallimento sistematico e specifico nei Large Language Models (LLM) di frontiera, denominato "collasso della catena di eccezioni" (exception chain collapse). Questo si verifica durante i compiti di valutazione dell'ammissibilità che coinvolgono regole condizionali nidificate della forma: "A è richiesto A MENO CHE B si applichi, A MENO CHE C sovrascriva B."

Sebbene gli LLM di frontiera si comportino bene su logiche a percorsi multipli semplici (ad esempio, branching con operatore OR), degradano significativamente quando devono valutare catene di eccezioni a più livelli (specificamente a tre livelli di profondità). Il documento documenta due distinti pattern di fallimento:

1. Ancoraggio dell'Esenzione (Exemption Anchoring): Il modello tratta le esenzioni come secondarie rispetto al percorso primario. Se il percorso primario fallisce, il modello si "ancora" a quel fallimento e non riesce a valutare indipendentemente le valide rotte di esenzione alternative.
2. Collasso della Catena di Eccezioni: Il modello non riesce a nidificare correttamente la logica UNLESS a più livelli, spesso confondendo percorsi di esenzione indipendenti (ad esempio, trattando un'esenzione per "veterano" come dipendente da un'esenzione per "età").

L'Instabilità Centrale: Un risultato critico è che l'accuratezza dei modelli di frontiera in questi compiti è un "confine di conformità mobile". Tra marzo e aprile 2026, specifiche celle di fallimento nei benchmark si sono chiuse silenziosamente sotto lo stesso alias del modello (ad esempio, GPT-5.4 e Claude Opus 4.6) senza aggiornamenti di versione. Ciò rende inaffidabili le dichiarazioni di accuratezza al momento del benchmark per flussi di lavoro regolamentati dove la consistenza è obbligatoria.

2. Metodologia

Gli autori propongono e valutano l'Aethis Eligibility Module, un'architettura neuro-simbolica progettata per separare l'autoria delle regole dalla loro esecuzione.

L'Architettura

• Fase 1: Autoria Automatica delle Regole (LLM): Un LLM legge fonti legali autorevoli (legislazione, linee guida politiche) e genera regole come codice strutturato in un linguaggio specifico di dominio (DSL) vincolato. Questa fase include una catena di provenienza in cui ogni regola generata è collegata a citazioni specifiche della fonte (ID del documento, percorso della sezione, citazione diretta).
• Fase 2: Il Modulo di Ammissibilità (Motore Deterministico): Il DSL generato viene compilato in vincoli formali di Satisfiability Modulo Theories (SMT). Un solver SMT valuta quindi questi vincoli rispetto ai dati strutturati del richiedente.
  • Meccanismo Chiave: Il motore tratta ogni rotta di ammissibilità come un ramo booleano formalmente indipendente combinato tramite disgiunzione (OR). Valuta questi rami in modo deterministico, indipendentemente dal drift del modello, dallo sforzo di ragionamento o dal formato del prompt.

Design del Benchmark

Gli autori hanno costruito un benchmark di 225 scenari attraverso quattro domini:

1. Life in the UK: Vera legislazione sull'immigrazione del Regno Unito (British Nationality Act 1981).
2. Proficienza nella Lingua Inglese: Reale guida all'immigrazione del Regno Unito.
3. Certificazione di Astronavi: Uno statuto sintetico modellato sulla struttura legislativa del Regno Unito con catene di eccezioni a tre livelli.
4. Assicurazione Costruzioni: Testo di polizza sintetica modellato su clausole DE3/DE5 del mercato di Londra con catene di eccezioni a cinque livelli.

Il benchmark è stato valutato contro otto LLM (quattro di frontiera, quattro di livello produttivo) di Anthropic e OpenAI, confrontandoli con il modulo di ammissibilità deterministico.

3. Contributi Chiave

1. Tassonomia dei Pattern di Fallimento

Il documento caratterizza formalmente il "collasso della catena di eccezioni" e l' "ancoraggio dell'esenzione" come errori sistematici nella valutazione di catene di eccezioni nidificate. Questi fallimenti si dimostrano essere:

• Composizionali: Emergono dalla profondità della logica (tre livelli) piuttosto che da una mancanza di conoscenza legale.
• Robusti al Prompting: Il miglioramento del prompting (ad esempio, "pensa passo dopo passo", "valuta le esenzioni indipendentemente") non riesce a risolvere il problema; al contrario, scambia falsi negativi con falsi positivi, riducendo l'accuratezza netta.
• Instabili: I punti di fallimento specifici cambiano silenziosamente attraverso gli aggiornamenti del modello, rendendo i modelli di frontiera inaffidabili per decisioni ad alto rischio e critiche per l'audit.

2. L'Aethis Eligibility Module

Il documento presenta un sistema neuro-simbolico che sposta l'incertezza dal confine di inferenza (dove è silenziosa e continua negli LLM) al confine di specifica (dove è deliberata e verificabile).

• Garanzia: Lo strato di esecuzione fornisce semantiche matematicamente definite. Se il pacchetto di regole è correttamente formalizzato, l'esecuzione è al 100% coerente con la specifica.
• Auditabilità: Ogni determinazione include una catena di provenienza che collega l'esito direttamente alla specifica clausola legislativa e al percorso logico seguito.

3. Evidenza Empirica

• Risultati del Benchmark: L'Eligibility Module ha raggiunto il 100% di accuratezza in tutti i 225 scenari.
• Performance degli LLM: I modelli di frontiera hanno mostrato una degradazione significativa nei compiti di catena di eccezioni. Ad esempio, nello snapshot di marzo 2026, Claude Opus 4.6 ha ottenuto l'89,7% nella sezione astronavi (61/68), con 7 scenari specifici che sono falliti 0/3 volte in esecuzioni indipendenti.
• Estensione Avversaria: In un'estensione avversaria v3.8 (20 nuovi scenari di assicurazione costruzioni), il motore deterministico ha ottenuto 20/20. Mentre alcuni modelli di frontiera hanno raggiunto il 100% sulla suite originale, sono falliti sui casi avversari più profondi (ad esempio, Claude Opus 4.7 è fallito 2/20, GPT-5.4 default è fallito 1/20).
• Validazione Esterna: Su 949 casi non utilizzati da nove compiti di LegalBench, l'Eligibility Module è stato significativamente più accurato di tre modelli di frontiera (combinando McNemar's $p \le 0.003$), con i margini più ampi (+41 punti percentuali) sui compiti di applicazione di regole multi-prong.

4. Significato e Rivendicazioni

Il documento non sostiene che gli LLM siano generalmente inaffidabili o che non possano essere utilizzati per il ragionamento legale. Al contrario, fa una rivendicazione modesta e specifica:

• Spostamento dell'Incertezza: Il contributo primario è architettonico. Usando gli LLM per l'autoria (dove la loro fluidità è un vantaggio) e i solver SMT per l'esecuzione (dove è richiesto il determinismo), il sistema rende l'incertezza trattabile. L'incertezza viene spostata al passo di formalizzazione della regola (Livello 2), che può essere gestito tramite validazione guidata dai test e revisione degli esperti (SME), piuttosto che rimanere nel passo di inferenza (Livello 3), dove è silenziosa e non osservabile.
• Difendibilità Regolatoria: Per domini ad alto rischio (immigrazione, assicurazioni, certificazione di sicurezza) dove i falsi negativi negano diritti e la spiegabilità è obbligatoria, lo strato di esecuzione deterministico offre una proprietà che gli LLM di frontiera non possono garantire: l'invarianza. Un pacchetto di regole compilato produce lo stesso risultato oggi come lo farà tra sei mesi, indipendentemente dai cambiamenti silenziosi ai pesi del modello sottostante.
• Limitazioni: Gli autori dichiarano esplicitamente che il sistema garantisce la corretta esecuzione di una specifica, non la correttezza della specifica stessa. La qualità del pacchetto di regole dipende dalla capacità dell'LLM di formalizzare il testo sorgente (Livello 2), il che è mitigato ma non eliminato dalla validazione guidata dai test. Il sistema richiede attualmente input strutturati e non gestisce l'estrazione di documenti non strutturati.

In sintesi, il documento sostiene che per la valutazione di catene di eccezioni nidificate in flussi di lavoro regolamentati, l'esecuzione formale deterministica è una condizione necessaria per la fiducia, e che le architetture neuro-simboliche forniscono una via percorribile per raggiungere questo obiettivo senza sacrificare l'utilità degli LLM per l'estrazione delle regole.