Sintesi Tecnica: Dallo Statuto al Flusso di Controllo: Alberi Deontici Fondati su Span per la Parsing della Scope Defeasible

1. Definizione del Problema: Omissione Silenziosa dello Scope (SSO)

Gli agenti che seguono regole, progettati per eseguire policy e regolamenti, falliscono frequentemente a causa dell'Omissione Silenziosa dello Scope (Silent Scope Omission - SSO). In questa modalità di fallimento, un modello applica una regola generale ma omette silenziosamente eccezioni annidate, contro-eccezioni o clausole sovrascrittive. L'output risultante appare conforme e supera controlli leggeri, ma fallisce nei casi limite critici dove le clausole "defeater" (ad esempio, "a meno che", "eccetto", "purché") determinano l'esito finale.

Sebbene spesso inquadrato come un problema di sistemi agentici, gli autori identificano il collo di bottiglia sottostante come la comprensione statutaria e delle policy, specificamente la capacità di recuperare la struttura non monotona dei testi legali, dove clausole successive limitano quelle precedenti. I benchmark esistenti per la NLP legale (ad esempio, LexGLUE, LegalBench) enfatizzano tipicamente gli esiti dei task finali (QA, entailment, predizione di giudizio). Queste metriche possono premiare una decisione finale corretta anche quando il modello fallisce nel recuperare la struttura interna di scope/override, mascherando così le omissioni strutturali che causano l'SSO.

2. Metodologia: NormBench e SG-DT

2.1 Benchmark NormBench

Per diagnosticare e mitigare l'SSO, gli autori introducono NormBench, un benchmark composto da 2.290 elementi di linguaggio normativo attraverso tre domini:

• NormBench-ZH: Disposizioni statutarie codificate in cinese (leggi nazionali, regolamenti amministrativi, policy locali).
• NormBench-EN: Regole in inglese derivanti dal diritto fiscale statunitense, dal GDPR dell'UE e da policy aziendali.
• Cross-linguale: Coppie di traduzioni ufficiali ZH–EN per testare l'invarianza strutturale.

Il dataset è organizzato da contenuti controllati (statuti codificati) a quelli "in-the-wild" (policy operative) e include 1.790 disposizioni uniche sottostanti. È annotato con una specifica rappresentazione intermedia progettata per la parsing della scope defeasible.

2.2 Alberi Deontici Fondati su Span (SG-DT)

Il nucleo del contributo metodologico è SG-DT, una rappresentazione intermedia (IR) di tipo compilatore che ancora ogni ramo logico a span di testo sorgente immutabili. A differenza della generazione standard a testo libero, SG-DT impone quattro vincoli di progettazione:

1. Auditabilità fondata su Span: Ogni nodo è un puntatore a uno specifico span di testo, consentendo una mappatura deterministica verso le firme a valle.
2. Decidibilità sotto Defeasibility: Le eccezioni sono compilate in Espliciti Guardie di Esclusione (Explicit Exclusion Guards). Un ramo di regola generale include esplicitamente una foglia di esclusione che punta al trigger dell'eccezione, garantendo che la regola si applichi solo se l'eccezione non è soddisfatta. Ciò evita l'omissione silenziosa dello scope terminale.
3. Valutazione Deterministica: La struttura supporta il punteggio strutturale esatto e la compilazione in procedure decisionali eseguibili.
4. Apprendibilità: La rappresentazione è densa e adatta ai modelli seq2seq, evitando ontologie riservate agli esperti.

Dettagli dello Schema:

• Rami ($B_i$): Definiti da un Ancora (span trigger), Modalità (es. Obbligo, Proibizione), Albero di Condizione ($C$) ed Effetti ($E$).
• Defeasibility: Gestita tramite una Politica di Esclusione Esplicita. Se una regola ha un trigger di eccezione $T$, il ramo generale include una foglia di esclusione ($\neg T$), e il ramo di eccezione include $T$ come precondizione positiva. Ciò assicura la disgiunzione logica ($B_{gen} \land B_{exc} \equiv \text{False}$) senza regole di priorità euristica.
• Profondità di Ricorsione ($D$): Definita come la lunghezza della catena di defeater indotta dall'esclusione (ad esempio, $D \ge 2$ per eccezioni annidate).

3. Contributi Chiave

1. NormBench & SG-DT: Un benchmark standardizzato e una IR per valutare il recupero dello scope strutturale nei testi legali, coprendo 2.290 elementi tra domini controllati e in-the-wild.
2. Analisi Patologica: Identificazione di due barriere chiave per gli agenti legali affidabili:
   • Il Collo di Bottiglia della Ricorsione: Degradazione delle prestazioni guidata dalla profondità logica (eccezioni annidate) piuttosto che dalla lunghezza del contesto.
   • La Trappola dell'Auditabilità: I modelli recuperano gli span rilevanti con alta fedeltà ma falliscono nell'assemblare il corretto flusso di controllo (attacco delle eccezioni).
3. Intervento Specifico sul Meccanismo: Dimostrazione che l'utilità di SG-DT è condizionale. Migliora significativamente i risultati nei casi attivi di eccezione/sensibili all'SSO dove l'esito dipende da un defeater, ma i guadagni aggregati possono essere misti o negativi quando la struttura aggiunta è superflua o la fedeltà del parser è bassa.

4. Risultati Sperimentali

4.1 Recupero della Struttura Intrinseca (Parsing SG-DT)

Le valutazioni sui modelli LLM di frontiera (es. GPT-5.2, DeepSeek-V3.2, Claude-Opus-4.5) rivelano un Gap di Fondamento Strutturale (Structure-Grounding Gap):

• Alta Fedeltà, Bassa Logica: I modelli ottengono un alto SpanFaith (0.77) e basse allucinazioni, ma un basso Edge-F1 (0.24). Possono "citare" la regola ma falliscono nel collegare correttamente le eccezioni.
• Il Paradosso del Dominio: Gli LLM generalisti di frontiera superano significativamente gli LLM legali specializzati (es. ChatLaw, LawGPT). I modelli del dominio legale soffrono di fallimenti catastrofici di grounding (Edge-F1 ~0.04), suggerendo che il loro addestramento privilegi la fluidità conversazionale rispetto alla rigorosa disciplina dei puntatori basati su span.
• Decadimento della Ricorsione: Le prestazioni calano drasticamente all'aumentare della profondità del defeater ($D \ge 2$). Ad esempio, l'Edge-F1 di GPT-5.2 scende da 0.22 ($D=0$) a -0.07 ($D \ge 2$).

4.2 Isomorfismo Cross-Linguale

Sulle coppie bilingui (ZH–EN), i modelli producono spesso alberi logici strutturalmente diversi per la stessa disposizione nonostante una qualità monolingue simile.

• Iso-F1 < 0.40: Anche quando la Tree-ES (similarità di editing) è moderata, gli alberi ZH e EN sono raramente isomorfi.
• Ambiguità di Traduzione: Piccole differenze nel modo in cui i segnali di scope (es. "a meno che" vs "purché") vengono resi possono invertire l'attaccamento di un defeater a una condizione, creando un rischio di "flusso di controllo divergente".

4.3 Utilità a Valle (Ragionamento Statutario)

L'uso di SG-DT come output intermedio vincolato migliora la fedeltà dell'intero albero e il recupero dei defeater, ma i benefici sono specifici per il meccanismo:

• Casi Attivi di Eccezione: SG-DT fornisce chiari guadagni (es. +4.2% su LegalBench per DeepSeek-V3.2) quando i fatti del caso attivano un'eczione attiva.
• Casi Semplici: Nei casi senza defeater attivi, l'aggiunta della struttura SG-DT può introdurre overhead o degradare le prestazioni (es. GPT-4o-mini subisce un calo di accuratezza).
• Recursive-CoT: Combinare SG-DT con la Chain-of-Thought Ricorsiva non migliora costantemente l'accuratezza e può talvolta negare i guadagni deviando dal confine decisionale netto.

5. Significato e Rivendicazioni

Il paper sostiene che il principale modo di fallimento degli agenti legali non è la mancanza di recupero o di fluidità, ma un fallimento nel materializzare le eccezioni annidate all'interno del flusso di controllo.

• Valore Diagnostico: NormBench e SG-DT fornisiscono uno strato diagnostico necessario che separa i fallimenti di recupero dai fallimenti di ragionamento, isolando specificamente la patologia dell'"Omissione Silenziosa dello Scope".
• Auditabilità: Fondando ogni ramo logico in span di testo immutabili e imponendo esplicite guardie di esclusione, SG-DT consente la compilazione e l'audit deterministici, affrontando la natura "black box" dell'attuale ragionamento legale degli LLM.
• Utilità Pragmatica: Gli autori rivendicano con modestia che SG-DT non è una soluzione universale "drop-in". Il suo valore è massimo in scenari ad alto rischio e ricchi di eccezioni, dove il costo dell'SSO è elevato. Per regole più semplici, l'overhead strutturale potrebbe non essere giustificato.

Il lavoro posiziona SG-DT come una rappresentazione intermedia rivolta agli agenti che colma il divario tra il testo statutario grezzo e le procedure decisionali eseguibili e verificabili, andando oltre l'estrazione superficiale di componenti verso una modellazione esplicita della scope defeasible.