A Risk-Oriented Verification and Validation Framework for Hallucination Detection in Public-Sector LLM Systems

Sintesi Tecnica: Un Framework di Verifica e Validazione Orientato al Rischio per il Rilevamento delle Allucinazioni in Sistemi LLM del Settore Pubblico

Problematica
Il documento affronta la sfida critica delle "allucinazioni" (la generazione di contenuti fluidi ma privi di fondamento fattuale) nei modelli linguistici di grandi dimensioni (LLM) impiegati all'interno di sistemi amministrativi e legali del settore pubblico. A differenza delle applicazioni consumer, gli output del settore pubblico hanno un peso legale; indicazioni procedurali errate, citazioni legali false o designazioni di autorità incorrette possono minare la certezza del diritto, la responsabilità amministrativa e la fiducia civica.

L'autore sostiene che la letteratura esistente tratti l'allucinazione principalmente come un problema di accuratezza tecnica, facendo affidamento su metodi di rilevamento incentrati sul modello (ad esempio, campionamento della coerenza semantica, entropia semantica) o sulla generazione aumentata dal recupero (RAG). Questi approcci sono spesso inadeguati per l'impiego nel settore pubblico perché presuppongono spesso l'accesso agli stati interni del modello, capacità di riaddestramento o parametri di inferenza specifici — condizioni raramente soddisfatte quando si utilizzano API di LLM "black-box". Inoltre, i metodi attuali si concentrano sull'accuratezza del rilevamento piuttosto che sulle implicazioni di governance del rilevamento, fallendo nel tradurre i segnali di rischio in decisioni operative (ad esempio, quando scalare la pratica a funzionari umani).

Metodologia
Il documento propone un Framework di Verifica e Validazione (V&V) Orientato al Rischio che inquadra l'allucinazione non come un problema di ottimizzazione del modello, ma come un rischio operativo e di governance gestibile. La metodologia è agnostica rispetto al modello, basandosi esclusivamente su output osservabili, fonti autorevoli esterne e vincoli basati su regole, rendendola applicabile ad ambienti "black-box".

Il framework opera attraverso quattro fasi interconnesse:

1. Decomposizione Amministrativa Basata su Slot:
   Gli output dell'LLM vengono scomposti in cinque "slot" amministrativamente significativi corrispondenti a elementi procedurali:

   • Documenti richiesti
   • Autorità competente
   • Tempistiche di elaborazione
   • Tasse/Commissioni
   • Base legale
     Questa decomposizione consente una localizzazione granulare del rischio, riconoscendo che gli errori in slot ad alto impatto (es. base legale) sono più consequenziali rispetto agli errori in slot a basso impatto (es. documenti di supporto).

2. Rilevamento dei Segnali di Rischio a Livello di Slot:
   Per ogni slot vengono calcolati tre indicatori quantitativi:

   • Punteggio di Instabilità dello Slot (SIS - Slot Instability Score): Misura l'instabilità tra i campioni generando molteplici risposte indipendenti alla stessa query. Un'alta varianza indica incertezza epistemica.
   • Punteggio di Copertura delle Citazioni (CCS - Citation Coverage Score): Valuta se il contenuto dello slot è esplicitamente supportato da fonti autorevoli e valide (ad esempio, testi statutari). Un punteggio pari a zero in slot ad alto rischio è trattato come un indicatore critico.
   • Punteggio di Violazione delle Regole (RVS - Rule Violation Score): Un controllo binario contro vincoli strutturali e giurisdizionali predefiniti (ad esempio, verificare se una legge citata esiste o se un'autorità ha giurisdizione).

3. Aggregazione nell'Indice di Rischio di Allucinazione (HRI):
   I segnali a livello di slot vengono aggregati in un Indice di Rischio di Allucinazione (HRI) composito. Si tratta di una somma pesata dove i pesi ($w_i$) riflettono l'impatto amministrativo dello specifico slot. La formula incorpora coefficienti di regolazione ($\alpha, \beta, \gamma$) per bilanciare instabilità, mancanza di citazione e violazioni delle regole:
   $$HRI = \sum_{i} w_i \cdot (\alpha \cdot SIS_i + \beta \cdot (1 - CCS_i) + \gamma \cdot RVS_i)$$
   L'HRI funge da punteggio di rischio operativo piuttosto che da probabilità di correttezza.

4. Workflow Decisionale Operativo:
   L'HRI viene mappato su stati operativi predefiniti in base a soglie:

   • PASS (HRI < 0.20): Consegna diretta.
   • WARN (0.20 ≤ HRI < 0.35): Risposta condizionata con chiarimenti.
   • DEFER (0.35 ≤ HRI < 0.50): Sospensione delle affermazioni autorevoli; isolamento degli slot ad alto rischio.
   • ROUTE (HRI ≥ 0.50): Escalation obbligatoria a funzionari umani.
   • Regole di Override: Condizioni specifiche (ad esempio, RVS=1 per la base legale) innescano un'escalation immediata indipendentemente dal punteggio aggregato per prevenire la falsa rassicurazione derivante dall'aggregazione statistica.

5. Artefatti V&V in Stile ISO/IEC:
   Il framework formalizza la gestione delle allucinazioni in standard artefatti di garanzia del software, inclusi casi di test con obiettivi espliciti, precondizioni e criteri di accettazione quantitativi, garantendo auditabilità e tracciabilità.

Contributi Chiave

• Riframing della Governance: Sposta il paradigma dal "rilevare le allucinazioni" al "gestire il rischio di allucinazione", allineando l'impiego degli LLM con la responsabilità e i requisiti di audit del settore pubblico.
• Compatibilità Black-Box: Fornisce un meccanismo di verifica vitale per ambienti in cui i modelli non possono essere riaddestrati o ispezionati internamente.
• Quantificazione Granulare del Rischio: Introduce l'HRI, una metrica composita che traduce segnali tecnici eterogenei in un indice orientato alla governance, interpretabile da auditor e decisori.
• Supervisione Umana Proporzionale: Stabilisce un workflow in cui l'intervento umano è attivato proporzionalmente ai livelli di rischio, bilanciando l'efficienza operativa con la sicurezza istituzionale.
• Standardizzazione: Integra la gestione delle allucinazioni nei processi di V&V esistenti in stile ISO/IEC, facilitando l'adozione all'interno dei quadri di approvvigionamento pubblico e di garanzia della qualità.

Risultati e Valutazione
Il documento presenta il framework attraverso scenari illustrativi riguardanti la registrazione dello stato civile, le licenze e le richieste di assistenza sociale. La valutazione dimostra come il framework elabori questi scenari:

• Identifica con successo output ad alto rischio (ad esempio, citazioni legali fabbricate o autorità errate) che potrebbero superare i controlli tradizionali incentrati sul modello basati sulla "auto-coerenza".
• Mostra come l'HRI differenzi tra inconsistenze informative a basso impatto ed errori procedurali ad alto impatto, innescando le azioni appropriate di "DEFER" o "ROUTE".
• Valida che il framework può intercettare output pericolosi prima che raggiungano i canali ufficiali, convertendo comportamenti del modello opachi in rischi operativi quantificabili e controllabili.

Significato e Rivendicazioni
Il documento afferma che il suo significato primario risiede nell'offrire un approccio pratico e coerente con la governance per l'impiego degli LLM nel settore pubblico senza compromettere la prevedibilità legale. Sostiene che:

• La fiducia si costruisce sul controllo, non sull'infallibilità: La fiducia istituzionale nell'IA non deve dipendere da rivendicazioni di accuratezza perfetta, ma da procedure trasparenti e verificabili per identificare e gestire i fallimenti.
• La differenziazione del rischio è essenziale: Non tutte le allucinazioni sono uguali; l'approccio basato su slot del framework assicura che le risorse di governance siano concentrate sugli elementi procedurali più consequenziali.
• L'integrazione è fattibile: Mappando i rischi di allucinazione nelle pratiche standard di garanzia del software, il framework rimuove le barriere istituzionali all'adozione dell'IA, permettendo alle agenzie pubbliche di sfruttare gli LLM pur aderendo ai principi stabiliti del diritto amministrativo e della responsabilità.

L'autore nota con modestia che lo studio si basa su scenari dimostrativi piuttosto che su un massiccio benchmarking quantitativo e che il framework è un complemento, non un sostituto, delle strategie di mitigazione a livello di modello come il RAG. Il lavoro futuro suggerito include la calibrazione empirica delle soglie e l'espansione ai contesti multimodali.