Beyond Post-hoc Explanation: Toward Glassbox AI via Probabilistic Mediation

Sintesi Tecnica: Oltre la Spiegazione Post-hoc: Verso l'IA Glassbox tramite la Mediazione Probabilistica

Problematica
Il documento affronta la critica sfida di governance posta dal dispiegamento dei Large Language Models (LLM) come infrastrutture in contesti istituzionali ad alto rischio (es. pubblica amministrazione, sanità, ragionamento giuridico). Il problema centrale è l'opacità del ragionamento degli LLM, che rende le decisioni legalmente e istituzionalmente insostenibili. Gli autori sostengono che il paradigma dominante della spiegabilità post-hoc (es. LIME, SHAP) sia strutturalmente inadeguato per questi contesti. I metodi post-hoc soffrono di tre specifici modi di fallimento:

1. Instabilità: Le spiegazioni variano arbitrariamente con piccole perturbazioni dell'input, fallendo nel fornire un ragionamento coerente.
2. Non contestabilità: Poiché le spiegazioni sono approssimazioni generate da un meccanismo separato, esse mancano di una relazione formale con il reale processo di ragionamento del modello, impedendo alle parti interessate di presentare contestazioni autentiche.
3. Il Gap di Responsabilità (Accountability Gap): I metodi post-hoc identificano le caratteristiche influenti ma non verificano se le predizioni siano allineate con la conoscenza del dominio, i vincoli normativi o gli standard espliciti.

Il documento pone come causa radice non la mancanza di spiegazione, ma la mancanza di un ragionamento strutturato all'interno del sistema stesso.

Metodologia: Il Framework Glassbox
Gli autori propongono un nuovo paradigma architettonico chiamato Framework Glassbox, che sposta la responsabilità dal post-hoc (dopo il fatto) all'ante-hoc (prima dell'inferenza). Il meccanismo centrale prevede l'uso di Reti Bayesiane (BN) come strati di mediazione trasparenti per i modelli generativi.

L'architettura consiste in tre strati funzionali disposti verticalmente:

1. Lo Strato di Governance: Uno strato istituzionale (non computazionale) dove esperti di dominio e autorità legali specificano la struttura della BN (variabili, struttura del Grafo Aciclico Diretto/DAG e distribuzioni a priori) basandosi sugli attuali standard istituzionali. Questo strato gestisce i log di audit e i protocolli di aggiornamento, garantendo che le modifiche strutturali siano autorizzate e documentate.
2. Lo Strato di Inferenza: Il nucleo tecnico dove un LLM e una BN interagiscono iterativamente.
   • L'LLM esegue l'analisi iniziale dell'input non strutturato per proporre assegnazioni candidate per le variabili della BN.
   • Queste proposte passano attraverso un interfaccia di traduzione semantica, mappando il linguaggio naturale nello spazio di variabili discrete e formalmente specificato della BN.
   • La BN attiva un sottografo contestualmente rilevante (anziché l'intera rete) per eseguire l'inferenza probabilistica.
   • Controllo di Coerenza: La BN verifica le assegnazioni dell'LLM rispetto alla struttura di dominio codificata. Se le assegnazioni sono incoerenti (es. evidenze conflittuali), la BN genera una ri-interrogazione mirata all'LLM. Questo ciclo continua fino al raggiungimento di un'istanza coerente o finché non viene segnalato un fallimento strutturalmente informativo.
   • La BN restituisce una distribuzione a posteriori e una traccia di inferenza completa, che viene resa nuovamente in linguaggio naturale da un LLM.
3. Lo Strato di Accountability: Questo strato rende la traccia di ragionamento completa disponibile per la revisione, l'appello e la contestazione istituzionale. Poiché la traccia è un registro diretto della struttura ante-hoc, gli stakeholder possono contestare specifici nodi, dipendenze condizionali o decisioni di governance.

Contributi Principali
Il documento presenta quattro contributi primari:

1. Architettura Concettuale: Introduce e caratterizza formalmente il Framework Glassbox come un'architettura concettuale per l'IA generativa responsabile, distinguendola dalle esistenti tecniche di IA spiegabile (XAI) e dagli approcci neuro-simbolici.
2. L'Interfaccia BN-LLM: Definisce l'interfaccia tra l'LLM e la BN come un oggetto scientifico distinto, separato dalla spiegabilità post-hoc. Questa interfaccia è identificata come la sfida tecnica centrale, che richiede la mappatura delle rappresentazioni implicite e distribuzionali dell'LLM verso le rappresentazioni discrete e strutturate della BN.
3. Dimostrazione Operativa: Attraverso un esperimento mentale strutturato in uno scenario di ammissibilità ai benefici, il documento illustra le proprietà operative del framework. Dimostra come il sistema gestisce l'ambiguità semantica, rileva le incoerenze (es. tra lo stato di disoccupazione e i segnali di reddito) e produce tracce auditabili che permettono la contestazione a livello di nodo.
4. Agenda di Ricerca: Identifica cinque sfide fondamentali che devono essere risolte per realizzare il framework su scala:
   • Fondamento Semantico (Semantic Grounding): Colmare il divario tra il linguaggio naturale dipendente dal contesto e le variabili probabilistiche indipendenti dal contesto.
   • Apprendimento della Struttura in Domini Normativi: Sviluppare metodi per apprendere o estrarre DAG che siano sia coerenti con i dati che normativamente difendibili (legali/etici), piuttosto che puramente statistici.
   • Interfaccia Probabilistica: Costruire una mappatura matematica rigorosa tra le distribuzioni di token dell'LLM e le tabelle di probabilità condizionata della BN, utilizzando specificamente "evidenza virtuale" anziché evidenza deterministica per preservare i prior della BN.
   • Governance Human-in-the-Loop: Stabilire protocolli formali per il disaccordo tra esperti, l'audit da parte di attori non tecnici e gli aggiornamenti autorizzati del modello.
   • Scalabilità e Generalizzazione: Investigare se strutture di meta-livello o meccanismi di trasferimento possano generalizzare il framework attraverso diversi domini (es. dall'ammissibilità ai benefici al triage medico).

Risultati e Rivendicazioni
Il documento non presenta un sistema completamente implementato o risultati sperimentali empirici. Presenta invece un'analisi teorica e architettonica.

• Risultato Teorico: Gli autori dimostrano che il Framework Glassbox possiede quattro proprietà derivate direttamente dalla sua architettura: Trasparenza della Struttura (la struttura del ragionamento è ispezionabile prima dell'inferenza), Contestabilità degli Output (le contestazioni possono colpire nodi o dipendenze specifici), Quantificazione Formale dell'Incertezza (distribuzioni di probabilità native anziché predizioni puntuali) e Modularità (la conoscenza specifica del dominio può essere aggiornata senza alterare l'architettura generale).
• Analisi del Caso Studio: Nello scenario di ammissibilità ai benefici, il framework dimostra di rilevare l'incoerenza strutturale (es. alta fiducia nella disoccupazione rispetto a evidenze di reddito) e di innescare ri-interrogazioni mirate, producendo una traccia che collega esplicitamente l'esito alle condizioni statutarie. Ciò contrasta con le pipeline standard degli LLM, che producono riassunti instabili e non contestabili.

Significato e Ambito
Il documento sostiene che il Framework Glassbox rappresenti una "via fondata" verso sistemi di IA che siano fondamentalmente responsabili. La sua importanza risiede nello spostamento del focus dalla spiegazione di modelli opachi al design di sistemi in cui la struttura del ragionamento è intrinsecamente ispezionabile e governata.

Gli autori sono modesti nelle loro rivendicazioni, dichiarando esplicitamente che il framework è una "direzione di ricerca" piuttosto che un sistema finito. Sottolineano che la realizzazione di questo framework dipende dalla risoluzione di problemi scientifici aperti, in particolare l'allineamento semantico tra linguaggio e probabilità e la formalizzazione della governance probabilistica. Argomentano che, senza risolvere questi problemi fondamentali, la transizione degli LLM in infrastrutture critiche rimarrà legalmente ed eticamente precaria, poiché le spiegazioni post-hoc non possono sostituire un ragionamento strutturato e responsabile.