🔢 mathematics

When Are AI Explanations Recoverable? Identifiability, Stability, and Transfer from an Inverse-Problem Perspective

Questo articolo stabilisce un quadro matematico per determinare la recuperabilità delle spiegazioni dell'IA formulandole come problemi inversi, derivando una completa tricotomia di condizioni di identificabilità e stabilità per sistemi lineari e non lineari, e fornendo limiti espliciti che distinguono l'indeterminazione intrinseca dalla variabilità algoritmica.

Autori originali: Chibuike Chiedozie Ibebuchi

Pubblicato 2026-08-24

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Chibuike Chiedozie Ibebuchi

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo dell'intelligenza artificiale, un modello viene spesso giudicato in base a quanto bene riesca a prevedere il futuro. Se un sistema può prevedere con precisione l'esito di salute di un paziente o il prezzo di un'azione, tendiamo a fidarci del suo giudizio. Ma la fiducia in una previsione è diversa dalla fiducia in una spiegazione. Quando un modello prende una decisione, spesso vogliamo sapere il perché. Si è basato su un sintomo specifico? Ha dato più peso a un fattore rispetto a un altro? Queste spiegazioni sono destinate a rivelare la logica interna della macchina, agendo come una finestra sul suo ragionamento. Tuttavia, esiste una realtà problematica: due modelli diversi possono fare esattamente le stesse previsioni per ogni singolo caso, pur offrendo ragioni completamente diverse per farlo. Uno potrebbe incolpare una specifica caratteristica mentre l'altro la ignora del tutto, anche se entrambi arrivano alla stessa risposta corretta. Questo crea un enigma fondamentale: se il comportamento osservabile è identico, possiamo mai essere sicuri di quale sia la spiegazione vera?

Questa domanda si colloca al cuore di un nuovo studio che tratta la ricerca di spiegazioni per l'IA non come una questione di un software migliore, ma come un problema di fisica e geometria. Il ricercatore Chibuike Chiedozie Ibebuchi, della Morgan State University, ha affrontato la questione inquadrandola come un problema inverso. Nella scienza, un problema diretto chiede cosa accade quando si preme un pulsante; un problema inverso chiede cosa deve essere accaduto all'interno della macchina per produrre il risultato che vediamo. Lo studio si chiede se il "perché" di una previsione possa essere recuperato in modo unico e stabile dal "cosa" della previsione. La risposta, afferma l'autore, non è un semplice sì o no. Invece, la recuperabilità di una spiegazione dipende interamente dalla forma matematica dei dati su cui il modello è stato addestrato. Lo studio dimostra che per alcuni tipi di domande, la risposta è nascosta in piena vista, mentre per altre, la risposta è matematicamente impossibile da trovare, indipendentemente dalla potenza di calcolo applicata.

Il ricercatore ha sviluppato un modo preciso per misurare i limiti della spiegazione. Ha immaginato uno scenario in cui due sistemi di IA siano così simili che le loro previsioni differiscano solo di una quantità minima, quasi invisibile. Ha poi chiesto: quanto possono differire le spiegazioni di questi due sistemi? Se le spiegazioni possono oscillare selvaggiamente anche quando le previsioni sono quasi identiche, la spiegazione è instabile. Se le spiegazioni possono essere completamente diverse anche quando le previsioni sono esattamente le stesse, la spiegazione è inidentificabile. Lo studio stabilisce un confine chiaro tra questi stati. Dimostra che una spiegazione è recuperabile solo se si allinea con le direzioni nei dati che il modello può effettivamente "vedere". Se la spiegazione dipende da una direzione che il modello non può vedere, la spiegazione è persa per sempre. Se la spiegazione dipende da una direzione che il modello può vedere ma solo debolmente, la spiegazione esiste in teoria ma è così sensibile al rumore da essere inutile in pratica.

Nel caso specifico dei modelli lineari, comuni in molte applicazioni statistiche, l'autore ha derivato una formula esatta che funge da righello per questa incertezza. Questa formula lega la stabilità di una spiegazione direttamente alla geometria delle relazioni dei dati. Quando le caratteristiche dei dati sono altamente correlate, una situazione nota come collinearità, il righello mostra che le spiegazioni diventano via via più instabili. Lo studio dimostra che all'aumentare della correlazione tra i punti dati, l'incertezza nella spiegazione cresce con essa, diventando infine infinita se la correlazione diventa perfetta. Il ricercatore ha testato questa teoria con simulazioni al computer. Ha creato scenari in cui le relazioni tra i dati venivano modificate da perfettamente chiare a quasi impossibili da distinguere. In ogni caso, il comportamento del computer corrispondeva esattamente alla previsione matematica. Quando i dati erano ben strutturati, le spiegazioni erano stabili. Quando i dati erano quasi identici in modi diversi, le spiegazioni divergevano selvaggiamente, confermando che l'instabilità non era un bug del software ma una proprietà fondamentale dell'informazione disponibile.

Lo studio ha esplorato anche cosa accade quando l'IA utilizza regole non lineari più complesse per prendere decisioni. Si potrebbe sperare che un modello più complesso possa districare la confusione causata da dati disordinati. Tuttavia, il ricercatore ha scoperto che la complessità non salva una spiegazione perduta. Se un pezzo di informazione manca dai dati fin dall'inizio, nessun amount di torsione non lineare può riportarlo indietro. Lo studio dimosta che se una spiegazione dipende da una variabile nascosta che il modello non può osservare, un modello non lineare fallirà comunque nell'identificarla. La spiegazione rimane tanto invisibile quanto lo era nel caso lineare più semplice. Questa scoperta è cruciale perché scoglie l'idea che algoritmi più complessi possano risolvere problemi che sono fondamentalmente sottodeterminati dai dati.

Inoltre, la ricerca affronta il tema del trasferimento, chiedendosi se una spiegazione che funziona in una situazione reggerà se i dati cambiano leggermente. L'autore ha scoperto che la stabilità non è garantita da piccoli cambiamenti nei dati. Se la distribuzione sottostante dei dati subisce anche un minimo spostamento, una spiegazione che prima era stabile può improvvisamente diventare impossibile da recuperare. Ciò accade quando lo spostamento dei dati spinge il problema verso un confine dove l'informazione viene persa. Lo studio fornisce una condizione specifica, un "margine spettrale", che deve essere mantenuto per garantire che le spiegazioni rimangano affidabili nel passaggio da un dataset all'altro. Senza questo margine, anche un minuscolo cambiamento nei dati può distruggere la capacità di spiegare il comportamento del modello.

Il lavoro conclude riformulando il modo in cui dovremmo approcciare l'intelligenza artificiale spiegabile. Invece di cercare immediatamente il miglior algoritmo per generare una spiegazione, lo studio suggerisce che dobbiamo prima chiederci se una spiegazione sia anche possibile da trovare. Prima di fidarsi di un'attribuzione di caratteristiche o di un punteggio di sensibilità, dobbiamo determinare se l'informazione necessaria per generarla sia effettivamente presente nelle previsioni osservabili. Lo studio separa la variabilità causata dalla scelta dell'algoritmo dall'incertezza intrinseca causata dai dati stessi. Offre una base matematica per sapere quando un'affermazione esplicativa è supportata dalle evidenze e quando è fondamentalmente sottodeterminata. Definendo i limiti di ciò che può essere conosciuto, la ricerca fornisce una base necessaria per costruire la fiducia nell'intelligenza artificiale, assicurando che non scambiamo un algoritmo stabile per una verità stabile.

Sintesi Tecnica: Quando le spiegazioni dell'IA sono recuperabili?

Formulazione del Problema
Il documento affronta una lacuna fondamentale nella Spiegabilità dell'Intelligenza Artificiale (XAI): l'assunto che la somiglianza predittiva implichi l'accordo esplicativo. L'autore sostiene che modelli diversi possono produrre predizioni osservativamente indistinguibili pur supportando attribuzioni di caratteristiche, sensibilità o classifiche materialmente differenti. La domanda centrale è formulata come un problema inverso: dato un operatore di osservazione $\mathcal{A}$ (che rappresenta il comportamento osservabile del modello) e un funzionale di spiegazione $\Psi$ (la quantità da recuperare), sotto quali condizioni $\Psi(\theta)$ è univocamente e stabilmente recuperabile da $\mathcal{A}(\theta)$ ?

Lo studio distingue tra tre fenomeni spesso confusi:

Non-identificabilità: La spiegazione varia tra sistemi con osservazioni identiche.
Cattivo condizionamento (Ill-conditioning): La spiegazione è univoca ma infinitamente sensibile a piccole perturbazioni osservazionali.
Recupero stabile: La spiegazione è determinata univocamente e varia continuamente (Lipschitz-stabilmente) con le osservazioni.

Metodologia
Il framework definisce un modulo di identificabilità specifico per la spiegazione, $\omega_{\Psi, \mathcal{A}}(\delta)$ , che quantifica la massima discrepanza possibile nel funzionale di spiegazione $\Psi$ tra due sistemi le cui osservazioni differiscono al massimo di una tolleranza $\delta$ .

L'analisi procede attraverso quattro stadi teorici:

Teoria degli spazi di Hilbert lineari: Il problema è modellato utilizzando operatori di osservazione lineari limitati $A: \mathcal{H} \to \mathcal{Y}$ e funzionali di spiegazione lineari $\Psi_a(\theta) = \langle a, \theta \rangle$ . L'analisi si basa sulla geometria del nucleo $\ker(A)$ e dell'immagine dell'operatore aggiunto $\text{Range}(A^*)$ .
Specializzazione in dimensione finita: Per predittori lineari con geometria di covarianza $\Sigma$ , il modulo è derivato utilizzando la pseudoinversa di Moore-Penrose $\Sigma^\dagger$ .
Estensioni non lineari: La teoria si estende a operatori di osservazione non lineari $F$ che sono localmente comparabili a un operatore lineare $A$ in senso bi-Lipschitz. Ciò consente di limitare il modulo non lineare utilizzando il corrispondente lineare scalato dalle costanti di Lipschitz della non linearità.
Analisi delle perturbazioni: Lo studio investiga come il recupero della spiegazione si trasferisca attraverso cambiamenti distribuzionali (da sorgente $P$ a target $Q$ ) analizzando le perturbazioni relative della matrice di covarianza.

Risultati Chiave

La Tricotomia della Recuperabilità (Caso Lineare):
Per una direzione di spiegazione lineare $a$ , si verifica esattamente uno di tre regimi:
1. Non-identificabile: Se $a \notin (\ker A)^\perp$ , il modulo è infinito per qualsiasi $\delta \geq 0$ . La spiegazione non può essere recuperata.
2. Identificabile ma Infinitamente Instabile: Se $a \in (\ker A)^\perp$ ma $a \notin \text{Range}(A^*)$ , il modulo è zero per $\delta=0$ ma infinito per ogni $\delta > 0$ . La spiegazione è univoca nel limite privo di rumore, ma irrecuperabile sotto perturbazione.
3. Lipschitz-Stabile: Se $a \in \text{Range}(A^*)$ , il modulo è $\omega_a(\delta) = \delta \|y_a^\dagger\|$ , dove $y_a^\dagger$ è la soluzione a norma minima di $A^*y = a$ . Questo fornisce una costante di stabilità ottimale esatta.
Formula della Pseudoinversa in Dimensione Finita:
In dimensioni finite, dove $\text{Range}(A^*)$ è chiuso, il regime intermedio instabile collassa. Se la direzione della spiegazione risiede nell'intervallo osservabile, il modulo è dato da:
$\omega_a(\delta) = \delta \sqrt{a^\top \Sigma^\dagger a}$
Questo lega esplicitamente il recupero della spiegazione alla geometria della covarianza. La quasi-collinearità (piccoli autovalori) porta a un cattivo condizionamento (modulo elevato), mentre la carenza di rango nella direzione di $a$ porta alla non-identificabilità.
Limiti Non Lineari:
Per modelli lineari generalizzati (es. regressione logistica) con una funzione di link $g$ che possiede limiti della derivata $m \leq g' \leq M$ , il modulo non lineare è limitato dal modulo lineare scalato da $1/M$ e $1/m$ . Fondamentalmente, la non linearità non può ripristinare l'identificabilità persa nello spazio nullo osservazionale; se una direzione è inosservabile in un predittore lineare, rimane inosservabile dopo una trasformazione monotona.
Certificati di Trasferimento:
Il documento stabilisce che la stabilità della spiegazione si trasferisce sotto spostamento distribuzionale solo se la perturbazione relativa della geometria della covarianza è limitata lontano dal collasso spettrale. Specificamente, se $\|E\|_{op} \leq \rho < 1$ (dove $E$ è la perturbazione relativa), il modulo target è limitato entro un fattore di $1/\sqrt{1 \pm \rho}$ rispetto al modulo sorgente. Viceversa, perturbazioni assolute arbitrariamente piccole possono distruggere l'identificabilità se il sistema sorgente è vicino a un confine di carenza di rango.

Verifica Numerica
Quattro esperimenti controllati verificano le previsioni teoriche:

Condizionamento Spettrale: Il modulo lineare esatto è stato riprodotto con precisione di virgola mobile attraverso numeri di condizionamento della covarianza compresi tra $1 $e$ 10^6$.
Fallimento dello Spazio Nullo: Spostamenti lungo una direzione nulla hanno prodotto una discrepanza predittiva nulla ma una discrepanza di spiegazione divergente, confermando l'esatta non-identificabilità.
Limiti Non Lineari: I moduli numerici per un modello logistico sono rimasti strettamente entro i limiti teorici a due lati derivati dal caso lineare.
Inviluppo di Trasferimento: I rapporti campionati tra i moduli target-to-source sotto perturbazioni casuali della covarianza sono rimasti entro l'inviluppo teorico previsto dal teorema della perturbazione relativa.

Significato e Rivendicazioni
Il documento rivendica di fornire una teoria quantitativa del problema inverso per un determinato funzionale di spiegazione rispetto a un determinato operatore di osservazione. Il suo contributo primario non è un nuovo algoritmo di attribuzione, ma un framework matematico per determinare a priori se un obiettivo esplicativo è recuperabile dalle informazioni predittive disponibili.

L'autore sostiene che questo framework separi la variabilità algoritmica (differenze derivanti dalla scelta del metodo di spiegazione) dall'intrinseco cattivo condizionamento e dalla non-identificabilità (limiti fondamentali imposti dai dati e dalla struttura del modello). Il lavoro postula che prima di selezionare o confrontare algoritmi di spiegazione, i ricercatori debbano prima determinare se l'obiettivo esplicativo è identificabile e stabile sotto la data struttura informativa. Se l'obiettivo si trova al di fuori dell'intervallo osservabile o in un regime instabile, nessun algoritmo può recuperarlo in modo affidabile, indipendentemente dal suo design.

Lo studio conclude che l'affidabilità della spiegazione è una proprietà del problema inverso stesso, non semplicemente una proprietà dell'algoritmo utilizzato per risolverlo. Ciò ridefinisce l'affidabilità delle affermazioni XAI: esse sono supportate solo quando la quantità esplicativa è stabilmente recuperabile dal comportamento predittivo osservabile.

Sintesi Tecnica: Quando le spiegazioni dell'IA sono recuperabili?

Articoli simili