💻 computer science

Target-confidence Recourse Using tSeTlin machines: TRUST

Il documento propone TRUST, un framework che sfrutta le Probabilistic Tsetlin Machines e l'ottimizzazione bayesiana per generare spiegazioni controfattuali robuste e interpretabili ricercando direttamente le modifiche minime agli input che soddisfino i target di confidenza della predizione definiti dall'utente, superando così la fragilità dei convenzionali metodi di ricorso basati sul superamento del confine.

Autori originali: K. Darshana Abeyrathna, Sara El Mekkaoui, Nils Enric Canut Taugbøl, Anuja Vats

Pubblicato 2026-06-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: K. Darshana Abeyrathna, Sara El Mekkaoui, Nils Enric Canut Taugbøl, Anuja Vats

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di richiedere un prestito e che il computer della banca risponda con un "No". Tu chiedi: "Cosa devo cambiare per ottenere un 'Sì'?"

La maggior parte degli attuali sistemi di IA fornisce un suggerimento che è il minimo indispensabile: "Se aumenti il tuo reddito di appena 1 dollaro, il computer cambierà la sua decisione in 'Sì'".

Questo articolo definisce tale risposta un controfattuale "boundary-hugging" (che aderisce al confine). È come stare proprio sul bordo di un precipizio. Tecnicamente sei dal lato sicuro, ma una piccola brezza (un piccolo errore nei dati o un leggero cambiamento nel modello) potrebbe farti ricadere immediatamente nel pericolo. È un "Sì" fragile.

TRUST è un nuovo metodo proposto dai ricercatori di DNV che cambia le regole del gioco. Invece di chiedere: "Qual è il cambiamento più piccolo per ottenere un Sì?", chiede: "Qual è il cambiamento più piccolo per ottenere un Sì sicuro?"

Ecco come l'articolo spiega questo concetto, utilizzando analogie semplici:

1. L'obiettivo: Dal "Bordo del Precipizio" al "Fondo della Valle"

Nel vecchio metodo, l'IA vuole solo che tu attraversi la linea. Con il metodo TRUST, dici all'IA: "Non voglio solo attraversare la linea; voglio essere sicuro all'80% di essere al sicuro".

L'analogia: Immagina di camminare in una foresta nebbiosa.
- Vecchio Metodo: L'IA ti dice di fare un passo avanti. Sei tecnicamente sul "sentiero sicuro", ma sei ancora nella nebbia. Se inciampi leggermente, potresti tornare nella zona di pericolo.
- Metodo TRUST: Dici all'IA: "Voglio camminare finché non sarò in una radura dove sono sicuro al 90% di non perdermi". L'IA potrebbe dirti di fare cinque passi invece di uno. Ora sei più in profondità nella zona sicura. Se inciampi, sei comunque al sicuro.

2. Il motore: La macchina dei "Puzzle Logici" (Tsetlin Machine)

Per fare questo, i ricercatori non hanno usato una standard "black box" (scatola nera) dell'IA (come una rete neurale profonda) che fornisce un numero ma non spiega il perché. Hanno utilizzato una Probabilistic Tsetlin Machine (PTM).

L'analogia: Pensa a una IA standard come a un mago che tira fuori un coniglio da un cappello. Vedi il coniglio (il risultato), ma non sai come sia successo.
La PTM: Pensa alla PTM come a una squadra di detective della logica. Ogni detective ha una regola specifica, come "Se il richiedente ha meno di 73 anni E ha pochi linfonodi, allora è probabile che sopravviva".
- Questi detective non dicono solo "Sì" o "No". Dicono: "Sono sicuro al 90% che questa regola si applichi", oppure "Sono sicuro solo al 50%".
- La decisione finale è il voto di tutti i detective.

3. Il superpotere: Vedere perché un'opzione è migliore

Questo è l'aspetto più unico dell'articolo. Poiché l'IA è composta da questi detective della logica, TRUST può spiegare perché un suggerimento è più affidabile di un altro, anche se sembrano simili.

Lo scenario: Immagina due persone che vogliono un prestito.
- Persona A cambia il proprio reddito appena quanto basta per superare di poco la regola.
- Persona B aumenta il proprio reddito un po' di più per superare la regola con comodità.
La vecchia IA: Potrebbe dire: "La Persona A è migliore perché ha cambiato meno".
TRUST: Guarda i "detective" e dice: "Il successo della Persona A dipende da una regola che è molto incerta. Se i suoi dati cambiano leggermente, quella regola potrebbe smettere di funzionare. Il successo della Persona B si basa su regole che sono solidissime. Anche se la Persona B ha cambiato di più, il suo 'Sì' è molto più stabile".

L'articolo chiama questo "Clause-Level Attribution" (Attribuzione a livello di clausola). È come poter guardare sotto il cofano di un'auto e vedere esattamente quale componente del motore sta traballando, invece di sapere solo che l'auto si sta muovendo.

4. I risultati: Scambiare un po' di sforzo con una grande sicurezza

I ricercatori hanno testato il metodo su dati reali (come la previsione della sopravvivenza dopo un intervento chirurgico) e su dati simulati.

La scoperta: Quando hanno chiesto un risultato ad "alta confidenza" (ad esempio, sicuri al 92%), l'IA ha suggerito cambiamenti leggermente più grandi rispetto al minimo indispensabile.
Il vantaggio: Questi suggerimenti erano molto più robusti. Quando i ricercatori hanno aggiunto del "rumore" (errori simulati o piccoli cambiamenti) ai dati, i suggerimenti del "minimo indispensabile" spesso fallivano e tornavano a essere un "No". I suggerimenti ad "alta confidenza" rimanevano un "Sì".

Riassunto

TRUST è uno strumento che permette di dire a un'IA: "Non voglio solo un sì; voglio un sì stabile e affidabile".

Utilizza un tipo speciale di IA composta da regole logiche (come una squadra di detective) per trovare il cambiamento minimo necessario per raggiungere quel livello di sicurezza. Ammette che, a volte, bisogna cambiare un po' di più per ottenere un risultato di cui si possa davvero fidare, e spiega esattamente perché quel cambiamento extra rende il risultato più sicuro.

Ciò che l'articolo NON afferma:

Non afferma che questo funzioni per ogni tipo di IA (utilizza specificamente la Tsetlin Machine).
Non afferma che sia una cura medica o un modo garantito per ottenere l'approvazione di un prestito nel mondo reale; è un framework di ricerca testato su dataset.
Non dice che questo metodo sia più veloce dei metodi attuali (anzi, nota che può essere più lento perché esegue ricerche più complesse).

Sintesi Tecnica: Ricorso a Confidenza Target utilizzando le Macchine tSeTlin (TRUST)

Definizione del Problema

Le spiegazioni controfattuali (CE) sono il meccanismo standard per fornire il ricorso algoritmico nei sistemi decisionali ad alto rischio (ad esempio, approvazione del credito, stratificazione del rischio clinico). La formulazione prevalente del ricorso cerca la modifica minima di un input $x$ necessaria per invertire la decisione di un modello da negativa a positiva. Formalmente, questo è un problema di ottimizzazione che minimizza la distanza $d(x, x')$ soggetto al vincolo che la probabilità predetta $M(x') \geq 0.5$ .

Il paper identifica due limitazioni critiche in questa inquadratura binaria:

Fragilità: I controfattuali generati vicino al confine decisionale (dove $M(x') \approx 0.5$ ) sono spesso instabili sotto l'effetto di rumore, aggiornamenti del modello o perturbazioni. Possono tecnicamente soddisfare la condizione di inversione dell'etichetta, ma falliscono nella pratica a causa di margini di confidenza bassi.
Disallineamento con il Processo Decisionale: I sistemi decisionali del mondo reale utilizzano frequentemente soglie di confidenza esplicite (ad esempio, richiedere l'80% di confidenza per l'approvazione). I metodi esistenti non possono rispondere direttamente a domande come: "Qual è la modifica minima per ottenere l'approvazione con almeno l'80% di confidenza?". Essi trattano la confidenza come una proprietà post-hoc piuttosto che come un target di ottimizzazione specificato dall'utente.

Mentre lavori precedenti hanno affrontato la robustezza indirettamente attraverso vincoli di margine o validità del vicinato, e esistono metodi sensibili all'incertezza (come CLUE o certificati probabilistici), nessuno permette agli utenti di specificare un livello di confidenza desiderato come vincolo primario durante la generazione del ricorso.

Metodologia: Il Framework TRUST

Gli autori propongono TRUST (Target-confidence Recourse Using tSeTlin machines), un framework che riformula il ricorso come un problema di confidenza target.

1. Formulazione del Problema

Invece di minimizzare la distanza soggetto a $M(x') \geq 0.5$ , TRUST cerca un controfattuale $x'$ che minimizzi il costo $d(x, x')$ soggetto a una confidenza target definita dall'utente $\tau \in (0.5, 1)$ e una tolleranza $\epsilon$ :
$\min_{x'} d(x, x') \quad \text{soggetto a} \quad |M(x') - \tau| \leq \epsilon$
Questa formulazione generalizza i CE standard (recuperati quando $\tau = 0.5$ ) e consente la generazione esplicita di opzioni di ricorso a vari livelli di confidenza, consentendo un'analisi rigorosa del compromesso tra costo e robustezza.

2. Istanziazione del Modello: Macchina Tsetlin Probabilistica (PTM)

Per istanziare questo framework, gli autori utilizzano una Macchina Tsetlin Probabilistica (PTM) accoppiata con l'Ottimizzazione Bayesiana (BO).

Perché PTM? A differenza dei classificatori probabilistici black-box (ad esempio, reti neurali calibrate) dove i punteggi di confidenza mancano di interpretabilità diretta, la PTM decompone le predizioni in clausole logiche interpretabili dall'uomo con attivazioni probabilistiche. Questa struttura permette al modello di collegare direttamente i cambiamenti delle caratteristiche ai cambiamenti nella confidenza della predizione.
Perché l'Ottimizzazione Bayesiana? Lo spazio di ricerca dei controfattuali è non convesso e potenzialmente costoso da valutare, specialmente con modelli stocastici. La BO è impiegata per cercare efficientemente nello spazio degli input, bilanciando esplorazione e sfruttamento per trovare candidati che corrispondano alla confidenza target $\tau$ minimizzando al contempo la distanza. Garanzie teoriche sotto condizioni di regolarità assicurano l'ottimalità asintotica.

3. Attribuzione a Livello di Clausola

Un contributo distinto del framework TRUST è la capacità di eseguire l'attribuzione a livello di clausola. Quando più controfattuali raggiungono la stessa confidenza target ma differiscono per costo o stabilità, la struttura della PTM consente ai professionisti di tracciare queste differenze fino a specifiche regole logiche.

Il framework analizza le "probabilità di attivazione" delle singole clausole.
Identifica se un controfattuale soddisfa le regole in modo robusto (profondamente entro i confini probabilistici della regola) o fragile (vicino al limite della condizione della regola).
Ciò fornisce una spiegazione meccanicistica del perché un'opzione di ricorso sia più affidabile di un'altra, una capacità assente nelle spiegazioni a livello di feature dei modelli black-box.

Contributi Chiave

Formulazione della Confidenza Target: Il paper introduce l'Eq. (2) come il primo obiettivo di CE in cui la confidenza della predizione è un vincolo specificato dall'utente piuttosto che una proprietà emergente. Questo sposta il paradigma da "inversione minima dell'etichetta" a "modifica minima per una specifica soglia di rischio".
Attribuzione a Livello di Clausola: Sfruttando la PTM, gli autori abilitano un nuovo livello esplicativo che collega i cambiamenti a livello di feature ai cambiamenti di confidenza tramite clausole logiche interpretabili. Ciò supporta il confronto tra diverse opzioni di riccorso basandosi sulla stabilità delle regole decisionali sottostanti.
Robustezza per Progettazione: Il framework stabilisce un legame pratico tra controfattuali sensibili alla confidenza e robustezza. Puntando direttamente a livelli di confidenza più elevati, la robustezza viene ottenuta per costruzione (spostandosi più in profondità nella regione della classe positiva) piuttosto che attraverso un filtraggio post-hoc.

Risultati Sperimentali

Gli autori hanno valutato TRUST su due dataset sintetici (2D e 5D) e due dataset reali (classificazione binaria Iris e Haberman Survival). Hanno confrontato TRUST (PTM + BO) con i baseline standard basati sul gradiente (Wachter) e basati sul campionamento (GrowingSpheres) della libreria CARLA.

Risultati Chiave:

Compromesso Robustezza vs. Costo: TRUST permette un controllo esplicito sul compromesso. Con una confidenza target inferiore ( $\tau=0.50$ ), TRUST produce controfattuali con distanza minima (comparabile o migliore dei baseline). Con una confzione target più alta ( $\tau=0.85$ ), TRUST genera controfattuali che sono significativamente più robusti al rumore (raggiungendo il 100% di robustezza su diversi benchmark) mantenendo bassi i costi di ricorso.
Metriche di Performance: Sul dataset Haberman, TRUST ha raggiunto una distanza L2 di 0.10 con una confidenza di 0.92 e una robustezza perfetta, superando i baseline che faticavano a mantenere un'alta confidenza senza sacrificare la robustezza.
Interpretabilità: L'analisi qualitativa sul dataset Haberman ha dimostrato che due controfattuali che soddisfano la stessa regola logica (ad esempio, "Linfonodi positivi $\leq 4$ ") possono avere livelli di affidabilità molto diversi. L'analisi a livello di clausola di TRUST ha rivelato che un controfattuale con linfonodi = 4 era fragile (vicino al confine della regola), mentre uno con linfonodi = 2 era robusto, spiegando la differenza di stabilità della confidenza in modo meccanicistico.

Significato e Rivendicazioni

Il paper sostiene che TRUST fornisca una base consapevole della confidenza e interpretabile per il ricorso algoritmico in contesti ad alto rischio. La sua importanza risiede in:

Spostamento dell'Obiettivo di Ottimizzazione: Passare dall'inversione binaria dell'etichetta alla soddisfazione di soglie di rischio specificate dall'utente, il che si allinea meglio alle necessità regolatorie e pratiche del processo decisionale (ad esempio, l'AI Act dell'UE, il GDPR).
Spiegazione Meccanicistica: A differenza dei metodi precedenti che offrono solo cambiamenti a livello di feature, TRUST spiega perché un'opzione di ricorso è robusta o fragile esponendo la stabilità delle regole logiche (clausole) sottostanti.
Utilità Pratica: Consente ai decisori di scegliere tra le opzioni di ricorso in base a uno spettro trasparente di costo-confidenza-robustezza, invece di essere costretti ad accettare l'opzione "più economica" che potrebbe essere instabile.

Gli autori rimangono modesti riguardo ai limiti, notando che il framework dipende da predizioni probabilistiche ben calibrate, che l'attuale implementazione (PTM) ha un carico computazionale superiore rispetto ai metodi basati sul gradiente, e che la validazione più ampia su benchmark più grandi è un lavoro futuro. Tuttavia, affermano che il framework proposto affronta con successo il divario tra il ricorso teorico e un supporto decisionale stabile e azionabile.