BoolXLLM: LLM-Assisted Explainability for Boolean Models

Riepilogo Tecnico: BOOLXLLM

Enunciato del Problema
Sebbene l'apprendimento automatico interpretabile miri a fornire modelli trasparenti, il dispiegamento pratico in settori ad alto rischio (finanza, sanità) affronta due sfide persistenti quando si utilizzano modelli espressivi basati su regole booleane come BOOLXAI. In primo luogo, in dataset ad alta dimensionalità, i praticanti devono selezionare manualmente caratteristiche semanticamente significative e determinare come discretizzare le variabili numeriche in categorie significative; queste decisioni dipendono fortemente dall'expertise di dominio e influenzano significativamente l'interpretabilità del modello. In secondo luogo, anche quando le regole booleane sono strutturalmente compatte, spesso appaiono astratte agli stakeholder non tecnici. Una regola come Or(duration > 393, nr.employed <= 5076, month = mar) manca di fondamento semantico senza un contesto aggiuntivo, ostacolando la sua accessibilità ai decisori umani.

Metodologia: Il Framework BOOLXLLM
Il documento propone BOOLXLLM, un framework ibrido che integra i Modelli Linguistici di Grande Dimensione (LLM) nella pipeline end-to-end dell'apprendimento di regole booleane. Questo approccio potenzia il classificatore BOOLXAI esistente — che apprende regole logiche compatte utilizzando operatori come AtLeast, AtMost e Choose — con LLM in tre fasi critiche per colmare il divario tra logica formale e narrazioni umane:

1. Selezione delle Caratteristiche Guidata da LLM:
   Invece di affidarsi esclusivamente alla correlazione statistica, il framework utilizza gli LLM come interfaccia semantica tra i metadati del dataset e la selezione delle caratteristiche. Fornendo all'LLM l'obiettivo di previsione, i nomi delle caratteristiche, le descrizioni e il contesto di dominio opzionale, il modello identifica e classifica le caratteristiche in base alla rilevanza semantica. L'output è vincolato a un formato JSON strutturato per garantire un parsing deterministico, riducendo efficacemente lo spazio di ricerca pur preservando le variabili rilevanti per il dominio.

2. Raccomandazione delle Soglie Basata su LLM:
   Le caratteristiche numeriche nell'apprendimento di regole booleane richiedono discretizzazione. La binarizzazione standard spesso produce split arbitrari (ad esempio, age > 36.33) privi di interpretabilità. BOOLXLLM formula la selezione delle soglie come un compito di prompting strutturato in cui l'LLM propone soglie di discretizzazione consapevoli del contesto e allineate alle semantiche di dominio (ad esempio, age > 35). Queste soglie vengono generate prima del processo di ottimizzazione delle regole, garantendo che le condizioni risultanti siano allineate al ragionamento umano.

3. Compressione e Interpretazione delle Regole:
   Per affrontare l'astrazione delle regole booleane, il framework impiega gli LLM sia per l'interpretazione globale che locale:

   • Livello Globale: Le espressioni booleane vengono prima tradotte in descrizioni in linguaggio naturale. Questi testi vengono incorporati e raggruppati per identificare "famiglie di regole" — regole strutturalmente diverse ma semanticamente simili. L'LLM riassume quindi questi cluster per rivelare modelli a livello di popolazione e segmenti comportamentali.
   • Livello Locale: L'LLM genera spiegazioni specifiche per l'istanza condizionando sia la regola booleana appresa che il campione di input specifico, traducendo la logica formale in narrazioni in linguaggio naturale.

Crucialmente, il framework basa tutte le spiegazioni generate dall'LLM sulle regole booleane esplicite apprese da BOOLXAI. Questo design mitiga il rischio di allucinazioni e garantisce che l'output linguistico rimanga fedele al processo decisionale sottostante del modello.

Contributi Chiave

• Framework Innovativo: Introduzione di BOOLXLLM, che integra gli LLM nell'apprendimento di regole interpretabili per la selezione delle caratteristiche, la definizione delle soglie e l'interpretazione delle regole.
• Fondamento Semantico: Metodi per la selezione delle caratteristiche guidata da LLM e la raccomandazione delle soglie che migliorano la rilevanza semantica delle regole booleane.
• Traduzione Centrata sull'Uomo: Sviluppo di tecniche di interpretazione globale e locale che traducono la logica formale in linguaggio naturale accessibile.
• Validazione Empirica: Dimostrazione che le pipeline assistite da LLM possono migliorare l'interpretabilità senza compromettere le prestazioni predittive.

Risultati Sperimentali
Gli autori hanno valutato BOOLXLLM sul dataset UCI Bank Marketing, confrontandolo con un modello BOOLXAI di base che utilizzava tutte le caratteristiche e la discretizzazione standard.

• Selezione delle Caratteristiche: Utilizzando la guida degli LLM, il sistema ha filtrato con successo 4 caratteristiche su 20 (una riduzione del 20%) basandosi sulla rilevanza semantica, raggiungendo una precisione bilanciata dell'86%, comparabile alla baseline che utilizzava tutte le caratteristiche.
• Definizione delle Soglie: Le soglie generate dagli LLM (ad esempio, duration > 400) si sono allineate meglio alle semantiche di dominio rispetto alla binarizzazione standard (ad esempio, duration > 393) senza alcuna perdita di potere predittivo.
• Interpretabilità: Il sistema ha compresso con successo regole ad alte prestazioni e diversificate in coerenti "famiglie di regole" e ha generato spiegazioni qualitative. Ad esempio, una complessa regola booleana è stata tradotta in una narrazione che spiegava come lunghe durate di chiamata indicassero coinvolgimento, mentre contatti recenti suggerissero che il cliente è raggiungibile.

Significato e Affermazioni
Il documento afferma che BOOLXLLM colma con successo il divario tra spiegazioni formali e fedeli e narrazioni comprensibili all'uomo. Combinando il rigore logico delle regole booleane simboliche con l'espressività linguistica e la consapevolezza contestuale degli LLM, il framework offre un sistema di IA spiegabile che è sia teoricamente fondato che accessibile ai non esperti. Il lavoro evidenzia la promessa di combinare il ragionamento simbolico con modelli basati sul linguaggio per avanzare l'XAI centrata sull'uomo, dimostrando che tale integrazione può migliorare l'interpretabilità e l'usabilità mantenendo al contempo prestazioni predittive competitive.