Neural Logic Networks for Interpretable Classification

Sintesi Tecnica: Reti Logiche Neurali per la Classificazione Interpretabile

Definizione del Problema
Le reti neurali tradizionali raggiungono prestazioni allo stato dell'arte nei compiti di classificazione, ma operano come "scatole nere" (black box), offrendo scarse o nulle intuizioni sui meccanismi logici che guidano le loro decisioni. Questa mancanza di spiegabilità è una barriera critica in domini ad alto rischio come la medicina, la finanza e il diritto, dove le decisioni devono essere trasparenti, verificabili e prive di bias inaccettabili. Sebbene i metodi neuro-simbolici mirino a colmare il divario tra l'apprendimento neurale e il ragionamento simbolico, gli approoli esistenti spesso faticano con l'interpretabilità, richiedono un esteso pre-processing dei dati o non riescono a gestire efficacemente i dati non osservati e gli input negati. Nello specifico, le precedenti Reti Logiche Neurali (NLN) e i Rule-based Representation Learners (RRL) mancano di fondamenta probabilistiche rigorose, non possono gestire nativamente gli input negati senza raddoppiare i parametri e spesso si affidano ad approssimazioni che oscurano la struttura logica delle regole apprese.

Metodologia
Gli autori propongono un framework di Rete Logica Neurale (NLN) generalizzato che integra le operazioni logiche AND, OR e NOT all'interno di una rigorosa modellazione probabilistica e della logica fuzzy.

• Modellazione Probabilistica e Logica: Il nucleo del metodo modella i concetti come eventi casuali. Gli autori derivano formule probabilistiche trattabili per i nodi AND e OR (Equazioni P-AND e P-OR) basate su tre assunzioni di indipendenza: (1) l'indipendenza tra la presenza di concetti in una realizzazione e i loro ruoli causali generali nei livelli superiori; (2) l'indipendenza tra distinti concetti necessari/sufficienti all'interno di un livello (un bias di "totale apertura mentale"); (3) l'indipendenza condizionale dei concetti nello stesso livello dato l'input. Queste formule sono dimostrate essere equivalenti agli operatori della logica fuzzy del prodotto.
• Pesi e Bias Generalizzati: A differenza dei lavori precedenti, questa NLN introduce pesi nell'intervallo $[-1, 1]$. Un peso positivo indica l'inclusione di un concetto, mentre un peso negativo indica l'inclusione del suo contrario (negazione), permettendo a un singolo parametro di modellare entrambi i casi. Inoltre, il modello introduce parametri di bias ($a_i$ per AND, $o_i$ per OR) per tenere conto di dati non osservati o mancanti, stimando la probabilità che le condizioni necessarie o sufficienti siano soddisfatte da fattori non osservati.
• Architettura Interpretabile: La rete è vincolata a una struttura in Forma Normale Disgiuntiva (DNF) composta da due strati completamente connessi: uno strato nascosto di concetti AND (che permette la negazione) e uno strato di output di concetti OR. Per gestire input non binari, il framework impiega moduli di pre-processing specifici:
  • Caratteristiche categoriche: mappate in concetti OR che rappresentano classi di equivalenza di valori.
  • Caratteristiche continue: mappate in "dicotomie fuzzy" (funzioni sigmoidi) che apprendono confini e nitidezza, formando collezioni di intervalli fuzzy.
• Algoritmo di Apprendimento: Il processo di addestramento utilizza la discesa del gradiente (ADAM) con una perdita L2 e regolarizzazioni specifiche per incoraggiare definizioni non vuote e la sparsità (penalità L1). Per affrontare il problema della scomparsa del gradiente (vanishing gradient) comune nelle reti logiche profonde, gli autori introducono un meccanismo di reset delle regole che reinizializza i moduli di regola "morti" (quelli con bias nullo o pesi in uscita nulli) ad ogni epoca.
• Post-Processing: Dopo l'addestramento, il modello subisce una pipeline di post-elaborazione in più fasi per massimizzare l'interpretabilità:
  1. Discretizzazione dei Pesi: un algoritmo greedy discretizza i pesi a $\{-1, 0, 1\}$ per produrre regole logiche nette.
  2. Riapprendimento: i parametri continui (confini e bias) vengono riaddestrati con pesi discreti fissi.
  3. Potatura (Pruning): i pesi e le regole non necessari vengono rimossi.
     ਲ * Aggiustamento del Bias: i bias finali sono statisticamente aggiustati sulla base dell'analisi della copertura del dataset per riflettere la probabilità della classe target quando le regole non vengono attivate.

Contributi Chiave

1. Formalismo Teorico: Il documento presenta la prima rigorosa derivazione logica e probabilistica per le NLN, modellando esplicitamente l'impatto dei dati non osservati e generalizzando i pesi per gestire la negazione con un singolo parametro.
2. Struttura Fattorizzata: Un'architettura innovativa che utilizza moduli di regole IF-THEN fattorizzati e un pre-processing specializzato degli input per caratteristiche binarie, categoriche e continue.
3. Algoritmo di Apprendimento Migliorato: Una procedura di addestramento modificata che presenta uno schema di reset delle regole per contrastare la scomparsa del gradiente e un processo di semplificazione post-apprendimento per estrarre regole interpretabili.
4. Gestione dei Dati Mancanti: Un'estensione naturale per la gestione dei valori mancanti attraverso l'apprendimento delle probabilità per categorie mancanti o intervalli continui, evitando la necessità di imputazione artificiale.

Risultati Sperimentali
Il metodo è stato valutato su due compiti primari: la scoperta di reti booleane e la classificazione tabulare interpretabile.

• Scoperta di Reti Booleane: Su dataset sintetici, la NLN ha raggiunto oltre il 97% di accuratezza nella predizione con solo il 16% dei dati e un'accuratezza perfetta con il 40% dei dati, identificando correttamente le regole reali (ground-truth).
• Classificazione Tabulare: Valutata su 8 dataset UCI (inclusi dataset medici, industriali e basati sulla logica come Tic-Tac-Toe e Chess).
  • Prestazioni: La NLN ha ottenuto punteggi F1 competitivi, spesso eguagliando o superando l'RRL e gli Optimal Decision Diagrams (ODD) su dataset con programmi logici sottostanti (es. Tic-Tac-Toe, Chess). Su dataset senza chiari programmi logici (es. Adult, Balance), le prestazioni della NLN sono state generalmente inferiori rispetto a RRL (che utilizza uno strato di output lineare) ma comparabili a ODD.
  • Interpretabilità: La NLN ha superato significativamente l'RRL in termini di interpretabilità. Ad esempio, sul dataset Tic-Tac-Toe, la NLN ha scoperto esattamente le 8 regole reali utilizzando 8 regole, mentre l'RRL richiedeva oltre 300 regole per ottenere un'accuratezza simile. Sul dataset Kidney disease, la NLN ha identificato un set compatto di 4 regole che coprivano il 98,99% dei casi, mentre l'RRL richiedeva 13 regole con una rappresentazione distribuita.
  • Applicazioni: Gli autori hanno dimostrato la fusione di molteplici modelli di cross-validazione in un unico modello semplificato per il dataset Kidney e il trasferimento di regole da un compito di rilevamento delle anomalie binario a uno multiclasse (NSL-KDD), mostrando l'adattabilità del framework.

Significatività e Rivendicazioni
Il documento sostiene che le NLN offrono uno strumento potente per situazioni in cui gli output possono essere descritti da programmi logici, imparando regole sparse e interpretabili che competono con le prestazioni dei modelli black-box in domini specifici. Gli autori sottolineano che il loro metodo migliora lo stato dell'arte nella scoperta di reti booleane e fornisce un valore tangibile in applicazioni mediche e industriali dove la trasparenza è essenziale.

Tuttavia, gli autori sono modesti riguardo ai limiti del metodo. Ammettono che la strategia di apprendimento fatica quando non esiste un programma logico sottostante, risultando spesso in una performance predittiva inferiore rispetto ai metodi con strati di output lineari (come RRL) o metodi basati su alberi. La fase di discretizzazione dei pesi è notata come computazionalmente costosa, e il problema della scomparsa del gradiente, sebbene mitigato, rimane una sfida. Gli autori suggeriscono che i lavori futuri dovrebbero esplorare formalismi approssimati (come l'RRL) per migliorare le proprietà di apprendimento e investigare estensioni di NLN convoluzionali, ricorrenti e basate su grafi per compiti più complessi come la classificazione delle immagini e il ragionamento multi-step.

Il documento conclude con una dichiarazione sull'impatto più ampio, osservando che, sebbene la trasparenza sia un obiettivo, essa rischia anche di esporre i bias discriminatori presenti nei dati di addestramento (es. nel dataset Adult). Gli autori sostengono che tale trasparenza permette l'audit delle regole da parte di esperti di dominio, prevenendo potenzialmente l'implementazione di politiche basate su correlazioni spurie.