Neuro-Symbolic Learning for Predictive Process Monitoring via Two-Stage Logic Tensor Networks with Rule Pruning

Il paper presenta un approccio neuro-simbolico basato su due stadi di ottimizzazione e potatura delle regole che integra vincoli logici differenziabili nel monitoraggio predittivo dei processi, migliorando significativamente l'accuratezza e la conformità normativa rispetto ai metodi puramente data-driven, specialmente in scenari con dati limitati.

L'essenziale

Immagina di dover insegnare a un'intelligenza artificiale a prevedere il futuro di un processo aziendale, come la gestione di una richiesta di prestito bancario o il percorso di un paziente in un ospedale.

Fino a poco tempo fa, abbiamo usato due approcci principali, ma entrambi avevano dei difetti:

1. L'approccio "Solo Dati" (Il Ricettario): L'AI guarda milioni di casi passati e impara a riconoscere schemi. È come un cuoco che impara a cucinare solo guardando video di altri chef. Se un giorno il cuoco vede un ingrediente nuovo o una regola strana, potrebbe sbagliare perché non ha mai "capito" la logica, ha solo memorizzato.
2. L'approccio "Solo Regole" (Il Manuale Burocratico): Si scrivono regole rigide (es: "Se il paziente non ha fatto il prelievo, non può fare l'intervento"). È preciso, ma rigido. Se il mondo reale è un po' caotico o ambiguo, il manuale si rompe e il sistema smette di funzionare.

La Soluzione: L'AI "Neuro-Simbolica" (Il Cuoco con il Manuale)

Gli autori di questo paper hanno creato un sistema ibrido, che chiamano Neuro-Simbolico. Immagina di assumere un cuoco geniale (la parte neurale, che impara dai dati) e dargli un manuale di istruzioni molto preciso (la parte simbolica, le regole logiche).

Il loro obiettivo è far sì che l'AI non solo indovini il futuro basandosi sui dati, ma lo faccia rispettando le regole di sicurezza e burocrazia (come non permettere un trasferimento di denaro senza aver verificato l'identità).

Il Problema: Quando le Regole "Soffocano" l'AI

C'era un grosso ostacolo. Quando si insegna a un'AI a rispettare le regole logiche, a volte diventa troppo brava a "barare".
Immagina di dire a uno studente: "Devi studiare per passare l'esame, ma devi anche rispettare la regola 'non dormire durante la lezione'".
Se la regola è troppo pesante, lo studente potrebbe decidere di non dormire mai (rispettando la regola) ma non studiare affatto (fallendo l'esame). In termini tecnici, l'AI soddisfa la regola logica ma smette di imparare dai dati reali, diventando inutile.

La Magia: La Strategia a Due Fasi

Per risolvere questo, gli autori hanno inventato una strategia intelligente in due atti, come un'opera teatrale:

Atto 1: La Fase di "Sveglia" (Pre-addestramento Pesato)
All'inizio, diamo più importanza ai dati che alle regole. È come dire allo studente: "Prima di tutto, impara a cucinare guardando i video (i dati). Le regole le rispetterai, ma non devono impedirti di imparare la tecnica".
In questa fase, l'AI impara a riconoscere i pattern reali. Le regole sono presenti, ma hanno un peso minore, così non soffocano l'apprendimento.

Atto 2: La Fase di "Potatura" (Rule Pruning)
Dopo che l'AI ha imparato le basi, guardiamo le regole che le abbiamo dato. Non tutte le regole sono utili! Alcune sono vecchie, altre sono contraddittorie, altre ancora sono inutili.
Immagina un giardiniere che pota un albero. L'AI dice: "Questa regola qui mi ha aiutato a capire meglio il processo, la tengo. Questa invece mi ha solo confuso o non ha mai avuto effetto, la taglio via".
Si eliminano le regole "cattive" o inutili e si tiene solo il meglio.

Atto 3: La Fase Finale (Raffinamento)
Ora, con un manuale pulito e un'AI che ha già imparato le basi, si fanno le due cose insieme. L'AI diventa un esperto che sa cucinare benissimo (dati) e rispetta perfettamente le regole di igiene e sicurezza (logica).

Perché è così importante? (I Risultati)

Gli autori hanno provato questo sistema su dati reali (come la gestione dei pazienti in ospedale o le multe per il traffico). Ecco cosa hanno scoperto:

• Senza regole: L'AI va bene, ma a volte sbaglia cose ovvie (es. prescrive un farmaco a un paziente che è già morto, perché nei dati storici è successo per errore).
• Con regole "stupide" (senza la loro strategia): L'AI diventa confusa e peggiora di molto.
• Con la loro strategia: L'AI diventa molto più precisa, specialmente quando i dati sono pochi o quando ci sono regole di sicurezza molto rigide.

In sintesi

Questo paper ci insegna che per costruire un'intelligenza artificiale affidabile nel mondo reale (dove ci sono leggi e regole di sicurezza), non basta farle vedere milioni di esempi. Bisogna darle anche la "coscienza" delle regole, ma con un metodo intelligente: prima lasciarla imparare, poi pulirle il manuale delle istruzioni, e infine farle lavorare insieme.

È come passare da un apprendista che copia ciecamente, a un maestro che sa fare di tutto ma sa anche quando fermarsi per non violare le regole.

Sommario tecnico

Titolo

Apprendimento Neuro-Simbolico per il Monitoraggio Predittivo dei Processi tramite Reti Tensoriali Logiche a Due Stadi con Potatura delle Regole

1. Il Problema

Il monitoraggio predittivo dei processi (PPM) è fondamentale in settori critici come finanza e sanità per anticipare esiti, rilevare anomalie e ottimizzare l'efficienza. Sebbene gli approcci basati sui dati (come LSTM e Transformer) abbiano migliorato la capacità di catturare pattern sequenziali complessi, presentano una limitazione fondamentale: faticano a incorporare vincoli di dominio espliciti e regole di business.

• Il divario: I modelli puramente data-driven apprendono correlazioni storiche ma non rispettano necessariamente regole logiche obbligatorie (es. "la chirurgia può essere programmata solo se il paziente è stato dimesso da più di 7 giorni" o "nessun trasferimento può avvenire prima della verifica dell'identità").
• Il rischio: In scenari reali, la violazione di queste regole può essere inaccettabile per motivi di conformità normativa o sicurezza, anche se i dati storici suggeriscono pattern diversi.
• La sfida tecnica: Integrare la conoscenza simbolica nelle reti neurali è complesso. Gli approcci esistenti spesso trattano le regole come vincoli rigidi post-hoc o non gestiscono i conflitti tra dati e regole, portando a un degrado delle prestazioni predittive se le regole non sono gestite correttamente.

2. Metodologia

Gli autori propongono un framework Neuro-Simbolico che integra la conoscenza di dominio come vincoli logici differenziabili utilizzando le Logic Tensor Networks (LTN). L'approccio si articola in un pipeline di cinque fasi (illustrato nella Fig. 2 del paper):

A. Formalizzazione della Conoscenza

La conoscenza di dominio viene estratta dai log di eventi e formalizzata in tre categorie, tradotte in Logica del Primo Ordine (FOL) e Logica Temporale Lineare (LTL):

1. Control-Flow: Strutture sequenziali (es. precedenze, cicli).
2. Temporali: Relazioni basate sul tempo (es. durate, tempi di attesa).
3. Payload: Correlazioni statistiche tra attributi e esiti (es. "se la saturazione di ossigeno < 90%, il rischio aumenta").

B. Architettura LTN

Le LTN mappano gli elementi logici su tensori reali:

• I predicati sono implementati come reti neurali che restituiscono valori di verità continui in $[0, 1]$.
• I quantificatori universali ($\forall$) ed esistenziali ($\exists$) sono realizzati tramite aggregatori differenziabili.
• L'obiettivo di apprendimento minimizza la perdita totale, che è una combinazione della soddisfazione dei dati etichettati e dei vincoli logici (assiomi).

C. Strategia di Ottimizzazione a Due Stadi (Il Contributo Chiave)

Per risolvere il problema per cui le LTN tendono a soddisfare le formule logiche a scapito dell'accuratezza predittiva (soddisfazione "vacua"), gli autori introducono una strategia in due fasi:

1. Fase 1: Pre-addestramento con Loss Ponderata e Selezione delle Regole

   • Viene utilizzata una funzione di perdita ponderata: $L = 1 - (\alpha \cdot \text{SatAgg}(K_D) + \beta \cdot \text{SatAgg}(K_P))$, dove $K_D$ sono gli assiomi dati e $K_P$ gli assiomi di conoscenza.
   • Impostando $\alpha > \beta$ (es. 0.8 vs 0.2), si dà priorità all'apprendimento dai dati per evitare che regole inaffidabili dominino l'ottimizzazione iniziale.
   • Dopo un numero di epoche, viene calcolato un punteggio di gating ($g_i$) per ogni regola basato sulla media e sulla varianza della sua soddisfazione.
   • Potatura (Pruning): Vengono mantenute solo le regole con punteggio superiore a una soglia $\tau$, eliminando quelle incoerenti o non contributive.

2. Fase 2: Fine-tuning

   • Il modello viene ri-addestrato (fine-tuning) sulla base di conoscenza raffinata ($K_D \cup K'_P$), dove $K'_P$ contiene solo le regole selezionate. Questo garantisce stabilità e accuratezza finale.

3. Contributi Chiave

1. Formalizzazione Sistematica: Un approccio principiato per estrarre e categorizzare la conoscenza di processo (control-flow, temporale, payload) e tradurla in FOL/LTL per l'integrazione in modelli neurali.
2. Strategia di Ottimizzazione Ibrida: Introduzione di un metodo a due stadi (loss ponderata + potatura delle regole) che risolve il limite fondamentale delle LTN di privilegiare la coerenza logica rispetto all'accuratezza predittiva.
3. Gestione dei Conflitti: Un meccanismo che filtra le regole dannose o ridondanti, permettendo al modello di beneficiare della conoscenza di dominio senza degradare le prestazioni, specialmente in scenari con dati limitati.

4. Risultati Sperimentali

La valutazione è stata condotta su quattro log di eventi reali (Sepsis, BPIC2012, BPIC2017, Traffic fines) confrontando l'approccio proposto con baseline puramente data-driven (LSTM, Transformer) e varianti LTN senza potatura.

• RQ1 (Impatto della Conoscenza): L'iniezione di conoscenza di dominio ha migliorato significativamente le prestazioni (F1-score), specialmente su dataset più piccoli (es. +5.23% su Sepsis rispetto a LSTM). Su dataset grandi, il miglioramento è più modesto ma presente.
• RQ2 (Importanza dell'Ottimizzazione a Due Stadi): Questo è il risultato più critico. Le varianti LTN che incorporano le regole senza la strategia a due stadi (LTN-NoP) hanno subito un crollo delle prestazioni (es. su Sepsis, F1 sceso dal 69% al 18%), a causa della soddisfazione vacua delle regole. La strategia proposta ha recuperato e superato le baseline, dimostrando che la gestione delle regole è essenziale.
• RQ3 (Generalizzazione in Scenari di Conformità): In scenari dove le tracce compliant sono rare nel training (es. solo il 4% nel dataset Sepsis) ma abbondanti nel test, l'approccio proposto ha mostrato una superiorità marcata rispetto ai modelli puramente data-driven (es. +16.7% di F1 su Sepsis). I modelli data-driven non riescono a generalizzare pattern rari ma critici, mentre il modello neuro-simbolico li preserva grazie ai vincoli logici.

5. Significato e Implicazioni

Questo lavoro dimostra che l'integrazione della conoscenza di dominio nell'IA predittiva non è solo un'aggiunta opzionale, ma una necessità per la conformità e la sicurezza in settori critici.

• Superamento del "Trade-off": Dimostra che è possibile ottenere sia accuratezza statistica che rispetto dei vincoli logici, superando il compromesso tipico degli approcci precedenti.
• Robustezza: L'approccio è particolarmente efficace quando i dati di addestramento sono scarsi o sbilanciati rispetto a regole di conformità critiche.
• Interpretabilità: La fase di potatura delle regole fornisce un meccanismo per identificare quali regole di dominio sono effettivamente utili per il compito predittivo, rendendo il processo più trasparente.

In sintesi, il paper propone una soluzione matura per il monitoraggio predittivo che combina la flessibilità del deep learning con la rigore della logica formale, risolvendo il problema della degradazione delle prestazioni spesso associata all'iniezione di conoscenza simbolica.