Embedding Linear Equality Constraints in Probabilistic Neural Networks for Dynamic Modelling

Problematica
I modelli di machine learning sono sempre più impiegati per la modellazione surrogata nei sistemi di processi chimici, offrendo il vantaggio di costruire modelli direttamente dai dati senza richiedere estese conoscenze specialistiche. Tuttavia, questi approcci basati sui dati spesso mancano di una conoscenza fisica integrata, portando a previsioni che possono violare le leggi fisiche note, in particolare quando i dati di addestramento sono limitati o rumorosi. Inoltre, i modelli deterministici standard non forniscono una quantificazione dell'incertezza ben fondata, il che è critico per applicazioni di ottimizzazione e controllo dove i dati sono spesso parzialmente osservabili o stocastici. Sebbene le Physics-Informed Neural Networks (PINNs) tentino di imporre la coerenza fisica tramite vincoli deboli (soft constraints) nella funzione di perdita, esse non garantiscono la soddisfazione dei vincoli e possono introdurre sensibilità agli iperparametri e problemi di convergenza. Al contrario, i metodi a vincolo forte (hard-constrained) spesso si affidano a proiezioni di output o sottospazi ridotti che possono compromettere l'espressività del modello o aumentare l'onere computazionale, specialmente per vincoli non lineari. Inoltre, i metodi di apprendimento vincolato esistenti sono prevalentemente deterministici, privi della capacità di modellare l'incertezza aleatoria (intrinseca).

Metodologia
Gli autori propongono un framework di Probabilistic Neural Network (PNN) che impone vincoli di uguaglianza lineare entro una tolleranza specificata, modellando esplicitamente l'incertezza aleatoria dell'output. Il nucleo della metodologia prevede:

1. Formulazione Probabilistica: Invece di predire stime puntuali, la rete neurale $f_\theta$ predice i parametri di una distribuzione gaussiana multivariata per l'output $y$. Nello specifico, essa restituisce un vettore di media $\mu_P$ e un fattore di Cholesky $L_P$ della matrice di covarianza $\Sigma_P = L_P L_P^\top$. Il modello viene addestrato per minimizzare la log-verosimiglianza negativa (NLL) di questa distribuzione.
2. Definizione del Vincolo: I vincoli di uguaglianza lineare sono definiti come $Ax + By = b$. Per consentire una condizionatura trattabile, gli autori introducono un piccolo termine di diffusione numerica $\epsilon \sim \mathcal{N}(0, \epsilon I)$, trattando il residuo del vincolo $z = Ax + By - b$ come una variabile gaussiana piuttosto che come una funzione delta rigida.
3. Condizionamento in Forma Chiusa: Sfruttando la coniugazione dei sistemi gaussiani lineari, il framework deriva un aggiornamento in forma chiusa per condizionare la distribuzione di output non vincolata $p(y|x)$ sul vincolo $z=0$. Ciò risulta in una nuova distribuzione condizionata $p(y|z=0, x) = \mathcal{N}(\mu_Q, \Sigma_Q)$, dove la media e la covarianza vengono aggiornate analiticamente. Questa proiezione assicura che l'output soddisfi i vincoli entro la tolleranza $\epsilon$ e riduca l'incertezza nella direzione del vincolo.
4. Implementazione: Il condizionamento è implementato tramite layer non addestrabili e differenziabili inseriti nel grafo computazionale. Il modello viene addestrato minimizzando la NLL della distribuzione condizionata. Questo approccio evita l'ottimizzazione iterativa durante l'inferenza e mantiene la differenziabilità per la backpropagation.

Contributi Chiave

• Soddisfazione Garantita dei Vincoli: A differenza delle PINNs a vincolo debole, questo framework garantisce che i vincoli di uguaglianza lineare siano soddisfatti entro una tolleranza definita dall'utente sia nei punti di addestramento che di inferenza.
• Quantificazione dell'Incertezza: Il metodo cattura l'incertezza aleatoria, fornendo una distribuzione predittiva piuttosto che una stima puntuale deterministica, il che è essenziale per il processo decisionale consapevole del rischio.
• Efficienza Computazionale: Utilizzando il condizionamento in forma chiusa, il metodo evita l'overhead computazionale associato ai metodi di proiezione iterativa o ai layer di ottimizzazione convessa spesso usati per l'apprendimento vincolato.
• Migliori Prestazioni con Dati Limitati: Il framework dimostra che l'inserimento dei vincoli fisici direttamente nell'output probabilistico migliora significativamente l'accuratezza predittiva e la calibrazione dell'incertezza quando i dati sono scarsi.

Risultati
Il framework è stato valutato su due casi di studio di reattori batch (uno con reazioni irreversibili e uno con reazioni reversibili) attraverso quattro regimi di dati (minimo, piccolo, medio e grande). Il CPNN è stato confrontato con un ANN non vincolato standard e una PINN a vincolo debole.

• Dipendenza dal Regime di Dati: Nei regimi di dati minimi e piccoli, il CPNN ha superato significativamente entrambi i baseline in termini di Errore Quadratico Medio (MSE), Continuous Ranked Probability Score (CRPS) e aderenza ai vincoli. L'inserimento dei vincoli ha ridotto l'overfitting e ha guidato il modello verso soluzioni fisicamente fattibili. Man mano che il volume dei dati aumentava nei regimi medio e grande, il divario di prestazioni si è ridotto, con i modelli non vincolati che raggiungevano infine un'accuratezza simile mentre apprendevano gli invarianti dai dati.
• Efficienza dell'Addestramento: Il CPNN ha costantemente dimostrato tempi di addestramento significativamente più rapidi (spesso riducendo il tempo del 50% o più) rispetto ad ANN e PINN in tutti i regimi di dati. Gli autori attribuiscono ciò al fatto che il passaggio di condizionamento altera il paesaggio della perdita (loss landscape), focalizzando la ricerca su soluzioni fattibili e permettendo una convergenza più rapida.
• Calibrazione dell'Incertezza: Sebbene i rapporti di copertura al 95% siano stati costantemente superiori a 0,95, gli autori hanno notato che i modelli tendevano a sovrastimare la varianza, portando a intervalli di confidenza scarsamente calibrati. Ciò suggerisce una tendenza all'overfitting sul rumore piuttosto che sulla dinamica sottostante, una sfida nota nel deep learning probabilistico.
• Predizione delle Traiettorie: L'analisi visiva delle predizioni delle traiettorie ha mostrato che il CPNN forniva intervalli di confidenza più stretti e predizioni più vicine ai valori reali del sistema rispetto ai baseline, che spesso si allineavano con i dati rumorosi.

Significatività e Rivendicazioni
L'articolo sostiene che il framework proposto offre un approccio rigoroso per integrare la conoscenza fisica nel machine learning probabilistico senza sacrificare la trattabilità computazionale. La principale significatività risiede nella sua capacità di fornire un'accuratezza predittiva e una quantificazione dell'incertezza superiori quando i dati sono limitati, uno scenario comune nell'ingegneria dei processi chimici. Gli autori osservano che, sebbene il vantaggio delle prestazioni diminuisca con dati abbondanti, il passaggio di condizionamento continua a offrire benefici in termini di velocità di addestramento e inferenza. Essi suggeriscono che questa efficienza rende l'approccio promettente per il controllo in tempo reale e l'ottimizzazione su sistemi più grandi. Gli autori riconoscono modestamente che l'attuale lavoro è limitato ai vincoli di uguaglianza lineare a causa della trattabilità analitica e che il lavoro futuro potrebbe esplorare estensioni a vincoli non lineari o di disuguaglianza, nonché l'integrazione con modelli sequenziali come RNN o Transformer.