Sintesi Tecnica: Guidare l'addestramento di Reti Neurali attraverso Vincoli Interpretabili basati sulla Dipendenza Parziale

Definizione del Problema

Il campo dell'Intelligenza Artificiale Spiegabile (XAI) ha visto una crescita significativa nello sviluppo di tecniche per interpretare le decisioni dei modelli. Tuttavia, rimane una lacuna critica nella valutazione della qualità di queste spiegazioni e, cosa ancora più importante, nel regolare i modelli per garantire che le loro spiegazioni siano allineate con la conoscenza di dominio pregressa. Gli approcci esistenti nell' "apprendimento guidato dalla spiegazione" (EGL) si concentrano principalmente su compiti di classificazione (spesso coinvolgendo immagini o testo) e tipicamente assumono la conoscenza relativa all'importanza delle caratteristiche o a specifiche regioni di input. Inoltre, molti metodi che incorporano vincoli si concentrano sulle proprietà strutturali della funzione (ad esempio, convessità, monotonicità) piuttosto che sulle spiegazioni stesse.

Questo lavoro affronta la sfida di guidare l'addestramento di reti neurali per problemi di regressione — specificamente includendo la previsione di sistemi dinamici — per garantire che la risposta media del modello a certe caratteristiche (la sua dipendenza parziale) sia allineata con una forma funzionale di dominio nota. L'obiettivo è produrre modelli che siano non solo più efficienti dal punto di vista dei dati e robusti agli spostamenti fuori distribuzione (OOD), ma che forniscano anche spiegazioni fedeli alla conoscenza pregressa fornita.

Metodologia

La Dipendenza Parziale come Vincolo

Gli autori definiscono il problema come l'apprendimento di un modello differenziabile $h_\theta(x)$ tale che la sua dipendenza parziale (PD) su un sottoinsieme di caratteristiche $x_k$ si allinei con una forma funzionale nota. La PD di una funzione $f$ su $x_k$ è definita come il valore atteso della funzione sulla distribuzione marginale delle restanti caratteristiche $x_{-k}$:
$$PD_\infty(f, x_k) = \mathbb{E}_{x_{-k}}[f(x_k, x_{-k})]$$

Gli autori assumono che la vera PD segua una forma algebrica $h^\phi_k(x_k)$, parametrizzata da $\phi$. Questa forma può rappresentare una relazione fisica nota (ad esempio, logaritmica, sinusoidale) al netto di costanti di scala e bias.

Algoritmo di Addestramento

L'obiettivo di addestramento minimizza una funzione di perdita combinata $L_\lambda$ che bilancia l'accuratezza predittiva e l'aderenza al vincolo di PD:
$$L_\lambda(h_\theta, h^\phi_k, f; LS) = (1 - \lambda)L_{tot}(h_\theta, f; LS) + \lambda L_{PD}(h_\theta, h^\phi_k; LS)$$
Dove:

• $L_{tot}$ è l'errore quadratico medio standard sul set di addestramento.
• $L_{PD}$ misura la differenza quadratica tra la PD stimata del modello e la funzione target $h^\phi_k$ valutata su un set specifico di punti $x_k$.
• $\lambda \in [0, 1]$ controlla il compromesso.

Strategia di Ottimizzazione:
Gli autori propongono una procedura di ottimizzazione alternata (Algoritmo 1):

1. Inizializzazione: La funzione target $h^\phi_k$ viene adattata agli output grezzi per un numero determinato di epoche per inizializzare $\phi$.
2. Step Alternati: I parametri del modello $\theta$ e i parametri del prior $\phi$ vengono aggiornati in blocchi alternati. Ogni $S$ epoche, $\phi$ viene aggiornato per minimizzare la perdita di PD dato l'attuale $\theta$, e successivamente $\theta$ viene aggiornato per minimizzare la perdita combinata.
3. Costruzione del Dataset: Un componente cruciale è la costruzione di un dataset separato $LS_{PD}$ per il termine di vincolo. Questo dataset può essere:
   • In-distribuzione (ID): Campioni tratti dalla distribuzione di addestramento $p(x_k)$.
   • Linspace (L): Un set di valori equispaziati che coprono il dominio di input (potenzialmente estendendosi oltre la distribuzione di addestramento). Gli autori sostengono che vincolare su punti equispaziati aiuti il modello a generalizzare in regioni scarsamente campionate e in dati OOD.

Contributi Chiave

1. Nuovo Framework EGL per la Regressione: A differenza dei precedenti lavori EGL focalizzati sull'importanza delle caratteristiche nella classificazione, questo approccio vincola la forma funzionale della dipendenza parziale in compiti di regressione, inclusi i sistemi dinamici.
2. Configurazione del Vincolo Linspace: Il documento introduce e valida empiricamente l'uso di vincoli "linspace" (vincolare la PD su punti equispaziati attraverso il dominio) come un'alternativa superiore ai vincoli in-distribuzione. Questa configurazione forza il modello a imparare la corretta forma funzionale anche nelle regioni con dati di addestramento scarsi.
3. Robustezza alla Scarsità di Dati e agli Spostamenti OOD: Il metodo si dimostra particolarmente efficace in regimi con pochi dati e quando i dati di test subiscono uno spostamento rispetto alla distribuzione di addestramento.
4. Confronto con il Machine Learning Informato dalla Fisica: Gli autori confrontano il loro approccio a vincolo di modello singolo con modelli ibridi informati dalla fisica (ad esempio, APHYNITY, PD-hybrid). Dimostrano che il loro metodo spesso produce prestazioni predittive migliori e stime di PD più fedeli, in particolare quando il problema sottostante non soddisfa strettamente le assunzioni di additività richieste dai modelli ibridi.

Risultati Sperimentali

Gli autori hanno valutato il metodo su problemi sintetici (Friedman, Product), dataset del mondo reale (Concrete Compressive Strength, PHALK) e un sistema dinamico (Pendolo Smorzato).

• Prestazioni Predittive: I modelli addestrati con vincoli di PD hanno superato costantemente i modelli non vincolati, specialmente al diminuire della dimensione del campione di addestramento (ad esempio, 50 campioni). In molti casi, i modelli vincolati addestrati su 50 campioni hanno raggiunto prestazioni comparabili ai modelli non vincolati addestrati su 300 campioni.
• Qualità della Spiegazione: Le stime di PD dei modelli vincolati si allineavano significativamente meglio con la conoscenza pregressa (ground truth o approssimata) rispetto a quelle dei modelli non vincolati.
• Linspace vs. In-Distribuzione: In tutti gli esperimenti, i vincoli linspace (vincolare su punti equispaziati) hanno generalmente superato i vincoli in-distribuzione. Ciò è stato particolarmente evidente negli scenari di estrapolazione dove i dati di test cadevano al di fuori del dominio di addestramento. I vincoli linspace hanno aiutato a smorzare l'impatto degli spostamenti di dominio, mentre i vincoli in-distribuzione spesso non sono riusciti a generalizzare oltre l'intervallo di addestramento.
• Robustezza alla Conoscenza Mis-specificata: Anche quando la conoscenza pregressa era imperfetta (ad esempio, assumendo una relazione di radice quadrata invece di logaritmica, o usando una serie di Fourier con frequenze errate), i modelli con vincolo linspace sono rimasti robusti. Spesso hanno superato i modelli non vincolati e, in scenari di estrapolazione, hanno prodotto forme di PD più vicine alla funzione sottostante reale rispetto ai modelli addestrati con vincoli in-distribuzione.
• Sistemi Dinamici: Il metodo è stato esteso con successo alla previsione di sistemi dinamici (Neural ODEs), mostrando un miglioramento nella previsione delle traiettorie e nell'allineamento della PD, in particolare quando gli stati iniziali erano fuori distribuzione.

Significatività e Rivendicazioni

Il documento afferma che guidare le reti neurali tramite vincoli di dipendenza parziale è un potente meccanismo per l' apprendimento guidato dalla spiegazione. La principale significatività risiede nella capacità di:

• Migliorare l'Efficienza dei Dati: Raggiungere un'elevata accuratezza predittiva con significativamente meno campioni di addestramento sfruttando la conoscenza funzionale pregressa.
• Potenziare la Generalizzazione: Produrre modelli che generalizzano meglio ai dati fuori distribuzione imponendo la corretta forma funzionale attraverso l'intero dominio di input, non solo dove i dati sono densi.
• Garantire Spiegazioni Fedeli: Garantire che l'interpretabilità del modello (tramite grafici PD) rifletta la conoscenza dell'esperto di dominio, evitando che il modello apprenda predizioni "corrette" per ragioni "sbagliate".

Gli autori notano che, sebbene il metodo comporti costi computazionali più elevati a causa della stima della dipendenza parziale (che richiede valutazioni del modello su molteplici combinazioni di caratteristiche), si tratta di un compromesso gestibile per regimi a bassi dati dove la generalizzazione e l'interpretabilità sono fondamentali. Concludono che questo approccio offre un'alternativa più generica ai modelli ibridi informati dalla fisica, poiché non richiede una decomposizione additiva esplicita del problema.