Trustworthy Prediction with Gaussian Process Knowledge Scores

Titolo: Predizione Affidabile con Punteggi di Conoscenza dei Processi Gaussiani

1. Il Problema

I modelli probabilistici, come la regressione con Processi Gaussiani (GPR), sono ampiamente utilizzati per prevedere valori in regioni dello spazio dei dati dove non sono disponibili osservazioni. Tuttavia, un problema fondamentale risiede nel determinare se tali previsioni siano realmente "informate" dai dati di addestramento precedenti.

• Limiti delle metriche attuali: Le misure di accuratezza standard su set di training o test non riescono a catturare l'affidabilità predittiva in base alla posizione dell'input nello spazio. Ad esempio, nei problemi di estrapolazione (dove l'input è fuori distribuzione rispetto ai dati di training), la fiducia del modello diminuisce drasticamente man mano che ci si allontana dai dati osservati.
• Necessità: Esiste un bisogno crescente di modelli di machine learning che siano consapevoli dei limiti della propria conoscenza predittiva, specialmente in contesti critici come il rilevamento di anomalie, l'interpolazione di dati mancanti e il riconoscimento di insiemi aperti (open-set recognition). Attualmente, molti metodi di quantificazione dell'incertezza (es. intervalli di credibilità) richiedono soglie arbitrarie o sono sensibili alla risoluzione spaziale.

2. Metodologia: Il Punteggio di Conoscenza (Knowledge Score)

Gli autori introducono il Knowledge Score ($G$), una metrica matematica derivata dalla quantificazione dell'incertezza, specifica per i modelli di Processi Gaussiani.

• Definizione Formale: Il punteggio quantifica l'estensione in cui la condizione sui dati di addestramento $D$ ha ridotto la varianza della previsione $F(x)$ rispetto alla distribuzione a priori. È definito come:
  $$G(x, D) = \frac{\text{Var}(F(x)|x) - \text{Var}(F(x)|x, D)}{\text{Var}(F(x)|x)}$$
  Dove:
  • $\text{Var}(F(x)|x)$ è la varianza a priori (incertezza iniziale).
  • $\text{Var}(F(x)|x, D)$ è la varianza a posteriori (incertezza dopo aver visto i dati).
• Interpretazione:
  • $G \approx 1$: La previsione è altamente informata dai dati; l'incertezza è stata drasticamente ridotta rispetto all'a priori.
  • $G \approx 0$: La previsione non è informata dai dati; la distribuzione a posteriori coincide quasi perfettamente con quella a priori (il modello sta essenzialmente "scommettendo" sulla distribuzione iniziale).
  • Intervallo: Per i modelli GPR, il punteggio è naturalmente vincolato tra 0 e 1.
• Calcolo: Nel contesto GPR, il punteggio può essere calcolato in forma chiusa utilizzando la funzione di kernel $k$ e le matrici di covarianza:
  $$G(x, D) = \frac{k(x)^\top (K + \sigma^2 I)^{-1} k(x)}{k(0, 0)}$$
  Questo rende il punteggio computazionalmente efficiente e interpretabile senza richiedere campioni di output osservati ($y^*$).

3. Contributi Chiave

1. Metrica di Affidabilità Interpretativa: Introduzione di un punteggio normalizzato (0-1) che misura direttamente la "riduzione della varianza" dovuta ai dati, offrendo una misura oggettiva di quanto il modello "sappia" su un punto specifico.
2. Approccio a Due Stadi per il Rifiuto (Reject Option): Proposta di un framework per il rilevamento di anomalie in due fasi:
   • Fase 1: Valutazione del Knowledge Score. Se $G(x, D) < \rho$ (soglia), il punto è classificato come "sconosciuto" e il modello si astiene dal classificarlo.
   • Fase 2: Rilevamento di anomalie standard (basato sulla distanza dalla media predittiva) applicato solo ai punti con $G(x, D) \ge \rho$.
3. Applicabilità Versatile: Dimostrazione che il punteggio è utile non solo per l'estrapolazione, ma anche per l'interpolazione e il rilevamento di anomalie, indipendentemente dalla distribuzione degli input.

4. Risultati Sperimentali

Gli autori hanno validato l'approccio su tre scenari distinti:

• A. Rilevamento di Anomalie (Dati Sintetici):

  • Su un dataset toy, il modello GPR è stato addestrato su dati nel range $x \in [0, 1]$.
  • I risultati mostrano che nei regioni $x > 1$ (estrapolazione), la varianza predittiva aumenta rapidamente e il Knowledge Score scende verso 0.
  • Applicando la strategia a due stadi (filtrando i punti con basso $G$), la curva ROC (Receiver Operating Characteristic) mostra un miglioramento significativo dell'accuratezza del rilevatore di anomalie, riducendo i falsi positivi nelle regioni non informative.

• B. Estrapolazione su Dati Elettrici (Reali):

  • Utilizzando dati sul carico elettrico di 370 famiglie, un modello GPR è stato addestrato per prevedere il consumo futuro.
  • Man mano che l'orizzonte temporale si allontanava dai dati di training, il Knowledge Score è diminuito progressivamente, tracciando il ritorno della distribuzione predittiva verso la media a priori.
  • Il punteggio fornisce una metrica chiara per determinare quando l'estrapolazione diventa troppo vaga per essere utile, superando la necessità di scelte euristiche arbitrarie.

• C. Interpolazione di Dati Mancanti (Frequenza Cardiaca Fetale):

  • Su dati di cardiotocografia (CTG) con segmenti di dati mancanti, il modello è stato usato per l'imputazione.
  • È stato osservato che per segmenti mancanti brevi, il Knowledge Score rimane alto, indicando che l'interpolazione è affidabile.
  • Per segmenti lunghi, il punteggio crolla, segnalando che l'interpolazione non è supportata dai dati e potrebbe introdurre distorsioni. Questo offre un criterio principiato per decidere se imputare o rimuovere i dati mancanti.

5. Significato e Implicazioni

Il lavoro propone un cambio di paradigma verso il Machine Learning Affidabile (Trustworthy ML). Invece di fornire solo una previsione con un intervallo di incertezza (che può essere difficile da interpretare o calibrare), il Knowledge Score offre una misura diretta di "quanto il modello sa".

• Sicurezza: Permette ai sistemi di astenersi dal prendere decisioni in regioni dello spazio degli input dove non hanno esperienza (evitando errori catastrofici in estrapolazione).
• Interpretabilità: Trasforma concetti astratti di incertezza in un punteggio numerico intuitivo (0-1) che può essere utilizzato per filtrare dati, ottimizzare processi di imputazione e migliorare la robustezza dei modelli in scenari reali.
• Futuro: Gli autori suggeriscono di esplorare alternative basate sulla teoria dell'informazione (entropia) e di rilassare l'assunzione di gaussianità per estendere il metodo ad altri modelli probabilistici.

In sintesi, il paper dimostra che il Knowledge Score è uno strumento potente per quantificare la fiducia nelle previsioni, migliorando le prestazioni in compiti critici come il rilevamento di anomalie e la gestione dei dati mancanti.