Sintesi Tecnica: Quali Incertezze Ci Servono per i Sistemi Dinamici?

Definizione del Problema

La distinzione tra incertezza aleatoria (casualità irriducibile intrinseca in un processo) e incertezza epistemica (incertezza riducibile derivante dalla mancanza di conoscenza) è ben consolidata nel machine learning supervisionato. Tuttavia, questa dicotomia ha ricevuto molta meno attenzione nel contesto dei sistemi dinamici, nonostante la crescente intersezione tra machine learning (ML) e sistemi dinamici (ad esempio, equazioni differenziali neurali, scientific ML e controllo basato sui dati).

Il problema centrale affrontato da questo articolo è la mancanza di un quadro chiaro per identificare quali incertezze siano necessarie per i sistemi dinamici. Nello specifico, gli autori cercano di:

1. Rivisitare le fonti di incertezza nei sistemi dinamici.
2. Chiarire se queste fonti siano aleatorie o epistemiche.
3. Determinare come gli obiettivi di rappresentazione e quantificazione dell'incertezza varino attraverso diversi compiti (ad esempio, previsione, controllo, verifica).

L'articolo sostiene che la classificazione di una fonte come aleatoria o epistemica non è intrinseca alla fonte stessa, ma dipende fortemente dal compito, dalle assunzioni di modellazione e dall'oggetto di interesse.

Metodologia e Framework

L'articolo impiega un'analisi concettuale piuttosto che proporre un nuovo algoritmo o condurre esperimenti empirici. La metodologia prevede:

1. Formalizzazione del Baseline: Gli autori partono dal sistema dinamico autonomo deterministico a tempo continuo standard definito dal problema del valore iniziale $\dot{x}(t) = f(x(t)), x(0) = x_0$.
2. Categorizzazione delle Fonti di Incertezza: Introducono sistematicamente cinque distinte fonti di incertezza in questo baseline, analizzando come ciascuna influenzi l'evoluzione della distribuzione dello stato:
   • S1: Incertezza delle Condizioni Iniziali: Sostituendo il valore puntuale $x_0$ con una distribuzione di probabilità $p_0$. L'evoluzione è governata dall'equazione di Liouville.
   • S2: Rumore di Processo: Sostituendo l'ODE con un'equazione differenziale stocastica (SDE) dove il rumore viene iniettato continuamente. L'evoluzione è governata dall'equazione di Fokker-Planck.
   • S3: Osservazioni Parziali: Introducendo un'equazione di osservazione $y_k = h(x(t_k)) + v_k$. Ciò porta al problema del filtraggio, dove l'incertezza viene aggiornata tramite cicli di predizione-aggiornamento (ad esempio, filtri di Kalman).
   • S4: Incertezza dei Parametri: Trattando i parametri $\theta$ della legge di evoluzione $f_\theta$ come ignoti. Questa incertezza si propaga sistematicamente nel tempo, accumulando errori e potenzialmente alterando il comportamento qualitativo (ad esempio, biforcazioni) del sistema.
   • S5: Incertezza Strutturale: Affrontando i casi in cui la forma del modello stesso è errata (ad esempio, forma funzionale errata, variabili di stato mancanti o tipo di dinamica errato).
3. Analisi delle Interazioni: Gli autori discutono come queste fonti si compongono e come la loro dominanza relativa cambi su diversi orizzonti di previsione (breve termine dominato dalle condizioni iniziali, lungo termine dai parametri e dalla struttura).
4. Classificazione Dipendente dal Compito: L'articolo valuta la natura aleatoria/epistemica di queste fonti in base a compiti specifici (previsione, identificazione del sistema, controllo, verifica).

Contributi Chiave

1. Una Tassonomia delle Incertezze dei Sistemi Dinamici

L'articolo fornisce una scomposizione strutturata delle fonti di incertezza specifiche per i sistemi dinamici, distinguendole dai contesti di ML statico. Un'intuizione chiave è la natura temporale della propagazione dell'incertezza:

• L'incertezza delle condizioni iniziali viene iniettata una sola volta e trasformata dal flusso.
• Il rumore di processo viene iniettato continuamente.
• L'incertezza dei parametri agisce come un bias sistematico che si accumula nel tempo, influenzando l'intera storia della traiettoria.

2. Classificazione del Tipo di Incertezza Dipendente dal Contesto

Gli autori mettono in discussione l'idea che una fonte sia intrinsecamente aleatoria o epistemica. Dimostrano che la classificazione dipende dalle scelte di modellazione:

• Condizioni Iniziali Aleatorie vs. Epistemiche: Se $x_0$ è una quantità fissa ma sconosciuta stimata da sensori imperfetti, l'incertezza è epistemica. Se $x_0$ è una variabile casuale che rappresenta la variabilità naturale (ad esempio, un essere umano che rilascia un pendolo in modo diverso ogni volta), è aleatoria.
• Incertezza Strutturale: L'articolo evidenzia che l'incertezza strutturale (l'incertezza sulla "forma corretta del modello") è qualitativamente distinta. A differenza dell'incertezza dei parametri, che può essere ridotta all'interno di una classe di modelli, l'incertezza strutturale riguarda gli "ignoti sconosciuti" (unknown unknowns) che non possono essere risolti con ulteriori dati all'interno di uno spazio di ipotesi fisso.

3. Necessità della Quantificazione dell'Incertezza Guidata dal Compito

L'articolo sostiene che l'utilità di distinguere tra incertezza aleatoria ed epistemica è dipendente dal compito:

• Previsione/Filtraggio: L'oggetto primario di interesse è lo stato $x(t)$.
• Controllo: La distinzione è operativamente critica. L'incertezza epistemica ha un "valore dell'informazione" e può essere ridotta agendo sul sistema (esplorazione), mentre l'incertezza aleatoria non può esserlo.
• Verifica: L'incertezza viene tradotta in insiemi raggiungibili per garantire la sicurezza.

4. Prospettive di Modellazione

Gli autori esaminano approcci di modellazione esistenti e potenziali:

• Teoria della Probabilità: Le distribuzioni standard (del primo ordine) catturano bene l'incertezza aleatoria. Si propongono distribuzioni del secondo ordine (distribuzioni sulle distribuzioni) per l'incertezza epistemica, ma potrebbero essere computazionalmente impegnative o concettualmente superflue se la verità fondamentale è una quantità precisa ma sconosciuta.
• Rappresentazioni Basate su Insiemi: L'articolo nota l'utilità delle inclusioni differenziali e dei set credali (insiemi di distribuzioni di probabilità) per rappresentare l'incertezza epistemica, sostenendo che possano essere più adatti a catturare l'ignoranza rispetto alle distribuzioni di probabilità in certi contesti.

Risultati e Conclusioni

Come articolo concettuale, i "risultati" sono intuizioni teoriche e chiarimenti:

• Dominanza Dipendente dall'Orizzonte: L'articolo stabilisce che diverse fonti di incertezza dominano a diverse scale temporali. Le condizioni iniziali dominano gli orizzonti brevi; il rumore di processo si accumula sugli orizzonti intermedi; e l'incertezza dei parametri/strutturale domina sugli orizzonti lunghi, determinando l'attrattore del sistema.
• Spostamenti Qualitativi: L'incertezza dei parametri può portare a cambiamenti qualitativi nel comportamento del sistema (ad esempio, distinguere tra equilibrio stabile e caos) piuttosto che a semplici deviazioni quantitative.
• Limitazioni dei Modelli Probabilistici Standard: L'articolo suggerisce che i modelli probabilistici standard nel ML potrebbero essere insufficienti per i sistemi dinamici se non riescono a distinguere tra incertezza riducibile e irriducibile, particolarmente nei contesti di controllo.

Significato e Rivendicazioni

L'articolo rivendica l'importanza di fornire una prospettiva di machine learning sulla modellazione dell'incertezza per i sistemi dinamici, un campo che è stato studiato meno rispetto all'apprendimento supervisionato.

• Chiarificazione dei Concetti: Chiarisce che la dicotomia aleatoria-epistemica non è una proprietà fissa di una fonte di dati, ma è il risultato della configurazione del modello e della domanda specifica posta.
• Unione dei Campi: Evidenzia la relazione bidirezionale tra ML e sistemi dinamici, notando come il ML fornisca approssimatori di funzioni flessibili (ad esempio, Neural ODEs) per i sistemi dinamici, mentre i sistemi dinamici forniscano framework (ad esempio, filtraggio, analisi di raggiungibilità) per il ML.
• Direzioni Future: L'articolo identifica opportunità per lavori futuri, tra cui:
  • Adattare i metodi del secondo ordine dal machine learning supervisionato al livello delle traiettorie dei sistemi dinamici.
  • Sviluppare nuove misure di quantificazione dell'incertezza che si concentrino su quantità derivate (ad esempio, tempo di stabilizzazione, probabilità di entrare in una regione) piuttosto che solo sull'incertezza dello stato.
  • Affrontare la difficoltà di rappresentare l'incertezza strutturale ("ignoti sconosciuti").

Gli autori mantengono una posizione modesta, inquadrando il lavoro come una prospettiva e un invito a rivedere le assunzioni fondamentali piuttosto che come la proposta di un nuovo algoritmo specifico o la dimostrazione di prestazioni superiori su benchmark.