Statistical Efficiency of Single- and Multi-step Models for Forecasting and Control

Titolo: Efficienza Statistica di Moduli a Singolo e Multi-step per Previsione e Controllo

1. Problema e Contesto

Nel campo del controllo basato sull'apprendimento (learning-based control) e della previsione di serie temporali, un problema fondamentale è l'errore cumulativo (compounding error). Quando si utilizza un modello a singolo passo (single-step) per prevedere un orizzonte temporale lungo $H$, applicandolo ricorsivamente, piccoli errori di previsione si accumulano nel tempo, portando a prestazioni scadenti a lungo termine.

Una soluzione comune è addestrare direttamente modelli multi-step (che prevedono l'intero orizzonte $H$ in un'unica operazione) invece di fare il rollout ricorsivo di modelli a singolo passo. Tuttavia, esiste un compromesso (trade-off) non quantificato:

• I modelli multi-step riducono l'errore cumulativo ma richiedono più parametri (la complessità scala con l'orizzonte $H$), richiedendo potenzialmente più dati per essere appresi con accuratezza.
• I modelli a singolo passo sono più efficienti in termini di dati ma soffrono di errore cumulativo durante l'uso.

Il paper si pone l'obiettivo di fornire la prima analisi quantitativa rigorosa di questo compromesso per i sistemi dinamici lineari, determinando quando i benefici dei modelli multi-step superano le difficoltà di apprendimento di modelli più complessi.

2. Metodologia

Gli autori analizzano tre classi di predittori in un contesto di sistemi dinamici lineari (LTI), confrontando il loro errore di previsione asintotico e le prestazioni nel controllo in ciclo chiuso:

1. Predittori a Singolo Passo (Single-step): Un modello che prevede $y_{t+1}$ dato $y_t$ e $u_t$, applicato ricorsivamente per $H$ passi.
2. Predittori Multi-step Diretti (Multi-step): Un modello che apprende direttamente la mappatura da $y_t$ a $y_{t+1:t+H}$ minimizzando l'errore sull'intero orizzonte.
3. Predittori a Singolo Passo con Loss Multi-step (Intermediate): Un modello strutturato come un predittore a singolo passo (stesso numero di parametri), ma addestrato minimizzando una funzione di perdita calcolata su tutto l'orizzonte $H$ (simile all'approccio Data as Demonstrator).

Lo studio considera due scenari fondamentali:

• Scenario Ben Specificato (Well-specified): Il sistema è completamente osservabile e l'assunzione di Markovianità è corretta.
• Scenario Mal Specificato (Misspecified): Il sistema è parzialmente osservabile (o rumoroso), rendendo l'assunzione di Markovianità errata. In questo caso, la dinamica reale non appartiene alla classe di ipotesi del modello.

L'analisi si basa sulla caratterizzazione asintotica dell'errore di previsione riduibile (varianza) e dell'errore irriducibile (bias) al crescere della dimensione del dataset $N$.

3. Contributi Chiave

• Caratterizzazione Asintotica dell'Errore: Gli autori forniscono formule chiuse per l'errore asintotico delle tre classi di predittori in entrambi gli scenari (ben e mal specificato).
• Gerarchia di Efficienza (Scenario Ben Specificato): Dimostrano che, quando il modello è corretto, i predittori a singolo passo (con loss a singolo passo) sono statisticamente più efficienti, raggiungendo l'errore più basso al crescere dei dati. L'efficienza decresce man mano che si passa ai predittori intermedi e poi a quelli multi-step diretti.
• Vantaggio del Bias (Scenario Mal Specificato): Dimostrano che in presenza di osservabilità parziale (misspecificazione), i predittori multi-step diretti possono ridurre significativamente il bias (errore irriducibile) rispetto ai metodi a singolo passo, che soffrono di un errore cumulativo esplosivo a causa dell'assunzione errata di Markovianità.
• Analisi nel Controllo in Ciclo Chiuso: Estendono l'analisi alle prestazioni di controllo (costo LQR infinito). Mostrano che, nel caso ben specificato, i predittori a singolo passo portano a costi di controllo inferiori. Nel caso mal specificato, i predittori multi-step hanno maggiori probabilità di generare controllori stabilizzanti.
• Validazione Empirica e Non Lineare: Confermano i risultati teorici con esperimenti numerici e mostrano che questi fenomeni qualitativi persistono anche in sistemi non lineari (tramite lifting di Koopman).

4. Risultati Principali

A. Scenario Ben Specificato (Osservazione Completa)

• Efficienza Statistica: L'errore di previsione riduibile decresce come $O(1/N)$ per tutti i metodi, ma il coefficiente di scala è migliore per i modelli a singolo passo.
• Ordine di Prestazione:
  $$\text{Errore(Singolo Passo)} < \text{Errore(Intermedio)} < \text{Errore(Multi-step Diretto)}$$
• Motivazione: I modelli a singolo passo sfruttano la struttura Markoviana vera del sistema e non accumulano rumore di processo durante l'addestramento. I modelli multi-step diretti introducono una complessità parametrica non necessaria che rallenta la convergenza statistica.

B. Scenario Mal Specificato (Osservazione Parziale)

• Bias Irriducibile: Qui l'errore non tende a zero anche con dati infiniti a causa della misspecificazione.
• Ordine di Prestazione (Inverso):
  $$\text{Bias(Multi-step Diretto)} < \text{Bias(Intermedio)} < \text{Bias(Singolo Passo)}$$
• Motivazione: I modelli a singolo passo, quando applicati ricorsivamente su un sistema non Markoviano, accumulano errori in modo esponenziale. I modelli multi-step diretti, imparando direttamente la relazione tra stato attuale e traiettoria futura, mitigano questo effetto e riducono il bias, specialmente per sistemi con raggio spettrale alto.

C. Controllo in Ciclo Chiuso

• Nel caso ben specificato, l'uso di un predittore a singolo passo (addestrato con loss a singolo passo) nel controllo predittivo (MPC) porta a un costo LQR inferiore rispetto all'uso di predittori multi-step.
• Nel caso mal specificato, i predittori multi-step sono più robusti: tendono a produrre controllori che stabilizzano il sistema reale, mentre i predittori a singolo passo possono fallire nella stabilizzazione a causa dell'alto bias.

5. Significato e Implicazioni

Questo lavoro fornisce una guida teorica fondamentale per i praticanti che devono scegliere tra diverse architetture di modelli per il controllo e la previsione basati sui dati:

1. Quando usare modelli a singolo passo: Se il sistema è ben modellato (o se si dispone di dati sufficienti per apprendere una rappresentazione latente completa) e l'obiettivo è la massima efficienza statistica, i modelli a singolo passo con rollout ricorsivo sono superiori.
2. Quando usare modelli multi-step: Se il sistema è parzialmente osservabile, rumoroso o se l'assunzione di Markovianità è violata, i modelli multi-step diretti sono essenziali per ridurre il bias e garantire la stabilità del controllo, nonostante richiedano più dati o siano più complessi.
3. Compromesso Pratico: Il paper chiarisce che non esiste una soluzione "migliore" in assoluto; la scelta dipende dalla specificità del modello rispetto alla dinamica reale del sistema.

In sintesi, lo studio quantifica il trade-off tra complessità del modello/efficienza dei dati e robustezza all'errore cumulativo/bias, offrendo criteri decisionali basati sulla teoria dell'identificazione dei sistemi e sull'apprendimento statistico.