Worst-case Nonlinear Regression with Error Bounds

1. Il Problema

Nell'ingegneria dei sistemi di controllo, l'approssimazione di funzioni non lineari (ad esempio, leggi di controllo MPC esplicito o modelli dinamici) è fondamentale per ridurre il carico computazionale online. Tuttavia, i metodi standard di regressione non lineare (come le reti neurali addestrate con l'errore quadratico medio, MSE) minimizzano l'errore medio, ma non garantiscono limiti sull'errore di approssimazione nel caso peggiore (Worst-Case Error - WCE).

In applicazioni critiche come il controllo robusto o la stabilità in anello chiuso, è essenziale quantificare un limite superiore rigoroso dell'errore di approssimazione su tutto il dominio di ingresso. Il problema affrontato dal paper è: come adattare un modello parametrico (es. una rete neurale) a una funzione non lineare nota in modo da minimizzare direttamente l'errore massimo assoluto (norma $L_\infty$) e garantire un limite di errore rigoroso su tutto il dominio compatto.

2. Metodologia Proposta

L'autore propone un framework di apprendimento attivo (active learning) per la regressione minimax non lineare. Il metodo si articola in tre fasi principali:

A. Formulazione del Problema e Approssimazione Liscia

L'obiettivo è risolvere un problema di ottimizzazione a due livelli (bilevel):
$$\theta^* \in \arg \min_\theta \left( r(\theta) + \max_{x \in \mathcal{X}} |f(x) - \hat{f}(x; \theta)| \right)$$
Dove $f$ è la funzione target, $\hat{f}$ il modello (es. NN), e $r(\theta)$ un termine di regolarizzazione.
Poiché l'operatore "max" rende il problema non liscio e difficile da ottimizzare con metodi basati sul gradiente (come L-BFGS), l'autore introduce un'approssimazione liscia della norma $L_\infty$ (basata sulla funzione log-sum-exp):
$$\max_k |y_k - \hat{f}(x_k)| \approx \frac{1}{\gamma} \log \left( \sum_{k} e^{\gamma(y_k - \hat{f}(x_k))} + e^{\gamma(\hat{f}(x_k) - y_k)} \right)$$
Al limite $\gamma \to +\infty$, questa approssimazione converge all'errore massimo esatto, permettendo l'uso efficiente di tecniche di differenziazione automatica.

B. Strategia di Apprendimento Attivo

Per ridurre la dipendenza della qualità della soluzione dalla scelta casuale dei campioni di addestramento, il metodo utilizza un ciclo iterativo:

1. Si parte con un dataset iniziale (es. campionamento LHS o casuale).
2. Si addestra il modello minimizzando l'errore approssimato.
3. Si risolve un problema di ottimizzazione globale per trovare il punto $x^*$ nel dominio dove l'errore di approssimazione è massimo.
4. Si aggiunge il punto $(x^*, f(x^*))$ al dataset di addestramento.
5. Si ripete fino a quando l'errore massimo scende sotto una soglia $\epsilon_{err}$ o si esaurisce il budget computazionale.

C. Stima dei Limiti di Errore

Dopo l'addestramento, il metodo calcola limiti di errore rigorosi:

• Limiti Costanti: Un limite uniforme globale sull'errore.
• Limiti Input-Dependent: Funzioni di "inviluppo" (envelope functions), anch'esse modellate con reti neurali, che forniscono limiti superiori e inferiori dell'errore che variano in base all'ingresso $x$. Questo riduce la conservatività rispetto ai limiti uniformi.
• Vincoli di Soddisfacimento: Tecniche per approssimare vincoli (es. $f(x) \le 0$) garantendo che il vincolo approssimato sia sufficientemente conservativo da non violare mai il vincolo originale.

3. Contributi Chiave

1. Minimax Regression con NN: Introduzione di un metodo pratico per addestrare reti neurali minimizzando direttamente l'errore $L_\infty$ invece dell'MSE, utilizzando un'approssimazione liscia per l'ottimizzazione.
2. Active Learning per Corner-Case: Un algoritmo che identifica iterativamente i punti di massimo errore tramite ottimizzazione globale, garantendo che il modello sia accurato anche nelle regioni più critiche del dominio.
3. Garanzie Rigorose: Derivazione di limiti di errore (costanti e dipendenti dall'ingresso) validi su tutto il dominio compatto, non solo sui dati di addestramento.
4. Applicabilità a Vincoli e Set: Metodi per imporre che il modello rispetti valori noti su certi insiemi (es. regioni lineari) e per approssimare insiemi non convessi con approssimazioni interne convesse.
5. Libreria Open Source: Sviluppo del pacchetto Python maxfit disponibile pubblicamente.

4. Risultati Sperimentali

Il metodo è stato validato su diversi casi di studio:

• Approssimazione di Funzioni Non Lineari: Su una funzione Gaussiana complessa, il metodo ha dimostrato che minimizzare l'MSE non garantisce un basso errore massimo, mentre l'approccio proposto riduce drasticamente il WCE.
• Approssimazione di Insiemi Non Convessi: È stato possibile trovare approssimazioni interne convesse (poliedriche o tramite NN input-convex) di insiemi non convessi, garantendo che tutti i punti approssimati come fattibili siano realmente fattibili.
• Modelli Dinamici Incerti: Approssimazione di un modello di pendolo non lineare con attrito, ottenendo un modello discreto con disturbi additivi limitati rigorosamente.
• MPC Esplicito (mpQP):
  • Su un problema mpQP generato casualmente, il metodo ha approssimato la legge di controllo con un errore massimo molto basso.
  • Confronto Critico: In un esempio di controllo MPC lineare, un modello addestrato solo con MSE (o con loss $L_\infty$ ma senza active learning) ha mostrato un errore massimo (WCE) di circa 0.4, mentre il metodo proposto ha ridotto il WCE a 0.064. Questo dimostra che l'approccio attivo è cruciale per la sicurezza del controllo.

5. Significato e Implicazioni

Questo lavoro colma un divario significativo tra l'apprendimento automatico (dove si privilegia l'errore medio) e il controllo robusto (dove è necessaria la garanzia del caso peggiore).

• Sicurezza: Permette di utilizzare reti neurali per sostituire leggi di controllo complesse (come l'MPC esplicito) con la certezza matematica che gli errori di approssimazione non comprometteranno la stabilità o il rispetto dei vincoli.
• Efficienza: L'uso dell'apprendimento attivo riduce il numero di campioni necessari per raggiungere una certa precisione nel caso peggiore, concentrandosi sulle regioni critiche invece che su un campionamento uniforme.
• Limiti: L'approccio richiede la risoluzione di problemi di ottimizzazione globale per trovare i massimi dell'errore. Questo può diventare computazionalmente oneroso per dimensioni di input molto elevate, limitando l'applicabilità a problemi di scala media o richiedendo ottimizzatori globali specializzati.

In sintesi, il paper offre un framework matematicamente solido e praticamente implementabile per l'addestramento di modelli surrogati con garanzie di robustezza, essenziale per l'implementazione online di strategie di controllo avanzate.