How Fast Do Signatures Learn? Statistical Theory and Applications for Path Regression

Problematica

Molti problemi moderni di predizione e processo decisionale nella ricerca operativa coinvolgono covariate con valori di percorso (path-valued covariates) — dati che evolvono nel tempo, come i percorsi dei prezzi intraday, gli impulsi diagnostici delle batterie o le finestre elettroencefalografiche (EEG). In questi contesti, la variabile risposta dipende non solo dallo stato terminale di una traiettoria, ma dall'intero percorso, inclusi il tempo, le fluttuazioni locali e le interazioni ordinate tra le coordinate.

Sebbene le firme di percorso (path signatures, ovvero integrali iterati di un percorso) siano diventate una rappresentazione canonica di caratteristiche per tali dati, la loro giustificazione teorica si è storicamente basata sul teorema di approssimazione universale. Questo teorema garantisce che un funzionale di percorso continuo possa essere approssimato da un funzionale lineare di una firma. Tuttavia, si tratta di un risultato di esistenza qualitativo; esso non quantifica quanto velocemente diminuisce l'errore di approssimazione all'aumentare del livello di troncamento $K$. Senza un tasso quantitativo, è difficile determinare il livello di troncamento ottimale o stabilire la consistenza statistica per gli stimatori di regressione che si basano su firme troncate.

Metodologia

Il documento sviluppa un quadro unificato per la regressione su percorsi basata su firme, collegando la teoria dell'approssimazione con l'apprendimento statistico. La metodologia procede in tre fasi:

1. Teoria dell'Approssimazione: Gli autori derivano un tasso di approssimazione $L^2$ per le firme troncate applicate a funzionali regolari di diffusionsi di Itô. Definiscono una classe di funzionali coefficienti regolari generati da integrali di tempo e di Stratonovich. Analizzando la relazione tra le coordinate della firma e le approssimazioni polinomiali dei kernel del caos di Wiener-Itô, stabiliscono che l'errore quadratico di approssimazione decade con un tasso di $O(K^{-2\gamma})$, dove $\gamma$ caratterizza la regolarità del funzionale. Dimostrano inoltre che questo tasso è ottimale in senso minimax.
2. Framework di Apprendimento Statistico: Gli autori propagano questo tasso di approssimazione attraverso tre procedure standard di apprendimento statistico:
   • Signature-OLS: Regressione dei minimi quadrati ordinari utilizzando caratteristiche di firma troncate.
   • Signature-LASSO: Operatore di regressione LASSO (Least Absolute Shrinkage and Selection Operator) per il recupero sparso in dizionari di firme ad alta dimensionalità.
   • Signature-Logistic: Regressione logistica per la classificazione binaria di dati con valori di percorso.
     Per ciascuno, stabiliscono la consistenza e le proprietà asintotiche bilanciando esplicitamente l'errore di stima (che cresce con il numero di caratteristiche $d_K$) e l'errore di approssimazione (che decade con $K$).
3. Validazione Empirica: I risultati teorici sono validati attraverso simulazioni Monte Carlo e tre applicazioni nel mondo reale:
   • Finanza: Previsione della volatilità realizzata dei cambi valutari da percorsi di prezzi intraday.
   • Energia: Predizione della fine della vita utile (EOL) delle batterie da percorsi di impulsi corrente-tensione diagnostici precoci.
   • Medicina: Rilevamento di crisi epilettiche da brevi finestre EEG.

Contributi Chiave

1. Tassi di Approssimazione Quantitativi
Il documento fornisce il primo tasso esplicito di approssimazione $L^2$ per le firme troncate applicate a diffusioni di Itô.

• Risultato: Per una classe di funzionali regolari con parametro di regolarità $\gamma$, l'errore di approssimazione quadratico è dell'ordine di $K^{-2\gamma}$.
• Significato: Questo trasforma il teorema di approssimazione universale qualitativo in uno strumento quantitativo, dimostrando che i funzionali più regolari ammettono una convergenza più veloce. Gli autori dimostrano anche che questo tasso è minimaxamente stretto.

2. Consistenza Statistica con Errore di Troncamento
A differenza dei lavori precedenti che trattano i modelli di firma troncata come esatti, questo articolo modella esplicitamente il residuo di troncamento.

• Signature-OLS: Stabilisce la consistenza e la normalità asintotica. L'analisi mostra che per tassi di decadimento polinomiale, il livello di troncamento $K$ deve crescere logaritmicamente con la dimensione del campione $n$ (specificamente $K \sim \log n$) per garantire che l'errore di approssimazione non domini l'errore di stima, dato l'aumento esponenziale della dimensione della firma completa.
• Signature-LASSO: Dimostra il recupero del supporto e la consistenza della stima dei coefficienti sotto ipotesi di sparsità. I risultati mostrano che anche con un dizionario ampio, se l'insieme attivo di caratteristiche è piccolo, il recupero consistente è possibile a condizione che il tasso di approssimazione sia sufficientemente veloce.
• Signature-Logistic: Stabilisce la consistenza per il punteggio logit latente nella classificazione binaria, estendendo l'analisi del compromesso approssimazione-stima alle funzioni di legame non lineari.

3. Framework Empirico e Applicazioni
Il documento dimostra che le firme forniscono rappresentazioni finite dimensionali informative che spesso superano le caratteristiche create manualmente (handcrafted features), a condizione che la procedura di apprendimento sia coordinata con il regime statistico (ad esempio, utilizzando la regolarizzazione per le firme ad alta dimensionalità).

• Volatilità FX: Signature-OLS ha superato i benchmark standard della famiglia HAR nel prevedere la volatilità realizzata del giorno successivo su 12 coppie valutarie.
• EOL delle Batterie: Signature-LASSO ha ridotto significativamente l'errore di predizione rispetto alle caratteristiche manuali e all'OLS non regolarizzato, evidenziando la necessità di una regolarizzazione sparsa nei contesti di firma ad alta dimensionalità.
• Rilevamento Crisi: Il classificatore Signature-Logistic ha ottenuto una accuratezza bilanciata e un AUC superiori rispetto alla regressione logistica manuale e ai modelli random forest, dimostrando la capacità di catturare le interazioni ordinate delle forme d'onda.

Risultati

• Teorici: Il tasso derivato $O(K^{-2\gamma})$ è mostrato essere ottimale in senso minimax. Il documento chiarisce che senza una regolarità maggiore (ad esempio, l'analiticità che porta a un decadimento esponenziale), non si può utilizzare l'intero dizionario di firme; al contrario, bisogna affidarsi alla selezione delle caratteristiche (LASSO) o al troncamento logaritmico.
• Simulazione: Gli esperimenti numerici hanno confermato il tasso di decadimento $K^{-2\gamma}$, il compromesso approssimazione-stima (dove un $K$ intermedio produce le migliori prestazioni nel campione finito) e la capacità di LASSO di recuperare strutture sparse nelle espansioni di firma.
• Dati Reali:
  • Nella previsione FX, Signature-OLS ha ridotto l'RMSE in media del 7,9% rispetto al miglior baseline non basato su firme.
  • Nella predizione delle batterie, Signature-LASSO ha migliorato l' $R^2$ del test di 0,430 rispetto al miglior baseline manuale, mentre l'OLS non regolarizzato di Signature falliva a causa dell'overfitting.
  • Nel rilevamento delle crisi, il classificatore Signature ha raggiunto un'accuratezza bilanciata del 95,8%, superando sia la regressione logistica manuale che i modelli random forest, particolarmente in termini di sensibilità.

Significatività e Rivendicazioni

Il documento rivendica di fornire una base quantitativa per la regressione su percorsi basata su firme. La sua importanza primaria risiede nel superare la semplice "esistenza" delle approssimazioni di firma per arrivare a una comprensione rigorosa dei tassi di convergenza e della consistenza statistica.

Gli autori sottolineano che, sebbene le firme siano potenti, il loro successo pratico dipende da:

1. Regolarità: Il tasso di approssimazione è governato dalla regolarità del funzionale target.
2. Regolarizzazione: Nei contesti ad alta dimensionalità (dove $d_K$ cresce esponenzialmente con $K$), la regolarizzazione (LASSO, Ridge) o la selezione delle caratteristiche sono essenziali per prevenire l'overfitting e garantire prestazioni stabili nel campione finito.
3. Compromesso: La scelta del livello di troncamento $K$ deve bilanciare il bias introdotto dal troncamento rispetto alla varianza introdotta dalla stima di un gran numero di parametri.

Il documento conclude che il framework proposto offre un approccio unificato per l'uso delle firme nella regressione su percorsi, applicabile alla regressione densa a risposta continua, alla regressione sparsa ad alta dimensionalità e alla classificazione binaria. Si nota che i lavori futuri potrebbero estendere questi risultati a funzionali meno regolari (ad esempio, barriere, tempi di arresto) e campioni dipendenti.