How Fast Do Signatures Learn? Statistical Theory and Applications for Path Regression

Enunciado do Problema

Muitos problemas modernos de previsão e tomada de decisão em pesquisa operacional envolvem covariáveis com valores de trajetória — dados que evoluem ao longo do tempo, como trajetórias de preços intradia, pulsos de diagnóstico de bateria ou janelas de eletroencefalograma (EEG). Nesses cenários, a variável resposta depende não meramente do estado terminal de uma trajetória, mas de toda a trajetória, incluindo o tempo, as flutuações locais e as interações ordenadas entre as coordenadas.

Embora as assinaturas de caminhos (integrais iteradas de um caminho) tenham se tornado uma representação de características canônica para tais dados, sua justificativa teórica historicamente baseou-se no teorema da aproximação universal. Este teorema garante que um funcional de caminho contínuo pode ser aproximado por um funcional linear de uma assinatura. No entanto, este é um resultado de existência qualitativa; ele não quantifica o quão rápido o erro de aproximação diminui à medida que o nível de truncamento $K$ aumenta. Sem uma taxa quantitativa, torna-se difícil determinar o nível de truncamento ideal ou estabelecer a consistência estatística para estimadores de regressão que dependem de assinaturas truncadas.

Metodologia

O artigo desenvolve um framework unificado para a regressão de caminho baseada em assinaturas, unindo a teoria da aproximação com o aprendizado estatístico. A metodologia procede em três estágios:

1. Teoria da Aproximação: Os autores derivam uma taxa de aproximação $L^2$ para assinaturas truncadas aplicadas a funcionais suaves de difusões de Itô. Eles definem uma classe de funcionais de coeficientes suaves gerados por integrais de tempo e de Stratonovich. Ao analisar a relação entre as coordenadas da assinatura e as aproximações polinomiais de núcleos de caos de Wiener–Itô, eles estabelecem que o erro quadrático de aproximação decai a uma taxa de $O(K^{-2\gamma})$, onde $\gamma$ caracteriza a suavidade do funcional. Eles provam ainda que esta taxa é minimax ótima.
2. Frameworks de Aprendizado Estatístico: Os autores propagam esta taxa de aproximação através de três procedimentos padrão de aprendizado estatístico:
   • Signature-OLS: Regressão de Mínimos Quadrados Ordinários usando características de assinatura truncadas.
   • Signature-LASSO: Operador de Shrinkage e Seleção de LASSO para recuperação esparsa em dicionários de assinaturas de alta dimensão.
   • Signature-Logistic: Regressão logística para classificação binária de dados com valores de trajetória.
     Para cada um, eles estabelecem consistência e propriedades assintóticas ao equilibrar explicitamente o erro de estimação (que cresce com o número de características $d_K$) e o erro de aproximação (que decai com $K$).
3. Validação Empírica: As descobertas teóricas são validadas através de simulações de Monte Carlo e três aplicações do mundo real:
   • Finanças: Previsão da volatilidade realizada de câmbio a partir de trajetórias de preços intradia.
   • Energia: Previsão do fim de vida útil (EOL) de baterias a partir de trajetórias de pulsos de corrente-voltagem de diagnóstico precoce.
   • Medicina: Detecção de crises epilépticas a partir de janelas curtas de EEG.

Principais Contribuições

1. Taxas de Aproximação Quantitativas
O artigo fornece a primeira taxa explícita de aproximação $L^2$ para assinaturas truncadas aplicadas a difusões de Itô.

• Resultado: Para uma classe de funcionais suaves com parâmetro de suavidade $\gamma$, o erro de aproximação quadrático é da ordem de $K^{-2\gamma}$.
• Significância: Isso transforma o teorema da aproximação universal qualitativo em uma ferramenta quantitativa, mostrando que funcionais mais suaves admitem convergência mais rápida. Os autores também demonstram que esta taxa é minimax aguda.

2. Consistência Estatística com Erro de Truncamento
Ao contrário de trabalhos anteriores que tratam modelos de assinatura truncada como exatos, este artigo modela explicitamente o resíduo de truncamento.

• Signature-OLS: Estabelece consistência e normalidade assintótica. A análise mostra que, para taxas de decaimento polinomial, o nível de truncamento $K$ deve crescer logaritmicamente com o tamanho da amostra $n$ (especificamente $K \sim \log n$), para garantir que o erro de aproximação não domine o erro de estimação, dado o crescimento exponencial da dimensão da assinatura completa.
• Signature-LASSO: Prova a recuperação de suporte e a consistência da estimação de coeficientes sob suposições de esparsidade. Os resultados mostram que mesmo com um dicionário grande, se o conjunto ativo de características for pequeno, a recuperação consistente é possível, desde que a taxa de aproximação seja suficientemente rápida.
• Signature-Logistic: Estabelece consistência para o escore logit latente na classificação binária, estendendo a análise de tradeoff entre aproximação e estimação para funções de ligação não lineares.

3. Framework Empírico e Aplicações
O artigo demonstra que as assinaturas fornecem representações finitas informativas que frequentemente superam características criadas manualmente (handcrafted), desde que o procedimento de aprendizado seja compatível com o regime estatístico (por exemplo, usando regularização para assinaturas de alta dimensão).

• Volatilidade de FX: O Signature-OLS superou os benchmarks da família HAR em termos de previsão de volatilidade realizada para o dia seguinte em 12 pares de moedas.
• EOL de Bateria: O Signature-LASSO reduziu significativamente o erro de previsão em comparação com as características manuais e o OLS não regularizado, destacando a necessidade de regularização esparsa em configurações de assinatura de alta dimensão.
• Detecção de Crises: O Signature-Logistic alcançou uma acurácia balanceada e AUC superiores em comparação com a regressão logística manual e modelos de floresta aleatória (random forest), demonstrando a capacidade de capturar interações ordenadas de formas de onda.

Resultados

• Teóricos: A taxa derivada $O(K^{-2\gamma})$ é mostrada como sendo minimax ótima. O artigo esclarece que, sem maior suavidade (por exemplo, analiticidade levando ao decaimento exponencial), não se pode usar o dicionário completo da assinatura; em vez disso, deve-se confiar na seleção de características (LASSO) ou no truncamento logarítmico.
• Simulação: Experimentos numéricos confirmaram a taxa de decaimento $K^{-2\gamma}$, o tradeoff entre aproximação e estimação (onde um $K$ intermediário produz o melhor desempenho em amostras finitas) e a capacidade do LASSO de recuperar estruturas esparsas em expansões de assinatura.
• Dados Reais:
  • Na previsão de FX, o Signature-OLS reduziu o RMSE em uma média de 7,9% em relação ao melhor benchmark não baseado em assinaturas.
  • Na previsão de baterias, o Signature-LASSO melhorou o $R^2$ de teste em 0,430 sobre o melhor baseline manual, enquanto o Signature-OLS não regularizado falhou devido ao overfitting.
  • Na detecção de crises, o classificador de assinatura alcançou uma acurácia balanceada de 95,8%, superando tanto a regressão logística manual quanto os modelos de floresta aleatória, particularmente em sensibilidade.

Significância e Alegações

O artigo afirma fornecer uma fundamentação quantitativa para a regressão de caminho baseada em assinaturas. Sua principal significância reside em ir além da "existência" de aproximações de assinatura para uma compreensão rigorosa de taxas de convergência e consistência estatística.

Os autores enfatizam que, embora as assinaturas sejam poderosas, seu sucesso prático depende de:

1. Suavidade: A taxa de aproximação é governada pela suavidade do funcional alvo.
2. Regularização: Em configurações de alta dimensão (onde $d_K$ cresce exponencialmente com $K$), a regularização (LASSO, Ridge) ou a seleção de características é essencial para evitar o overfitting e garantir um desempenho estável em amostras finitas.
3. Tradeoff: A escolha do nível de truncamento $K$ deve equilibrar o viés introduzido pelo truncamento contra a variância introduzida pela estimação de um grande número de parâmetros.

O artigo conclui que o framework proposto oferece uma abordagem unificada para o uso de assinaturas na regressão de caminho, aplicável à regressão de resposta contínua densa, regressão de alta dimensão esparsa e classificação binária. Observa-se que trabalhos futuros poderiam estender estes resultados para funcionais não suaves (ex: barreiras, tempos de parada) e amostras dependentes.