Unsupervised Feature Based Algorithms for Time Series Extrinsic Regression

Resumo Técnico: Algoritmos Baseados em Recursos Não Supervisionados para Regressão Externa de Séries Temporais

Definição do Problema
A Regressão Externa de Séries Temporais (TSER) envolve a construção de um modelo preditivo para estimar uma variável de resposta contínua com base em um conjunto de séries temporais de treinamento, onde a resposta não é derivada diretamente da própria série (ao contrário da previsão). Enquanto a Classificação de Séries Temporais (TSC) e a previsão são bem estudadas, a TSER recebeu menos atenção. Um estudo anterior de benchmark [5] estabeleceu um repositório de 19 problemas e avaliou 13 algoritmos, constatando que o aprendizado profundo (InceptionTime) e os métodos baseados em kernels (ROCKET) apresentaram bom desempenho, embora nenhum algoritmo único tenha superado significativamente os demais. Os autores argumentam que o campo requer pesquisas adicionais para melhorar a precisão do modelo e abordar a falta de progresso desde o benchmark inicial.

Metodologia
O estudo expande o cenário da TSER por meio de três etapas metodológicas principais:

1. Expansão do Repositório: Os autores aumentaram o repositório de benchmark TSER de 19 para 63 conjuntos de dados. Esta nova coleção inclui 24 conjuntos de dados univariados e 20 multivariados (além dos 19 originais), provenientes de competições do Kaggle e repositórios de pesquisa aplicada. Os conjuntos de dados cobrem domínios diversos, como análise econômica, monitoramento de energia, ciência ambiental, saúde de equipamentos e análise de sentimentos. O pré-processamento dos dados envolveu interpolação linear para valores ausentes e truncamento para séries de comprimento desigual.
2. Adaptação e Implementação de Algoritmos: O estudo adapta algoritmos de TSC de última geração para tarefas de regressão. O foco central está nas abordagens baseadas em recursos não supervisionados, que transformam séries temporais em vetores de recursos sem utilizar a variável alvo durante a fase de transformação.
   • FreshPRINCE: Um pipeline que combina a biblioteca de extração de recursos TSFresh (gerando ~800 recursos não supervisionados) com um regressor de Floresta de Rotação (RotF). O RotF foi adaptado para regressão substituindo o classificador C4.5 por um regressor CART e fazendo a média das previsões.
   • DrCIF (Diverse Representation Canonical Interval Forest): Um ensemble baseado em intervalos. Ele divide as séries temporais em três representações: a série original, diferenças de primeira ordem e periodogramas. Em seguida, seleciona intervalos aleatórios dentro dessas representações e extrai recursos de resumo (usando o conjunto Catch22 mais sete estatísticas padrão, como média e inclinação). Um ensemble de regressores CART é treinado nesses recursos concatenados.
   • Outras Linhas de Base: O estudo avalia 21 regressores no total, incluindo modelos de ML padrão (Ridge, SVR, Random Forest, XGBoost), modelos lineares funcionais (FPCR), métodos baseados em distância (kNN com Euclidiano e DTW), métodos convolucionais/baseados em kernel (ROCKET, MultiROCKET) e arquiteturas de aprendizado profundo (FCN, ResNet, InceptionTime individual e ensemble, CNN).
3. Desenho Experimental: Os experimentos foram conduzidos utilizando 30 reamostragens (divisões treino/teste) por conjunto de dados para garantir robustez estatística. O desempenho foi medido usando o Erro Quadrático Médio Raiz (RMSE). A significância estatística foi avaliada usando testes de postos sinalizados de Wilcoxon emparelhados com correção de Holm, visualizados por meio de diagramas de Diferença Crítica (CD).

Principais Contribuições

1. Expansão do Conjunto de Dados: A liberação de 44 novos conjuntos de dados, elevando o total do repositório TSER para 63 problemas.
2. Inovação Algorítmica: A introdução de dois novos algoritmos TSER, FreshPRINCE e DrCIF, adaptados de metodologias de TSC bem-sucedidas.
3. Benchmark Abrangente: Uma avaliação rigorosa de 21 regressores distintos, incluindo modelos padrão prontos para uso, análise funcional e aprendizado profundo, fornecendo uma nova linha de base para o campo.
4. Código Aberto: Fornecimento de implementações compatíveis com scikit-learn e diretrizes detalhadas de reprodutibilidade.

Resultados

• Reprodução da Linha de Base: Nos 19 conjuntos de dados originais, o estudo reproduziu as descobertas de [5], confirmando que nenhum algoritmo único dominou significativamente os demais, embora a ordenação dos algoritmos tenha mudado ligeiramente com correções estatísticas menos conservadoras.
• Desempenho no Repositório Estendido: No repositório completo de 63 conjuntos de dados, regressores padrão como Random Forest e Floresta de Rotação (RotF) superaram muitos métodos específicos de séries temporais de aprendizado profundo e baseados em kernel. Notavelmente, o RotF emergiu como um algoritmo padrão de alto desempenho.
• Superioridade das Novas Propostas: O estudo demonstra que FreshPRINCE e DrCIF superam significativamente todos os outros 18 regressores testados, incluindo o regressor padrão de melhor desempenho (RotF) e o ensemble de aprendizado profundo (InceptionTimeE).
  • DrCIF e FreshPRINCE alcançaram os menores ranks médios de RMSE.
  • InceptionTimeE, embora frequentemente classificado no topo em problemas específicos, mostrou alta variância e instabilidade, falhando frequentemente em encontrar relações preditivas em conjuntos de dados onde outros modelos tiveram sucesso.
  • Estudo de Ablação: Para o FreshPRINCE, o estudo confirmou que o ganho de desempenho provém da combinação específica da transformação TSFresh e do regressor RotF; usar TSFresh com outros regressores (como Random Forest ou XGBoost) não produziu os mesmos resultados que o pareamento com RotF.
• Características dos Dados: O desempenho variou conforme as propriedades dos dados. O DrCIF performou relativamente melhor em séries curtas e dados multivariados com menos canais, enquanto o FreshPRINCE se destacou com conjuntos de treinamento maiores e conjuntos de dados com mais de 5 canais.

Significado e Alegações
O artigo afirma que o campo da TSER estagnou e que as abordagens baseadas em recursos não supervisionados propostas representam um salto significativo. Os autores afirmam que:

• Nenhum regressor previamente avaliado pode superar uma adaptação de regressão de um classificador padrão (especificamente a Floresta de Rotação).
• FreshPRINCE e DrCIF são os únicos modelos que superam significativamente o regressor padrão Floresta de Rotação, estabelecendo um novo estado da arte para a TSER.
• A diversidade no desempenho entre os principais algoritmos sugere que ensembles heterogêneos podem ser uma área frutífera para pesquisas futuras.
• O estudo fornece um benchmark mais robusto e maior (63 conjuntos de dados) que revela limitações em conclusões anteriores tiradas de conjuntos de dados menores.

Os autores permanecem modestos quanto às limitações, observando que os dados não foram amostrados aleatoriamente (potencialmente super-representando certos domínios), nenhum ajuste de hiperparâmetros foi realizado devido a restrições computacionais e análises diagnósticas complexas (como análise de resíduos) não foram conduzidas. No entanto, concluem que seu trabalho fornece uma contribuição significativa para o avanço do campo da TSER, demonstrando que a extração de recursos não supervisionada combinada com regressores de ensemble robustos é atualmente a abordagem mais eficaz.