Resumo Técnico: InstructTime++

Declaração do Problema

A classificação de séries temporais (TSC) tradicionalmente baseou-se em um paradigma de modelagem discriminativa que mapeia sequências de entrada diretamente para rótulos de classe em formato one-hot. Os autores identificam duas limitações inerentes a essa abordagem:

1. Exploração de Características Contextuais: Métodos de aprendizado profundo existentes têm dificuldade em incorporar efetivamente características contextuais (ex: idade do paciente, gênero no diagnóstico médico), que são tipicamente fornecidas como dados textuais discretos.
2. Relacionamentos Semânticos: O uso de distribuições de rótulos one-hot falha em capturar os relacionamentos semânticos entre as classes (ex: a semelhança entre "caminhar" e "correr" versus "deitar").

Além disso, embora os Grandes Modelos de Linguagem (LMs) ofereçam fortes capacidades generativas, eles carecem do viés indutivo necessário para capturar a dinâmica temporal implícita e os padrões estruturais inerentes aos dados numéricos brutos de séries temporais.

Metodologia

O artigo propõe um framework de dois estágios: InstructTime e sua extensão, InstructTime++.

1. InstructTime: Reformulando TSC como uma Tarefa Generativa Multimodal

O InstructTime altera o paradigma do mapeamento discriminativo para o raciocínio generativo orientado por instruções.

• Entrada Multimodal: O framework trata sequências numéricas contínuas, características textuais discretas e instruções específicas da tarefa como modalidades distintas.
• Discretização de Séries Temporais: Para reduzir a lacuna de modalidade entre números contínuos e texto discreto, os autores utilizam redes de Quantização Vetorial (VQ). As séries temporais brutas são segmentadas em patches e codificadas em tokens temporais discretos através de um codebook aprendível. Isso converte sequências contínuas em um formato compatível com a tokenização de linguagem.
• Construção de Prompt: Um template de prompt fixo é projetado contendo:
  • Instruções específicas da tarefa (ex: "Você receberá sinais de ECG...").
  • Características contextuais (ex: "Idade: Idoso").
  • Tokens temporais discretos (representados como <TS-Tokens>).
• Codificação Híbrida e Alinhamento: Uma camada de projeção de alinhamento (implementada como um MLP) mapeia os tokens temporais discretos para o espaço de embedding do modelo de linguagem.
• Estratégia de Treinamento:
  • Pré-treinamento Autossupervisionado Generativo: Uma fase de pré-treinamento cross-domain alinha as representações dos tokens temporais com palavras da linguagem natural, aumentando a generalização de domínio.
  • Ajuste Fino Supervisionado (SFT): O modelo alinhado é ajustado para tarefas específicas de jusante usando dados rotulados, onde o modelo gera descrições textuais do rótulo da classe em vez de prever uma distribuição de probabilidade sobre as classes.

2. InstructTime++: Melhoria de Características Implícitas

Reconhecendo que o InstructTime depende de características explícitas e pode perder padrões latentes devido à falta de viés indutivo temporal nos LMs, o InstructTime++ introduz um módulo de Extração de Características Implícitas.

• Toolkits Especializados: O framework utiliza ferramentas externas para minerar padrões informativos de séries temporais brutas e entradas contextuais, traduzindo-os em descrições textuais.
  • Características Estatísticas: Extração baseada em regras de estatísticas de distribuição (média, variância, assimetria), medidas de complexidade (entropia de amostra) e comportamentos de longo prazo (tendências, periodicidade).
  • Características Visuais: Utilização de Modelos de Linguagem-Visão (VLMs) para analisar visualizações 2D das séries temporais, extraindo padrões estruturais baseados em percepção (tendências globais, formas locais).
• Fusão de Características: Essas características implícitas extraídas são convertidas em descrições de linguagem natural estruturadas e anexadas ao template do prompt junto com as características explícitas.
• Raciocínio Unificado: O modelo de linguagem raciocina conjuntamente sobre instruções explícitas, dados contextuais e as novas descrições textuais implícitas adicionadas para gerar a classificação final.

Principais Contribuições

1. Mudança de Paradigma: Propõe reformular a TSC como uma tarefa generativa multimodal, permitindo a incorporação natural de características contextuais textuais e a modelagem de relacionamentos semânticos entre classes.
2. Alinhamento de Modalidade: Introduz uma estratégia de discretização de séries temporais usando redes VQ e uma camada de projeção de alinhamento para resolver a inconsistência entre as modalidades numérica e textual.
3. Modelagem de Características Implícitas: Estende o framework para o InstructTime++ integrando toolkits especializados para extração de características estatísticas e visuais, compensando o limitado viés indutivo dos LMs padrão na captura de dinâmicas temporais.
4. Framework Orientado por Instrução: Demonstra uma abordagem unificada onde instruções específicas da tarefa guiam o processo generativo, facilitando a transferência e generalização cross-domain.

Resultados Experimentais

Os autores avaliaram o InstructTime e o InstructTime++ em múltiplos conjuntos de dados de referência, incluindo EEG, ECG, Reconhecimento de Atividade Humana (HAR), Detecção de Falhas (FD), Chamados de Baleia Jubarte (RWC), Epilepsia (EP) e Dígitos Árabes Falados (SAD).

• Desempenho: O InstructTime++ Adapt (incorporando tanto o pré-treinamento cross-domain quanto o ajuste fino específico de domínio com características implícitas) alcançou o estado da arte em a maioria dos conjuntos de dados, superando baselines discriminativos (CNNs, Transformers, TCNs) e outras abordagens generativas (GPT-As-Classifier).
• Estudos de Ablação:
  • Pré-treinamento Cross-Domain: Melhorou significativamente o desempenho, particularmente em conjuntos de dados com dinâmicas temporais complexas (EEG, ECG), confirmando seu papel no aprendizado de representações invariantes de domínio.
  • Características Implícitas: Remover qualquer uma das características implícitas estatísticas ou visuais levou à degradação do desempenho, sendo que as características visuais foram mais críticas para HAR/EEG e as estatísticas para ECG/RWC. Isso confirma a natureza complementar dessas características.
  • Texto de Instrução: Remover o texto de instrução durante o pré-treinamento causou uma queda acentuada no desempenho, validando seu papel no alinhamento de representações numéricas com tarefas semânticas.
  • Escalabilidade do Backbone: Um backbone de tamanho médio (Qwen3-0.6B) frequentemente apresentou o melhor equilíbrio entre desempenho e eficiência, sugerindo que apenas escalar o tamanho do modelo não garante melhores resultados para TSC.

Significância e Alegações

O artigo alega que o InstructTime++ aborda efetivamente as limitações dos métodos tradicionais de TSC discriminativa ao:

• Permitir a integração perfeita de fontes de dados heterogêneas (séries temporais numéricas e contexto textual).
• Capturar relacionamentos semânticos entre classes através de saída textual generativa em vez de vetores one-hot rígidos.
• Superar a falta de viés indutivo temporal dos LMs ao minerar explicitamente e traduzir padrões estruturais e estatísticos implícitos para a modalidade de linguagem.

Os autores concluem que este trabalho pavimenta o caminho para a classificação de séries temporais agêntica, onde modelos podem utilizar autonomamente ferramentas externas e raciocínio iterativo para tomadas de decisão mais adaptáveis e conscientes do contexto. O framework é apresentado como agnóstico à tarefa, com potenciais extensões para previsão (forecasting) e detecção de anomalias.