🤖 machine learning

ConceptTS: LLM-Guided Concept Bottlenecks for Interpretable Multivariate Time-Series Forecasting

O ConceptTS é um framework de previsão de séries temporais multivariadas interpretável que utiliza grandes modelos de linguagem para gerar e supervisionar automaticamente conceitos nomeados e legíveis por humanos organizados em três gargalos complementares, alcançando uma precisão competitiva ao mesmo tempo em que fornece previsões transparentes e prontas para intervenção.

Autores originais: Yichen Jiang, Yueqiao Chen, Dongyu Liu

Publicado 2026-08-24

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yichen Jiang, Yueqiao Chen, Dongyu Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da ciência de dados, as máquinas tornaram-se notavelmente boas em observar o passado para prever o futuro. Quando um computador observa um fluxo de números — como os níveis variáveis de poluição do ar, o preço flutuante da eletricidade ou a frequência cardíaca oscilante de um paciente — ele pode frequentemente prever o que vem a seguir com uma precisão surpreendente. Esses sistemas são poderosos porque conseguem identificar padrões complexos que os humanos poderiam perder, tecendo dezenas de variáveis diferentes que mudam ao longo do tempo. No entanto, há uma ressalva significativa: essas máquinas poderosas são frequentemente opacas. Elas produzem uma previsão, mas não explicam o porquê. É como perguntar a um meteorologista sobre um aviso de tempestade, e ele simplesmente aponta para um número sem lhe dizer se o perigo vem de ventos fortes, chuva intensa ou uma queda súbita de pressão. Em situações de alto risco, como gerir a qualidade do ar de uma cidade ou monitorizar a saúde de um paciente, saber o "porquê" é tão importante quanto saber o "quê". Os profissionais precisam de compreender o raciocínio por trás de uma previsão para confiar nela, para detetar potenciais erros e para saber como intervir se algo correr mal.

Este é o desafio que uma nova abordagem chamada ConceptTS visa resolver. Investigadores desenvolveram um sistema que força um modelo de aprendizagem automática a pensar em ideias legíveis por humanos, em vez de apenas números abstratos. Em vez de permitir que o computador trabalhe numa "caixa negra", este novo framework pede ao modelo que identifique conceitos específicos e nomeados que descrevam o que está a acontecer nos dados. Por exemplo, em vez de apenas processar números, o modelo pode reconhecer que a velocidade do vento está a aumentar, que a temperatura está a baixar ou que um poluente específico está a comportar-se de uma forma que costuma preceder um pico de poluição. Para tornar isto possível sem exigir que os humanos rotulem manualmente cada momento individual nos dados, os investigadores utilizaram um modelo de linguagem de grande escala — um tipo avançado de inteligência artificial treinado em vastas quantidades de texto — para atuar como um guia. Este modelo de linguagem lê o histórico dos dados e sugere conceitos relevantes, escrevendo depois um conjunto de regras que o sistema de previsão pode seguir para verificar se esses conceitos estão presentes.

O sistema organiza estas ideias em três camadas distintas para construir um quadro completo. Primeiro, observa o passado recente para compreender o contexto, fazendo perguntas como: "O ar estava geralmente quente ou frio nas horas que antecederam este momento?". Segundo, divide a previsão futura em pequenos blocos, procurando detalhes locais como: "A velocidade do vento está a aumentar nesta hora específica?". Finalmente, observa todo o período de previsão para identificar tendências de grande escala, tais como: "É provável que o dia inteiro seguinte apresente variações extremas de temperatura?". Ao forçar o modelo a prever a ativação destes conceitos específicos antes de fazer a sua previsão final, os investigadores criam um caminho transparente. O modelo deve primeiro decidir quais os conceitos que estão ativos e, em seguida, utiliza essas decisões para gerar a previsão. Isto significa que, se o modelo prever um pico de poluição, um humano pode observar os conceitos e ver que o modelo estava a reagir a uma combinação de baixa velocidade do vento e alta humidade, em vez de estar a adivinhar cegamente.

Para testar esta ideia, os investigadores aplicaram o seu sistema a dados reais de Pequim, utilizando medições de qualidade do ar de três estações de monitorização ao longo de vários anos. Focaram-se na previsão da concentração de PM2.5, um poluente de partículas finas que representa sérios riscos para a saúde. Os resultados mostraram que o sistema conseguia prever a qualidade do ar futura com a mesma precisão que os modelos opacos mais avançados atualmente disponíveis. De facto, num dos locais de teste, o novo sistema alcançou um erro médio de apenas 12,71 microgramas por metro cúbico, um valor que igualou ou superou várias outras ferramentas de previsão de alto nível. Mais importante ainda, o sistema forneceu uma janela clara para o seu próprio pensamento. Quando os investigadores examinaram os conceitos que o modelo ativou, descobriram que a máquina estava a identificar corretamente condições do mundo real, tais como blocos de inverno frios e secos ou períodos onde a velocidade do vento e os níveis de poluição se moviam em direções opostas.

O poder desta abordagem foi demonstrado ainda mais através de uma série de experiências onde os investigadores interferiram deliberadamente no pensamento do modelo. Num teste, pegaram nas previsões do modelo e forçaram-no a usar exatamente o oposto dos conceitos corretos. Em vez de dizerem ao modelo que o vento estava calmo, disseram-lhe que o vento soprava forte, mesmo quando os dados mostravam o contrário. Esta simples troca fez com que as previsões do modelo colapsassem, com a taxa de erro a saltar de um valor gerível de 15,37 para um massivo 99,66. Este fracasso dramático provou que o modelo não estava apenas a usar os conceitos como uma nota lateral; estava a depender deles como o motor principal para as suas previsões. O sistema estava genuinamente a usar as ideias legíveis por humanos para realizar o seu trabalho.

Os investigadores também exploraram o quanto poderiam trocar entre precisão e transparência. Descobriram que, ao ajustar uma configuração específica, podiam fazer com que o modelo dependesse mais fortemente dos conceitos, mesmo que isso significasse que as previsões se tornassem ligeiramente menos precisas. Esta flexibilidade é valiosa porque permite aos utilizadores escolherem quanto querem ver dentro da máquina. Em alguns casos, uma ligeira queda na precisão pode valer a pena pelo ganho de compreensão, especialmente quando o objetivo é aprender com os dados ou explicar uma decisão a um público humano. O sistema também mostrou que podia aprender relações complexas, como o facto de que, quando a velocidade do vento permanece perto de zero durante muito tempo, os níveis de poluição tendem a subir, e à medida que o vento aumenta, a poluição dissipa-se. O modelo aprendeu este padrão e conseguiu explicá-lo em linguagem simples, algo que os modelos tradicionais de caixa negra não conseguem fazer.

Em última análise, este trabalho representa uma mudança na forma como construímos sistemas inteligentes para o futuro. Afasta-se da ideia de que temos de sacrificar a compreensão pela precisão. Ao utilizar um modelo de linguagem para gerar as regras e os conceitos automaticamente, os investigadores removeram o pesado fardo da rotulagem manual que normalmente torna impossível este tipo de transparência. O sistema não precisa que um humano se sente e rotule cada hora de dados; ele aprende a reconhecer os padrões por conta própria, guiado pelas sugestões do modelo de linguagem. O resultado é uma ferramenta de previsão que é simultaneamente poderosa e honesta, capaz de fazer previsões precisas enquanto explica o seu raciocínio em termos que um humano consegue compreender. Isto abre as portas para o uso de inteligência artificial avançada em campos onde a confiança e a clareza são essenciais, garantindo que, quando uma máquina prevê o futuro, sabemos exatamente por que razão ela pensa dessa forma.

Resumo Técnico: ConceptTS

Definição do Problema

Modelos de previsão de séries temporais multivariadas, particularmente arquiteturas modernas como Transformers e CNNs, alcançam alta precisão ao capturar dependências temporais e entre variáveis complexas. No entanto, eles sofrem com a falta de interpretabilidade; suas representações internas são opacas, oferecendo pouca visão sobre as condições temporais específicas ou interações entre variáveis que impulsionam uma previsão. Essa opacidade é uma barreira crítica em domínios de alto risco (ex: saúde, monitoramento ambiental), onde os profissionais devem compreender os modos de falha e avaliar a plausibilidade das evidências antes de confiar em uma previsão. Métodos de interpretabilidade existentes, como mapas de saliência post-hoc ou raciocínio baseado em protótipos, frequentemente falham em fornecer evidências semanticamente explícitas e nomeadas que possam ser diretamente inspecionadas ou alvo de intervenção sem incorrer em custos proibitivos de anotação manual.

Metodologia: ConceptTS

O ConceptTS é um framework de previsão interpretável que organiza previsões em torno de conceitos nomeados e legíveis por humanos. Ele preenche a lacuna entre a precisão de modelos de caixa-preta e a transparência de modelos baseados em conceitos, aproveitando Grandes Modelos de Linguagem (LLMs) para a construção e supervisão automatizada de conceitos.

1. Construção de Conceitos Guiada por LLM

Em vez de depender da anotação manual de especialistas, o ConceptTS emprega um LLM offline para gerar todo o pipeline de conceitos:

Entrada: O LLM recebe estatísticas do conjunto de dados, descrições de canais e perfis de agrupamento (clusters) derivados dos dados de treinamento (ex: médias, inclinações, períodos derivados de FFT, correlações).
Saída: O LLM propõe três conjuntos distintos de conceitos, cada um pareado com um predicado Python executável:
- Conceitos de Look-back (Retrospectivos): Descrevem padrões semânticos na janela histórica (ex: "o histórico foi chuvoso?").
- Conceitos de Subjanela de Previsão: Capturam detalhes locais refinados dentro de intervalos específicos do horizonte de previsão (ex: "a velocidade do vento está aumentando?").
- Conceitos Globais de Previsão: Descrevem tendências macro ao longo de todo o horizonte de previsão (ex: "há uma mudança extrema de temperatura?").
Rotulagem: Os predicados executáveis rotulam automaticamente cada segmento de treinamento, gerando ativações de conceitos binários de verdade fundamental ( $y_i \in \{0, 1\}$ ) sem novas chamadas ao LLM durante o treinamento.

2. Arquitetura

O modelo segue um design de codificador-decodificador preservador de estrutura com Gargalos de Incorporação de Conceito (CEM) paralelos:

Codificador: Utiliza uma arquitetura estilo ModernTCN com incorporações independentes de variáveis e convoluções de profundidade (depthwise) de kernel grande para preservar a identidade do canal e capturar um contexto temporal amplo. Dois codificadores paralelos processam a janela de look-back e o horizonte de previsão (em configurações cientes do futuro) separadamente para manter uma barreira de informação.
Gargalos de Conceito (CEM): Três módulos CEM paralelos processam as saídas do codificador:
- Look-back CEM: Resume o contexto histórico.
- Sub-window CEMs: $N_{sw}$ módulos capturam padrões locais para cada subjanela de previsão.
- Global Forecast CEM: Captura tendências macro.
- Mecanismo: Cada módulo utiliza agrupamento ponderado por atenção para gerar vetores de contexto. Emprega uma estrutura de Modelo de Incorporação de Conceito (CEM) onde os conceitos possuem incorporações estáticas aprendidas para estados ativos ( $e^+_c$ ) e inativos ( $e^-_c$ ). O contexto de conceito final é uma mistura ponderada baseada na probabilidade de ativação prevista $p_c(z)$ .
Decodificador: Um sub-decodificador residual compartilhado constrói a previsão final. Ele concatena:
- Vetores de contexto de conceito de todos os três tipos de gargalo.
- Contexto de subjanela cruzada (via um BiGRU processando resumos de subjanelas).
- Incorporações posicionais.
- Um canal residual regularizado: Um caminho estreito de desvio (bypass) que carrega informações de magnitude contínua não totalmente capturadas pelos conceitos discretos. Este canal é regularizado para controlar o equilíbrio entre precisão e interpretabilidade.

3. Objetivo de Treinamento

O modelo é treinado de ponta a ponta com uma função de perda híbrida:

Perda de Previsão: Perda L1 sobre a variável alvo.
Supervisão de Conceito: Perdas de Entropia Cruzada Binária (BCE) forçando as ativações previstas a corresponderem aos rótulos derivados pelo LLM para todos os três conjuntos de conceitos.
Regularização: Inclui penalidades de suavidade de fronteira, um piso de variância para evitar o colapso de conceitos e um regularizador L2 no canal residual ( $\alpha_{residual}$ ) para impor a dependência do caminho do conceito.

Principais Contribuições

Construção de Conceitos Guiada por LLM: Um pipeline que converte o contexto do domínio e resumos de dados em conceitos temporais nomeados e regras de rotulagem executáveis, eliminando a necessidade de anotação manual por segmento.
Arquitetura Multiescala Pronta para Intervenção: Um design inovador que organiza conceitos através de escopos históricos, locais e globais. A arquitetura preserva a estrutura temporal/variável enquanto limita o vazamento de informação em torno dos gargalos, permitindo intervenções diretas ao nível do conceito.
Avaliação Abrangente: Experimentos no conjunto de dados de Qualidade do Ar de Múltiplos Sítios de Pequim demonstram que o ConceptTS atinge uma precisão competitiva com fortes baselines de caixa-preta, fornecendo ativações de conceitos semanticamente significativos.

Resultados Experimentais

O modelo foi avaliado no conjunto de dados de Qualidade do Ar de Múltiplos Sítios de Pequim (alvo PM2.5) em três locais de monitoramento (Aotizhongxin, Dingling, Tiantan) sob duas configurações:

Future-Aware (Ciente do Futuro): Características exógenas (covariáveis) são conhecidas para o horizonte de previsão.
Look-back-Only (Apenas Retrospectivo): Apenas dados históricos estão disponíveis.

Desempenho:

Na configuração future-aware, o ConceptTS alcançou um MAE de 12,71 µg/m³ (Aotizhongxin), superando o Informer (28,62), DeepAR (13,97) e NHiT (16,94), e igualando modelos de estado da arte como XGBoost (12,34) e TFT (12,44).
Na configuração look-back-only, o ConceptTS alcançou um MAE de 55,59 µg/m³, superando o TimeXer (57,43) e o iTransformer (59,16), e permanecendo competitivo com os melhores baselines (dentro de ~0,55–0,81 µg/m³ dos melhores desempenhos).

Interpretabilidade e Ablação:

Dependência de Conceito: Substituir as ativações de conceito previstas por rótulos de verdade fundamental invertidos fez com que o MAE de teste degradasse de 15,371 para 99,661, fornecendo evidência direta de que o decodificador depende fortemente do canal de ativação de conceito.
Troca entre Precisão e Interpretabilidade: Ajustar o peso do canal residual ( $\alpha_{residual}$ ) permitiu uma troca controlada. Pesos menores melhoraram a precisão, mas reduziram a dependência dos conceitos; pesos maiores forçaram o modelo a rotear as previsões através dos gargalos de conceito, com previsões apenas de conceitos ainda capturando as formas macro/micro corretas da verdade fundamental.
Intervenção: Varreduras contrafatuais (ex: mudar "is calm block" de 0 para 1) mostraram que aumentar a ativação de conceitos de ar calmo consistentemente elevou os níveis de poluição previstos, alinhando-se à intuição física.

Significância

O artigo afirma que o ConceptTS aborda a necessidade crítica de previsão de séries temporais multivariadas transparentes sem sacrificar o desempenho preditivo. Ao automatizar a descoberta de conceitos semanticamente explícitos via LLMs, ele supera o gargalo de anotação dos tradicionais Modelos de Gargalo de Conceito (CBMs). O framework fornece um vocabulário semântico estável para inspecionar o raciocínio do modelo e permite intervenções diretas, tornando-o adequado para aplicações de alto risco onde entender o "porquê" por trás de uma previsão é tão importante quanto a própria previsão. Os autores observam que, embora o modelo lide bem com passos de tempo típicos, ele é ligeiramente menos sensível a picos extremos de poluição em comparação com alguns baselines, uma limitação identificada para trabalhos futuros.