TiMi: Empower Time Series Transformers with Multimodal Mixture of Experts

A previsão de séries temporais é a ciência de observar uma sequência de números registrados ao longo do tempo para adivinhar o que acontecerá a seguir. É o motor por trás da previsão de tudo, desde o preço da gasolina até a propagação de um surto de gripe. Durante décadas, os métodos mais bem-sucedidos basearam-se quase inteiramente nos próprios números, procurando padrões no passado para projetá-los no futuro. No entanto, o mundo real raramente é apenas um fluxo de números. É um sistema complexo influenciado por manchetes de notícias, políticas governamentais e eventos inesperados que frequentemente aparecem como texto, em vez de pontos de dados. Embora os humanos leiam naturalmente um relatório de notícias sobre uma interrupção na cadeia de suprimentos e ajustem suas expectativas para preços futuros, os modelos computacionais tradicionais têm tido dificuldade em fazer o mesmo. Eles frequentemente tratam o texto como uma camada separada e confusa, difícil de alinhar com o fluxo suave dos dados numéricos, levando a previsões que erram o alvo quando o mundo muda.

Uma equipe de pesquisadores da Universidade de Tsinghua propôs uma nova maneira de preencher essa lacuna, introduzindo um sistema chamado TiMi. Em vez de tentar forçar o texto e os números em um mesmo formato rígido, a abordagem deles trata os dois como guias distintos, mas cooperativos. A ideia central é usar um grande modelo de linguagem, um tipo de inteligência artificial treinada em vastas quantidades de escrita humana, para ler o texto e raciocinar sobre o que ele significa para o futuro. O modelo não apenas memoriza as palavras; ele as analisa para inferir fatores causais, como se uma nova política fará as vendas aumentarem ou diminuírem. Esse raciocínio é então passado para um motor de previsão especializado, que usa o insight para refinar suas previsões numéricas. Os pesquisadores descobriram que, ao deixar o modelo de linguagem agir como um guia para os números, em vez de tentar fundá-los em uma mistura única e bagunçada, o sistema poderia fazer previsões significativamente mais precisas.

Os pesquisadores testaram este método em dezesseis conjuntos de dados do mundo real diferentes, abrangendo diversos campos como agricultura, clima, energia e saúde pública. Nesses testes, o novo sistema superou consistentemente modelos avançados existentes, incluindo aqueles que anteriormente tentaram combinar texto e números. Os resultados foram particularmente impressionantes em cenários onde o texto fornecia uma razão clara para uma mudança nos números, como um relatório sobre o recall de um smartphone causando uma queda acentuada nas vendas. Nesses casos, o novo sistema conseguiu usar o texto para antecipar a queda, enquanto outros modelos frequentemente falharam em capturar a mudança repentina. O estudo sugere que a chave para uma melhor previsão não reside em forçar diferentes tipos de dados a parecerem iguais, mas em permitir que cada um faça o que faz de melhor: o texto fornece a história e a causa, enquanto os números forneam o registro e a tendência.

Para fazer isso funcionar, a equipe projetou um sistema modular que atua como um conjunto de consultores especializados. Uma parte do sistema foca inteiramente nos números históricos, aprendendo os ritmos e padrões de longo prazo dos dados. Outra parte foca no texto, usando o modelo de linguagem para extrair insights estruturados sobre tendências futuras, como se a perspectiva é de aumento, diminuição ou estabilidade. Esses dois fluxos de informação são então reunidos de uma forma que permite ao sistema escolher o conselho mais relevante para o momento específico. Se o texto sugere que um grande evento está por vir, o sistema inclina-se fortemente para esse insight. Se o texto é vago ou irrelevante, o sistema baseia-se mais nos padrões históricos. Essa flexibilidade permite que o modelo lide com dados reais desordenados, onde o texto e os números podem não chegar ao mesmo tempo ou no mesmo formato.

Os pesquisadores também exploraram quão bem este sistema funciona quando os dados são irregulares, o que é comum no mundo real. Em muitas situações, relatórios de notícias podem surgir em tempos imprevisíveis, ou dados podem estar ausentes para certos dias. Modelos tradicionais costumam ter dificuldades com essas lacunas, mas o novo sistema lidou com elas com facilidade. Como ele processa o texto e os números separadamente antes de combinar seus insights, não exige uma sincronia perfeita entre os dois. Em testes em conjuntos de dados irregulares, o sistema reduziu os erros de previsão em quase trinta por cento em comparação com os métodos padrão. Essa robustez sugere que a abordagem não é apenas uma melhoria teórica, mas uma ferramenta prática que pode trabalhar com os dados imperfeitos e assíncronos encontrados em aplicações reais.

Uma parte crucial do estudo envolveu entender como o sistema toma suas decisões. Os pesquisadores descobriram que o sistema agrupou naturalmente tipos semelhantes de tendências de dados. Por exemplo, quando o sistema foi solicitado a prever o futuro de um conjunto de dados que mostrava uma forte tendência de alta, ele recorreu consistentemente a uma parte específica de sua lógica interna. Quando a tendência era de baixa, ele mudava para uma parte diferente. Esse comportamento indica que o sistema não está apenas adivinhando; ele está aprendendo a se especializar, atribuindo diferentes "especialistas" dentro de seu cérebro para lidar com diferentes tipos de cenários futuros. Além disso, o estudo mostrou que a qualidade do texto importa. Quando os pesquisadores alimentaram o sistema com textos ruidosos ou irrelevantes, o desempenho do sistema caiu apenas ligeiramente, provando que ele pode filtrar o ruído e focar no sinal.

As descobertas desafiam a ideia predominante de que a melhor maneira de combinar texto e números é fundi-los em uma representação única e unificada. Tentativas anteriores frequentemente tentavam traduzir o texto em um código numérico que pudesse ser misturado diretamente com os dados de séries temporais, um processo que frequentemente diluía o significado do texto. A nova abordagem rejeita essa fusão em favor de uma interação guiada. Ao manter o texto como uma fonte de raciocínio causal e os números como o objeto da previsão, o sistema preserva as forças únicas de ambos. Os pesquisadores demonstraram que este método funciona em uma ampla variedade de domínios, desde o rastreamento de casos de influenza até a previsão do volume de tráfego, sugerindo que a capacidade de ler e raciocinar sobre o texto é um ativo universal para a previsão.

No fim, o trabalho oferece um caminho mais claro para o futuro da inteligência artificial na análise de séries temporais. Ele mostra que o futuro da previsão pode não residir na construção de modelos maiores e mais complexos que tentam fazer tudo de uma vez, mas no design de sistemas que saibam ouvir diferentes tipos de informação. Ao deixar um modelo de linguagem ler as notícias e um modelo de previsão observar os números, e então deixá-los trabalhar juntos, o sistema alcança um nível de precisão e adaptabilidade que nenhum dos dois alcançaria sozinho. Os resultados sugerem que, para qualquer pessoa tentando prever o futuro de sistemas complexos, a história por trás dos números é tão importante quanto os próprios números.