Resumo Técnico: Falcon-X

Declaração do Problema

Modelos Fundamentais de Séries Temporais (TSFMs) estão redefinindo a previsão ao aproveitar o pré-treinamento em grande escala entre domínios. No entanto, os TSFMs existentes enfrentam duas limitações fundamentais ao lidar com dados multivariados heterogêneos:

1. Desalinhamento Semântico: A maioria dos modelos opera diretamente no espaço das variáveis brutas. Ao misturar grandezas físicas heterogêneas (por exemplo, temperatura versus volume de tráfego) de diferentes conjuntos de dados, os mecanismos padrão de atenção em grupo falham em alinhar suas semânticas distintas. Isso leva a um "colapso semântico", onde o modelo aprende correlações espúrias e específicas do conjunto de dados, em vez de estruturas temporais transferíveis.
2. Expressividade Relacional Limitada: Sistemas do mundo real exibem interações complexas, incluindo dependências tanto sinérgicas (positivas) quanto antagônicas (negativas). Mecanismos de atenção padrão, que dependem de pontuações softmax não negativas, capturam principalmente efeitos agregativos e lutam para modelar explicitamente dinâmicas opostas ou relações antagônicas.

Abordagens atuais frequentemente achatam séries multivariadas ou usam atenção em grupo dentro do espaço bruto, o que ou escala mal com a dimensionalidade ou falha em desvendar semânticas heterogêneas, limitando as capacidades de transferência zero-shot.

Metodologia: Falcon-X

Falcon-X é um modelo fundamental apenas com codificador (591M de parâmetros) projetado para desacoplar variáveis físicas do espaço de interação. Ele introduz um paradigma de Espaço de Protótipos Latentes Unificados, consistindo em quatro etapas principais:

1. Pré-processamento e Tokenização

• Normalização: As entradas passam por uma transformação arcseno usando média e desvio padrão por instância, computados apenas a partir de valores observados para preservar entradas ausentes.
• Tokenização: A sequência é aumentada com carimbos de tempo relativos e uma máscara de observação binária. Em seguida, é particionada em patches não sobrepostos e projetada em uma dimensão oculta por meio de um mecanismo de incorporação de patches residual.

2. Atenção Temporal

Falcon-X emprega uma arquitetura Transformer apenas com codificador para capturar primeiro padrões temporais intrínsecos. $n$ camadas de Atenção Temporal são aplicadas independentemente a cada variável ao longo da dimensão temporal. Isso garante que dinâmicas temporais robustas sejam extraídas antes que qualquer interação entre variáveis ocorra, prevenindo o emaranhamento semântico prematuro.

3. Atenção entre Variáveis (Inovação Central)

Esta etapa preenche a lacuna entre entradas heterogêneas e uma representação unificada:

• Atenção Dif-Protótipo Unificada (UPDA): Em vez de misturar variáveis brutas, Falcon-X as projeta em um espaço de protótipos latentes de dimensão fixa ($C$). Utiliza um mecanismo de Atenção Diferencial com duas matrizes de chave aprendíveis: $K_{pos}$ (sinérgica) e $K_{neg}$ (antagônica).
  • O modelo calcula pontuações de atenção contra ambas as chaves: $A_{pos} = \text{softmax}(QK_{pos}^T)$ e $A_{neg} = \text{softmax}(QK_{neg}^T)$.
  • A representação unificada é derivada agregando valores com base na pontuação diferencial: $H_C = (A_{pos} - \lambda A_{neg})^T V$.
  • Uma perda de ortogonalidade restringe $K_{pos}$ e $K_{neg}$ para garantir distintividade semântica. Isso permite que o modelo capture explicitamente tanto afinidades positivas quanto negativas.
• Atenção a Entidades Latentes (LEA): Uma vez alinhadas no espaço de protótipos compartilhado, interações globais entre variáveis são realizadas por meio de Atenção Multi-Cabeça padrão. Como todas as entidades residem no mesmo espaço semântico agnóstico à dimensão, isso facilita a transferência zero-shot perfeita entre conjuntos de dados com diferentes contagens de variáveis e significados físicos.
• Roteador de Reagrupamento de Variáveis (VRR): Para reconstruir trajetórias específicas, é usado um mecanismo de solicitação e despacho. Uma solicitação de roteamento ($R_{req}$) da incorporação temporal original é comparada com um índice de protótipo ($P_{idx}$) para recuperar cargas úteis semânticas relevantes do contexto de origem ($S_{ctx}$).
  • A saída final funde as incorporações temporais originais com as representações entre variáveis reagrupadas por meio de uma conexão residual com portão: $\hat{H} = H_T + G(H_T) \odot H_V$. Este portão regula dinamicamente a fusão, prevenindo interferência semântica em sistemas fracamente correlacionados enquanto aproveita dependências em sistemas fortemente correlacionados.

4. Cabeça de Previsão

O modelo adota um paradigma de previsão probabilística, prevendo distribuições futuras em um conjunto de quantis usando uma Perda de Quantil.

Contribuições Principais

1. Um Novo Paradigma de Modelagem Heterogênea: Falcon-X migra da mistura no espaço bruto para um espaço unificado de protótipos latentes. Isso cria um sistema de coordenadas universal que resolve discrepâncias semânticas entre conjuntos de dados, permitindo transferência de conhecimento zero-shot principista.
2. Inovação Arquitetural:
   • Atenção a Protótipos Diferencial: Modela explicitamente dinâmicas sinérgicas e antagônicas, superando as limitações da atenção não negativa.
   • Roteador de Reagrupamento de Variáveis: Um mecanismo com portão que funde adaptativamente o contexto global com sinais temporais locais, garantindo robustez através de diversas forças de dependência.
3. Excelência Empírica: O modelo demonstra desempenho de última geração em benchmarks abrangentes, validando sua adaptabilidade estrutural.

Resultados Experimentais

Falcon-X foi avaliado em GIFT-Eval e fev-bench, dois benchmarks de grande escala cobrindo diversos domínios (natureza, energia, finanças, saúde, etc.).

• GIFT-Eval: Falcon-X alcançou o melhor desempenho geral com 0,666 MASE e 0,453 CRPS. Superou bases fortes incluindo STRIDE (+1,2% MASE), Toto-2.0-FT (+1,9% MASE) e Timer-S1 (+3,9% MASE). Notavelmente, sua vantagem aumentou com horizontes de previsão mais longos, alcançando os melhores resultados de médio prazo (0,68 MASE) e longo prazo (0,70 MASE).
• fev-bench: Falcon-X ficou em segundo lugar próximo ao Chronos-2 (0,652 vs. 0,645 MASE) enquanto dependia estritamente de séries-alvo endógenas, superando outros modelos recentes como TiRex e Moirai 2.0.
• Estudos de Ablação: A remoção da chave de protótipo negativa ($K_{neg}$) causou a queda de desempenho mais severa, confirmando a necessidade de modelar relações antagônicas. O treinamento conjunto (univariado + multivariado) provou-se superior ao aprendizado de currículo em duas etapas.
• Escalabilidade: O modelo aderiu às leis de escalonamento neural, mostrando melhorias consistentes de desempenho à medida que os parâmetros escalonam de 59M para 591M.

Significado e Alegações

O artigo afirma que Falcon-X oferece um paradigma principista e escalável para ambientes multivariados complexos. Ao desacoplar variáveis físicas do espaço de interação e modelar explicitamente dependências duais (sinérgicas e antagônicas), ele aborda os gargalos de alinhamento semântico e expressividade relacional dos TSFMs atuais. Os autores postulam que essa abordagem permite transferência estrutural zero-shot robusta, permitindo que o modelo aprenda padrões reutilizáveis entre domínios sem estar acoplado às dimensões brutas das variáveis. O trabalho é apresentado como um passo em direção a modelos fundamentais mais unificados e expressivos para séries temporais, com o código lançado publicamente para apoiar pesquisas futuras.