Learning Transferable Predictability Representations

Resumo Técnico: Aprendizado de Representações de Previsibilidade Transferíveis

Formulação do Problema

O artigo aborda o desafio de atribuir uma pontuação escalar a uma janela de trajetória curta que reflita sua posição em um contínuo ordenado de regimes de previsibilidade. Enquanto os métodos existentes discriminam eficazmente dinâmicas determinísticas e estocásticas dentro de um único sistema, eles falham em produzir pontuações com interpretações numéricas consistentes entre diferentes sistemas.

Os autores formalizam isso como um problema de estimativa ordinal sobre uma "escada de previsibilidade" de cinco níveis ($L_0$ a $L_4$):

1. $L_0$ (Determinístico Estável): Pontos fixos ou ciclos limite ($\lambda_{max} \le 0$).
2. $L_1$ (Fracamente Caótico): Determinístico com pequena instabilidade positiva ($0 < \lambda_{max}\tau \ll 1$).
3. $L_2$ (Fortemente Caótico): Determinístico com divergência rápida ($\lambda_{max}\tau \gg 0$).
4. $L_3$ (Estocástico Estruturado): Surrogados que preservam estatísticas lineares (ex: espectro de potência), mas interrompem a geometria não linear.
5. $L_4$ (Estocástico Não Estruturado): Ruído i.i.d.

Uma barreira estrutural crítica identificada é a liberdade de gauge: a supervisão ordinal sozinha determina o ordenamento das pontuações, mas deixa a coordenada numérica não fixada até uma reparametrização monótona. Consequentemente, as pontuações treinadas em um sistema não são diretamente comparáveis às de outro, mesmo que o ranking ordinal esteja correto. O artigo argumenta que a transferência entre sistemas exige a fixação desta ambiguidade de coordenada, pois cenários zero-shot carecem de dados do sistema-alvo para recalibração post-hoc.

Metodologia: A Rede Ordinal com Fixação de Gauge (GON)

A solução proposta, GON, é um modelo convolucional temporal projetado para aprender uma coordenada de pontuação compartilhada entre sistemas. Ela compreende três componentes principais:

1. Pré-processamento de 2-Jet:
   Em vez de usar coordenadas de estado brutas (que carregam escala e unidades específicas do sistema), a GON opera em características de 2-jet: posição ($x$), velocidade ($\dot{x}$) e aceleração ($\ddot{x}$). Essas características, estimadas via filtragem de Savitzky–Golay e diferenças finitas centrais, expõem a geometria local da trajetória. Esta representação é preservada por fluxos determinísticos suaves, mas interrompida por procedimentos de surrogados estocásticos, tornando-a ideal para distinguir estrutura determinística de ruído estruturado.

2. Arquitetura:
   O modelo utiliza uma Rede Convolucional Temporal (TCN) com blocos residuais dilatados para codificar a entrada de 2-jet em uma sequência oculta. O pooling médio multiescala agrega isso em um vetor, que é mapeado para uma pontuação escalar via um MLP de duas camadas. As saídas são limitadas usando uma função tangente hiperbólica para alinhar com o intervalo alvo.

3. Objetivo Ordinal com Fixação de Gauge:
   Para resolver a liberdade de gauge, o objetivo de treinamento atribui alvos de ancoragem fixos às médias das pontuações de cada nível da escada: $\{t_k\} = \{-4, -2, 0, +2, +4\}$. A função de perda ($\mathcal{L}$) consiste em:

   • Termo de Ancoragem: Penaliza o desvio das médias das pontuações por nível ($\mu_k$) em relação aos seus alvos ($t_k$).
   • Termo de Variância: Penaliza a dispersão excessiva dentro do mesmo nível ($\sigma_k$), incentivando o agrupamento denso em torno das âncoras.

   Este objetivo de "ancoragem e variância" fixa a coordenada da pontuação, garantindo que um valor numérico específico corresponda a um regime de previsibilidade específico através de diferentes sistemas.

Configuração Experimental

• Dados de Treinamento: 12 sistemas de equações diferenciais ordinárias (ODE) caóticas dissipativas tridimensionais (ex: Lorenz-63, Rössler, Chen) cobrindo uma gama de geometrias de atrator.
• Dados de Teste: Cinco sistemas totalmente retidos (ex: Thomas, Tigan, pêndulo forçado) sem uso de dados durante o treinamento.
• Métricas de Avaliação:
  • Inclinação de Monotonicidade ($\beta$): Mede a coerência ordinal global das médias dos níveis.
  • $\beta$ Normalizada pela Escala ($\beta_{norm}$): Usada para comparação entre métodos.
  • Deriva de Âncora ($\delta_{anchor}$): Mede o quão próximo as médias aprendidas estão dos alvos de ancoragem.
  • AUROC Pareado: Avalia a discriminação em fronteiras específicas (ex: $L_2 \to L_3$).

Resultos Principais

1. Transferência Zero-Shot:

   • A GON alcança uma inclinação de monotonicidade normalizada pela escala de $\beta_{norm} = 0,559$ em sistemas retidos, superando todas as linhas de base supervisionadas (que se agrupam em torno de 0,46–0,48).
   • A transferência é mais forte na fronteira estocástica ($L_2 \to L_3$ e $L_3 \to L_4$), onde procedimentos de surrogados interrompem a geometria não linear. As fronteiras do lado determinístico ($L_0 \to L_2$) mostram separação mais fraca, sugerindo que distinções caóticas refinadas são mais específicas do sistema.
   • A calibração dentro da distribuição é excelente, com deriva de âncora média de $\delta_{anchor} = 0,0097$.

2. Eficiência de Adaptação:

   • Iniciar a partir de um checkpoint pré-treinado da GON supera significativamente o treinamento do zero, mesmo com pouquíssimas janelas rotuladas ($k=5$).
   • O ajuste fino total (pre_all) supera consistentemente a inicialização aleatória, enquanto o congelamento do encoder (pre_head) melhora a discriminação, mas falha em recuperar a estrutura ordinal global ($\beta$).
   • A profundidade de adaptação correlaciona-se com a proximidade geométrica: sistemas com campos vetoriais semelhantes ao conjunto de treinamento adaptam-se imediatamente, enquanto aqueles com estruturas não vistas (ex: força sinusoidal) requerem mais dados e podem falhar em resolver fronteiras mais finas.

3. Estudos de Ablação:

   • Âncora vs. Margem: Substituir o objetivo de ancoragem por uma perda de margem (que impõe separação, mas não coordenadas fixas) preserva a discriminação dentro da distribuição, mas faz a deriva de âncora subir de 0,005 para 2,556 e reduz o $\beta$ de transferência em 47%. Isso confirma que a estabilidade de coordenada, e não apenas a coerência ordinal, é necessária para a transferência.
   • Características de 2-Jet: O uso de características de 2-jet coerentes melhora significativamente a transferência ($\beta = 1,504$) em comparação com estados brutos ($\beta = 1,132$) ou derivadas embaralhadas. Isso destaca a importância da estrutura geométrica sobre a mera dimensionalidade.

Significância e Alegações

O artigo afirma identificar a fixação de gauge como o ingrediente ausente para pontuações de previsibilidade ordinais transferíveis. A contribuição central é demonstrar que atribuir uma coordenada numérica estável aos níveis ordinais é uma condição necessária para a comparabilidade entre sistemas.

• Insight Teórico: O trabalho estabelece que a discriminação pareada e a pontuação ordinal globalmente coerente são propriedades distintas; uma coordenada estável é necessária para uni-las sob transferência.
• Utilidade Prática: O framework permite a avaliação de previsibilidade, seleção de modelos e diagnósticos de alerta precoce em sistemas naturais e de engenharia sem necessidade de calibração específica do sistema.
• Limitações: Os autores observam que o benchmark é atualmente limitado a sistemas ODE dissipativos de baixa dimensão. Extensões para sistemas de alta dimensão, conservativos ou sinais do mundo real permanecem como trabalhos futuros. O método opera em dados sintéticos e não envolve dados pessoais ou impactos sociais negativos previsíveis.

Em conclusão, o artigo postula que aprender uma coordenada de previsibilidade ordinal transferível via fixação de gauge permite comparações significativas de regimes de previsibilidade entre sistemas dinâmicos heterogêneos, uma capacidade anteriormente inalcançável com abordagens padrão de regressão ou classificação ordinal.