Naturalness Predicts but Does Not Cause Transferability in Image Encodings of Real-World Streams

Resumo Técnico: A Naturalidade Prediz, mas Não Causa, a Transferibilidade em Codificações de Imagens de Fluxos do Mundo Real

Declaração do Problema
Na reconhecimento de padrões aplicado, uma prática comum envolve converter sinais unidimensionais (ex: séries temporais) em imagens para aproveitar backbones convolucionais ou de transformadores pré-treinados em fotografias naturais. Embora essas codificações (como Campos Angulares de Gramian, Campos de Transição de Markov e gráficos de recorrência) sejam avaliadas pela acurácia downstream, as propriedades visuais das imagens resultantes raramente são examinadas. Isso levanta uma questão crítica: para um backbone congelado, a acurácia de transferência de uma codificação depende de quão próximo sua distribuição de imagem está da de fotografias naturais? Imagens naturais exibem uma regularidade estatística específica — um espectro de potência radialmente média que decai como $|f|^{-2}$ (uma lei $1/f$). A hipótese testada é se uma codificação que adere a essa lei espectral "natural" transfere melhor para backbones congelados ajustados às estatísticas de cenas naturais.

Metodologia
Os autores introduzem o WorldStream, um corpus de 299 séries de valores atuais heterogêneas coletadas de APIs públicas (abrangendo clima, qualidade do ar, terremotos, commodities, ações, criptomoedas, câmbio, atenção comunitária e clima espacial). O conjunto de dados é estruturado em 3.143 janelas temporalmente divididas (70% treinamento, 30% teste) para uma tarefa de reconhecimento de nove famílias de origem.

Para investigar a relação entre naturalidade visual e transferibilidade, os autores empregam duas estratégias experimentais primárias:

1. Avaliação Comparativa: Eles avaliam sete codificações de imagem diferentes (incluindo gráficos de linha, espectrogramas, campos de Gramian, campos de Markov, gráficos de recorrência e um codificador espectral proposto) através de seis backbones congelados pré-treinados (ResNet-50, ViT-B/16, CLIP ViT-B/16, variantes DINOv2 e ConvNeXt-L). A acurácia de transferência é medida via uma sonda linear em características padronizadas.
2. Intervenções Controladas: Para isolar a causalidade, eles utilizam um novo codificador espectral invertível. Este codificador mapeia um sinal $x$ para uma imagem $I$ via uma DFT 2D onde o envelope de amplitude é controlado por um único expoente espectral $\beta$ ($am \propto |f|^{-\beta/2}$).
   • Intervenção 1 (Variando o Espectro): Os autores variam $\beta$ para deslocar o espectro de potência da imagem para mais perto ou para longe da lei natural $1/f^2$ ($\beta \approx 2$) enquanto mantém o conteúdo do sinal codificado fixo.
   • Intervenção 2 (Embaralhamento de Fase): Eles randomizam as fases de Fourier de codificações existentes (gráficos de recorrência e campos de Gramian) para destruir a estrutura espacial local enquanto mantêm o espectro de potência exatamente fixo.

A "naturalidade" das codificações é quantificada usando a Distância de Fréchet Inception (FID) contra um conjunto de imagens naturais (Imagenette).

Principos Resultados

1. Correlação vs. Causação: Através de 42 pares de codificação-backbone ($7 \times 6$), há uma forte correlação negativa entre FID e acurácia de transferência congelada (Spearman $\rho = -0.72$). Codificações que parecem mais "naturais" (menor FID) geralmente alcançam maior acurácia.
2. A Naturalidade Espectral Não é Causal: Na primeira intervenção, variar $\beta$ moveu com sucesso o FID para um mínimo próximo a $\beta \approx 2$ (o valor natural). No entanto, a acurácia de transferência permaneceu constante e baixa (13,9%–23,6%) ao longo de todo o varrimento, não mostrando um pico em $\beta \approx 2$. A correlação entre FID e acurácia neste cenário controlado foi fraca (Pearson $-0,32$). Isso demonstra que corresponder à inclinação espectral de imagens naturais não melhora inerentemente a transferibilidade.
3. A Estrutura Local é o Vetor: Na segunda intervenção, o embaralhamento de fase destruiu a estrutura local enquanto manteve o espectro constante. Tanto o FID quanto a acurácia degradaram juntos fortemente (Pearson $-0,89$). Isso indica que a correlação de codificação cruzada observada nos experimentos de base é mediada pela estrutura de imagem local, não pela naturalidade espectral. A rede Inception usada para o FID e os backbones de visão ambos dependem de campos receptivos locais; codificações que preservam relações espaciais locais (como campos de Gramian) são legíveis, enquanto a síntese de Fourier global (o codificador proposto) espalha a informação globalmente, tornando-a ilegível para estas arquiteturas.
4. Limitações de Fine-Tuning: O ajuste fino completo de ponta a ponta dos backbones melhorou o desempenho para bases estruturadas (atingindo ~67–75%), mas falhou em fechar a lacuna para o codificador espectral (permanecendo em ~25–27%). Isso confirma que o déficit é estrutural (falta de arranjo local) e não uma limitação específica de transferência congelada.

Significância e Alegações
O artigo alega que, embora a métrica de "naturalidade" visual (medida por FID) seja um forte preditor da acurácia de transferência para codificações de sinal-para-imagem, ela não é a causa. A correlação existe porque codificações que por acaso parecem naturais (devido à sua construção, ex: campos de Gramian) também preservam a estrutura espacial local que os backbones convolucionais e de transformadores foram projetados para ler. Forçar uma codificação a corresponder meramente à lei espectral $1/f$ de imagens naturais não melhora o desempenho se a estrutura local estiver ausente.

Adicionalmente, os autores demonstram que o codificador espectral proposto é invertível. Apesar de seu baixo desempenho como entrada de reconhecimento para backbones congelados, ele serve como uma ferramenta de visualização sem perdas. As imagens de 8 bits podem ser invertidas de volta para o sinal original com alta fidelidade (PSNR > 72,9 dB), permitindo que os dados sejam renderizados como relevos sombreados de formas de terreno que são representações matematicamente exatas do estado mundial subjacente.

Os autores concluem que a métrica de "naturalidade" é um proxy para a integridade estrutural local neste contexto, e que futuras codificações devem priorizar o layout local sobre a correspondência espectral global para garantir a transferibilidade para modelos de visão pré-treinados.