Naturalness Predicts but Does Not Cause Transferability in Image Encodings of Real-World Streams

Sintesi Tecnica: La naturalezza predice ma non causa la trasferibilità nelle codifiche di immagini di flussi del mondo reale

Problema
Nella pattern recognition applicata, una pratica comune consiste nel convertire segnali monodimensionali (ad esempio, serie temporali) in immagini per sfruttare backbone convoluzionali o transformer pre-addestrati su fotografie naturali. Sebbene queste codifiche (come i Campi Angolari di Gramian, i Campi di Transizione di Markov e i plot di ricorrenza) siano valutate in base all'accuratezza a valle, le proprietà visive delle immagini risultanti sono raramente esaminate. Ciò solleva una domanda critica: per un backbone congelato, l'accuratezza del trasferimento di una codifica dipende da quanto la sua distribuzione di immagini si avvicini a quella delle fotografie naturali? Le immagini naturali presentano una specifica regolarità statistica: uno spettro di potenza mediato radialmente che decresce come $|f|^{-2}$ (una legge $1/f$). L'ipotesi testata è se una codifica che aderisce a questa legge spettrale "naturale" si trasferisca meglio a backbone congelati tarati sulle statistiche delle scene naturali.

Metodologia
Gli autori introducono WorldStream, un corpus di 299 serie di valori correnti eterogenee raccolte da API pubbliche (che coprono meteo, qualità dell'aria, terremoti, materie prime, azioni, criptovalute, cambi valutari, attenzione della comunità e meteo spaziale). Il dataset è strutturato in 3.143 finestre temporalmente suddivise (70% addestramento, 30% test) per un compito di riconoscimento di nove famiglie di origine.

Per investigare la relazione tra naturalezza visiva e trasferibilità, gli autori impiegano due strategie sperimentali primarie:

1. Valutazione Comparativa: Valutano sette diverse codifiche di immagini (inclusi plot a linee, spettrogrammi, campi di Gramian, campi di Markov, plot di ricorrenza e un proposto encoder spettrale) attraverso sei backbone pre-addestrati e congelati (ResNet-50, ViT-B/16, CLIP ViT-B/16, varianti DINOv2 e ConvNeXt-L). L'accuratezza del trasferimento è misurata tramite una sonda lineare su caratteristiche standardizzate.
2. Interventi Controllati: Per isolare la causalità, utilizzano un nuovo encoder spettrale invertibile. Questo encoder mappa un segnale $x$ in un'immagine $I$ tramite una DFT 2D dove l'inviluppo dell'ampiezza è controllato da un singolo esponente spettrale $\beta$ ($am \propto |f|^{-\beta/2}$).
   • Intervento 1 (Variazione dello Spettro): Gli autori variano $\beta$ per spostare lo spettro di potenza dell'immagine verso o lontano dalla legge naturale $1/f^2$ ($\beta \approx 2$) mantenendo fisso il contenuto del segnale codificato.
   • Intervento 2 (Scrambling della Fase): Randomizzano le fasi di Fourier delle codifiche esistenti (plot di ricorrenza e campi di Gramian) per distruggere la struttura spaziale locale mantenendo esattamente fisso lo spettro di potenza.

La "naturalità" delle codifiche è quantificata utilizzando la Fréchet Inception Distance (FID) rispetto a un set di immagini naturali (Imagenette).

Risultati Chiave

1. Correlazione vs. Causalità: Attraverso 42 coppie encoding-backbone ($7 \times 6$), esiste una forte correlazione negativa tra FID e accuratezza del trasferimento congelato (Spearman $\rho = -0.72$). Le codifiche che appaiono più "naturali" (FID più basso) generalmente ottengono un'accuratezza maggiore.
2. La Naturalità Spettrale non è Causale: Nel primo intervento, variare $\beta$ ha spostato con successo la FID verso un minimo vicino a $\beta \approx 2$ (il valore naturale). Tuttavia, l'accuratezza del trasferimento è rimasta piatta e bassa (13,9%–23,6%) attraverso l'intero sweep, non mostrando alcun picco a $\beta \approx 2$. La correlazione tra FID e accuratezza in questo setting controllato era debole (Pearson $-0.32$). Ciò dimostra che far corrispondere la pendenza spettrale delle immagini naturali non migliora intrinsecamente la trasferibilità.
3. La Struttura Locale è il Driver: Nel secondo intervento, lo scrambling della fase ha distrutto la struttura locale pur mantenendo costante lo spettro. Sia la FID che l'accuratezza sono degradate insieme in modo forte (Pearson $-0.89$). Ciò indica che la correlazione di cross-encoding osservata negli esperimenti di base è mediata dalla struttura locale dell'immagine, non dalla naturalità spettrale. La rete Inception utilizzata per la FID e i backbone di visione si basano entrambi su campi ricettivi locali; le codifiche che preservano le relazioni pairwise locali (come i campi di Gramian) sono leggibili, mentre la sintesi di Fourier globale (il proposto encoder) distribuisce l'informazione globalmente, rendendola illeggibile per queste architetture.
4. Limitazioni del Fine-Tuning: Il fine-tuning completo end-to-end dei backbone ha migliorato le prestazioni per le basi strutturate (raggiungendo circa il 67–75%), ma non è riuscito a colmare il divario per l'encoder spettrale (rimanendo circa al 25–27%). Ciò conferma che il deficit è strutturale (mancanza di disposizione locale) piuttosto che una limitazione specifica del trasferimento congelato.

Significatività e Rivendicazioni
Il documento sostiene che, sebbene la metrica di "naturalità" visiva (misurata tramite FID) sia un forte predittore dell'accuratezza del trasferimento per le codifiche segnale-immagine, non ne è la causa. La correlazione esiste perché le codifiche che per caso appaiono naturali (a causa della loro costruzione, ad esempio i campi di Gramian) preservano anche la struttura spaziale locale che i backbone convoluzionali e i transformer sono progettati per leggere. Forzare semplicemente una codifica a corrispondere alla legge spettrale $1/f$ delle immagini naturali non migliora le prestazioni se la struttura locale è assente.

Inoltre, gli autori dimostrano che il proposto encoder spettrale è invertibile. Nonostante la sua scarsa performance come input di riconoscimento per i backbone congelati, funge da strumento di visualizzazione lossless. Le immagini a 8 bit possono essere invertite nel segnale originale con alta fedeltà (PSNR > 72,9 dB), permettendo ai dati di essere renderizzati come rilievi ombreggiati che sono rappresentazioni matematicamente esatte dello stato del mondo sottostante.

Gli autori concludono che la metrica di "naturalità" è un proxy per l'integrità strutturale locale in questo contesto, e che le future codifiche dovrebbero dare priorità al layout locale rispetto alla corrispondenza spettrale globale per garantire la trasferibilità ai modelli di visione pre-addestrati.