Naturalness Predicts but Does Not Cause Transferability in Image Encodings of Real-World Streams

Resumen Técnico: La naturalidad predice, pero no causa la transferibilidad en codificaciones de imágenes de flujos del mundo real

Planteamiento del problema
En el reconocimiento de patrones aplicado, una práctica común consiste en convertir señales unidimensionales (por ejemplo, series temporales) en imágenes para aprovechar arquitecturas convolucionales o de transformadores preentrenadas en fotografías naturales. Aunque estas codificaciones (como los Campos Angulares de Gram, los Campos de Transición de Markov y los gráficos de recurrencia) se evalúan mediante la precisión en tareas posteriores, las propiedades visuales de las imágenes resultantes rara vez se examinan. Esto plantea una pregunta crítica: para un backbone congelado, ¿depende la precisión de transferencia de una codificación de qué tanto su distribución de imagen se asemeja a la de las fotografías naturales? Las imágenes naturales exhiben una regularidad estadística específica: un espectro de potencia promediado radialmente que decae como $|f|^{-2}$ (una ley $1/f$). La hipótesis probada es si una codificación que se adhiere a esta ley espectral "natural" transfiere mejor a backbones congelados ajustados a las estadísticas de escenas naturales.

Metodología
Los autores introducen WorldStream, un corpus de 299 series de valores actuales heterogéneas recolectadas de APIs públicas (que cubren clima, calidad del aire, terremotos, materias primas, acciones, criptomonedas, divisas, atención comunitaria y clima espacial). El conjunto de datos está estructurado en 3,143 ventanas divididas temporalmente (70% entrenamiento, 30% prueba) para una tarea de reconocimiento de nueve familias de origen.

Para investigar la relación entre la naturalidad visual y la transferibilidad, los autores emplean dos estrategias experimentales principales:

1. Evaluación comparativa: Evalúan siete codificaciones de imagen diferentes (incluyendo gráficos de líneas, espectrogramas, campos de Gram, campos de Markov, gráficos de recurrencia y un codificador espectral propuesto) a través de seis backbones preentrenados congelados (ResNet-50, ViT-B/16, CLIP ViT-B/16, variantes de DINOv2 y ConvNeXt-L). La precisión de transferencia se mide mediante un linear probe sobre características estandarizadas.
2. Intervenciones controladas: Para aislar la causalidad, utilizan un nuevo codificador espectral invertible. Este codificador mapea una señal $x$ a una imagen $I$ mediante una DFT 2D donde la envolvente de amplitud es controlada por un único exponente espectral $\beta$ ($am \propto |f|^{-\beta/2}$).
   • Intervención 1 (Variación del espectro): Los autores varían $\beta$ para desplazar el espectro de potencia de la imagen hacia o lejos de la ley natural $1/f^2$ ($\beta \approx 2$) mientras mantienen fijo el contenido de la señal codificada.
   • Intervención 2 (Escrambling de fase): Aleatorizan las fases de Fourier de las codificaciones existentes (gráficos de recurrencia y campos de Gram) para destruir la estructura espacial local manteniendo el espectro de potencia exactamente fijo.

La "naturalidad" de las codificaciones se cuantifica utilizando la Distancia de Fréchet Inception (FID) contra un conjunto de imágenes naturales (Imagenette).

Resultados clave

1. Correlación vs. Causalidad: A través de 42 pares de codificación-backbone ($7 \times 6$), existe una fuerte correlación negativa entre el FID y la precisión de transferencia congelada (Spearman $\rho = -0.72$). Las codificaciones que parecen más "naturales" (menor FID) generalmente alcanzan una mayor precisión.
2. La naturalidad espectral no es causal: En la primera intervención, variar $\beta$ logró desplazar el FID hacia un mínimo cerca de $\beta \approx 2$ (el valor natural). Sin embargo, la precisión de transferencia se mantuvo plana y baja (13.9%–23.6%) a lo largo de todo el barrido, sin mostrar un pico en $\beta \approx 2$. La correlación entre el FID y la precisión en este entorno controlado fue débil (Pearson $-0.32$). Esto demuestra que igualar la pendiente espectral de las imágenes naturales no mejora inherentemente la transferibilidad.
3. La estructura local es el motor: En la segunda intervención, el phase scrambling destruyó la estructura local mientras mantenía el espectro constante. Tanto el FID como la precisión se degradaron conjuntamente de forma fuerte (Pearson $-0.89$). Esto indica que la correlación de codificación cruzada observada en los experimentos base está mediada por la estructura de imagen local, no por la naturalidad espectral. La red Inception utilizada para el FID y los backbones de visión dependen de campos receptivos locales; las codificaciones que preservan las relaciones locales de pares (como los campos de Gram) son legibles, mientras que la síntesis de Fourier global (el codificador propuesto) distribuye la información globalmente, haciéndola ilegible para estas arquitecturas.
4. Limitaciones del ajuste fino (Fine-Tuning): El ajuste fino completo de extremo a extremo de los backbones mejoró el rendimiento para las bases estructuradas (alcanzando ~67–75%), pero no logró cerrar la brecha para el codificador espectral (permaneciendo en ~25–27%). Esto confirma que el déficit es estructural (falta de disposición local) más que una limitación específica de la transferencia congelada.

Significancia y afirmaciones
El artículo afirma que, si bien la métrica de "naturalidad" visual (medida por FID) es un fuerte predictor de la precisión de transferencia para las codificaciones de señal a imagen, no es la causa. La correlación existe porque las codificaciones que casualmente parecen naturales (debido a su construcción, ej. campos de Gram) también preservan la estructura espacial local que los backbones convolucionales y de transformadores están diseñados para leer. Forzar meramente una codificación para que coincida con la ley espectral $1/f$ de las imágenes naturales no mejora el rendimiento si la estructura local está ausente.

Además, los autores demuestran que el codificador espectral propuesto es invertible. A pesar de su pobre desempeño como entrada de reconocimiento para backbones congelados, sirve como una herramienta de visualización sin pérdida. Las imágenes de 8 bits pueden invertirse de nuevo a la señal original con alta fidelidad (PSNR > 72.9 dB), permitiendo que los datos se rendericen como relieves sombreados de formas de terreno que son representaciones matemáticamente exactas del estado mundial subyacente.

Los autores concluyen que la métrica de "naturalidad" es un proxy de la integridad estructural local en este contexto, y que las futuras codificaciones deben priorizar el diseño local sobre la coincidencia espectral global para asegurar la transferibilidad a modelos de visión preentrenados.