Resumen Técnico: VEIL – Secuestro de la Codificación Visual en Modelos de Visión

Planteamiento del Problema

El artículo aborda una brecha crítica en la Clasificación de Series Temporales (TSC, por sus siglas en inglés) donde las secuencias numéricas se representan mediante imágenes de gráficos (por ejemplo, gráficos de líneas, de barras o de dispersión) para aprovechar potentes arquitecturas de Redes Neuronales Convolucionales (CNN). Aunque este enfoque ha logrado un rendimiento competitivo, no está claro si los modelos aprenden la dinámica temporal subyacente de los datos o si dependen de señales específicas de la codificación visual introducidas por el diseño del gráfico (por ejemplo, continuidad de trazos, bordes de aristas, densidad de puntos).

Los autores denominan a este fenómeno Secuestro de la Codificación Visual (Visual Encoding Hijacking): un comportamiento donde las representaciones aprendidas se alinean más estrechamente con el estilo de renderizado que con la estructura de clase temporal. Esto crea una "ilusión de aprendizaje", donde los modelos explotan artefactos visuales superficiales en lugar de propiedades de señal genuinas. Las preguntas centrales de investigación son:

1. ¿Producen diferentes codificaciones visuales representaciones consistentes o divergentes de la misma serie temporal?
2. ¿Son las características aprendidas de una codificación transferibles a otras, o son específicas de la codificación?
3. ¿En qué evidencia visual se apoyan los modelos de TSC basados en CNN y puede la guía de atención mitigar el comportamiento sensible a la codificación?

Metodología: El Marco VEIL

Los autores presentan VEIL (Visual Encoding Illusion in Learning), un marco de diagnóstico diseñado para evaluar sistemáticamente cómo las codificaciones de gráficos influyen en las representaciones aprendidas. El estudio evalúa cuatro codificaciones estándar (línea, área, barra, dispersión) a través de 31 conjuntos de datos del benchmark UCR.

La metodología emplea un flujo de análisis multifacético:

• Configuración Experimental: Todos los modelos utilizan una arquitectura base CNN idéntica y un protocolo de entrenamiento (optimizador Adam, parada temprana) sobre divisiones estándar de UCR para asegurar que las diferencias de rendimiento surjan únicamente de las elecciones de codificación y no de la optimización.
• Similitud de Representación (CKA): Se utiliza el Alineamiento de Núcleo Centrado (Centered Kernel Alignment) para medir la alineación entre los espacios de características aprendidos de diferentes tipos de gráficos.
• Transferibilidad entre Gráficos: Se realiza un sondeo lineal (linear probing, regresión logística) sobre las características extraídas de un tipo de codificación para clasificar datos de otro tipo. Esto mide el límite inferior de la información compartida relevante para la tarea.
• Análisis de Atribución (Grad-CAM): Se aplica el Mapeo de Activación de Clase Pesado por Gradiente (Gradient-weighted Class Activation Mapping) para visualizar el enfoque del modelo, distinguiendo entre la dependencia de la estructura de la señal, características específicas de la codificación o elementos irrelevantes (por ejemplo, los ejes).
• Análisis Geométrico y de Separabilidad: Se utilizan PCA y UMAP para visualizar la geometría de las características, la dimensionalidad intrínseca y los patrones de separación de clases entre codificaciones.
• Índice de Sensibilidad de Codificación (ESI): Se derivan métricas escalares ($ES_{CKA}$ y $ESI_{Probe}$) para cuantificar el grado de dependencia de la codificación a nivel de conjunto de datos.
• Pruebas de Estrés por Perturbación: Se aplican perturbaciones controladas (desenfoque gaussiano, fusión de barras, desvanecimiento de alfa) para probar la sensibilidad del modelo a elementos visuales específicos.
• Guía de Atención HINT: Para probar la mitigación, los autores aplican HINT (Human Importance-aware Network Tuning), enmascarando las regiones salientes de Grad-CAM durante el entrenamiento para obligar al modelo a atender a otras regiones temporales.

Resultados Clave

1. Divergencia de Representación y Sensibilidad de Codificación

El estudio encuentra que los efectos de la codificación son bimodales y dependen fuertemente de la complejidad del conjunto de datos:

• Conjuntos de Datos Simples: Los conjuntos de datos de clase binaria (por ejemplo, Wine) muestran puntuaciones CKA elevadas ($\approx 0.89–0.98$) y una alta transferencia entre gráficos, lo que indica representaciones invariantes a la codificación.
• Conjuntos de Datos Complejos: Los conjuntos de datos multiclase (por ejemplo, FordB, Yoga) exhiben una divergencia sustancial. Las puntuaciones CKA caen significativamente ($\approx 0.44–0.69$) y la transferencia entre gráficos es débil. Los modelos entrenados en estos conjuntos de datos parecen especializarse en los patrones visuales de su codificación de entrenamiento específica.
• Correlatos de Sensibilidad: La sensibilidad de la codificación está más fuertemente asociada con el número de clases que con la longitud de la secuencia. Los conjuntos de datos multiclase muestran una sensibilidad elevada incluso con secuencias cortas, mientras que los conjuntos de datos binarios suelen permanecer robustos a pesar de las variaciones en longitud.

2. Comportamiento del Modelo y Perturbaciones

• Sesgo Inductivo: Ninguna codificación única domina consistentemente en todos los conjuntos de datos. En cambio, los tipos de gráficos actúan como distintos sesgos inductivos (inductive priors).
• Impacto de la Perturbación: Las perturbaciones dirigidas causan caídas de precisión desiguales. Los gráficos de barras permanecen comparativamente robustos a las disrupciones finas, lo que sugiere una dependencia de patrones estructurales gruesos, mientras que otras codificaciones son más sensibles a las señales visuales específicas.
• Cambios de Atribución: El análisis de Grad-CAM revela que los modelos a menudo se enfocan en características específicas de la codificación (por ejemplo, bordes de barras, densidad de dispersión) en lugar de tendencias temporales puras, aunque esto no demuestra definitivamente que estas señales sean "atajos" en lugar de reflejos legítimos de la señal.

3. Efectividad de la Guía de Atención HINT

La aplicación de la guía de atención basada en HINT arroja resultados mixtos, confirmando que no es una solución universal:

• Casos de Éxito: En conjuntos de datos con divergencia de codificación (bajo CKA, alto ESI), HINT mejoró significativamente el rendimiento (por ejemplo, ToeSegmentation2 +38.46%, Ham +23.81%).
• Casos de Fallo: En conjuntos de datos invariantes a la codificación o donde las representaciones ya eran efectivas, HINT proporcionó un beneficio insignificante o degradó el rendimiento (por ejemplo, Computers -36.00%, SonyAIBORobotSurface1 -14.14%).
• Conclusión: La guía de atención reduce el comportamiento sensible a la codificación solo cuando cuenta con el respaldo de evidencia convergente a través de múltiples diagnósticos (CKA, transferencia, UMAP). Debe tratarse como una intervención diagnóstica más que como una estrategia de mitigación fiable.

Contribuciones y Significado

El artículo realiza tres contribuciones primarias:

1. Formalización del Secuestro de la Codificación Visual: Los autores definen y distinguen el "secuestro" (comportamiento dependiente de la codificación que socava la alineación) de la evidencia legítima específica de la codificación que refleja fielmente las propiedades de la señal.
2. El Marco Diagnóstico VEIL: Un enfoque sistemático que combina similitud de representación, transferibilidad y atribución para evaluar los efectos de la codificación, yendo más allá de las simples métricas de precisión.
3. Evidencia Empírica de Sesgo Inductivo: Un estudio a través de 31 conjuntos de datos que demuestra que la elección de la codificación es un sesgo inductivo crítico en la TSC basada en imágenes, causando una variación sustancial en la alineación de la representación y la atención del modelo.

Significado:
El artículo redefine la TSC basada en gráficos no solo como una decisión de modelado, sino como un problema de representación y medición. Extiende el concepto de percepción gráfica de los lectores humanos a los modelos de visión, mostrando que las decisiones de diseño de visualización moldean fundamentalmente lo que los modelos aprenden. Los hallazgos sugieren que la alta precisión en TSC no implica necesariamente un entendimiento semántico de la dinámica temporal; los modelos pueden estar explotando artefactos de renderizado. En consecuencia, los autores abogan por protocolos de evaluación conscientes de la codificación para asegurar que el razonamiento del modelo se alinee con estructuras interpretables por humanos.