Riepilogo Tecnico: VEIL – Visual Encoding Hijacking nei Modelli di Visione

Definizione del Problema

Il documento affronta una lacuna critica nella Classificazione di Serie Temporali (TSC), dove le sequenze numeriche vengono renderizzate come immagini di grafici (ad es., grafici a linee, a barre, a dispersione) per sfruttare potenti backbone di Reti Neurali Convoluzionali (CNN). Sebbene questo approccio abbia raggiunto prestazioni competitive, rimane poco chiaro se i modelli apprendano la dinamica temporale sottostante dei dati o se si affidino a indizi specifici dell'encoding visivo introdotti dal design del grafico (ad es., continuità del tratto, bordi degli elementi, densità dei punti).

Gli autori definiscono questo fenomeno Visual Encoding Hijacking (Dirottamento dell'Encoding Visivo): un comportamento in cui le rappresentazioni apprese si allineano più strettamente allo stile di rendering che alla struttura della classe temporale. Ciò crea un "illusione di apprendimento" in cui i modelli sfruttano artefatti visivi superficiali piuttosto che proprietà reali del segnale. Le questioni di ricerca fondamentali sono:

1. Diversi encoding visivi producono rappresentazioni coerenti o divergenti della stessa serie temporale?
2. Le caratteristiche apprese da un encoding sono trasferibili ad altri, o sono specifiche dell'encoding?
3. Su quali evidenze visive si basano i modelli TSC basati su CNN e può l'orientamento dell'attenzione mitigare il comportamento sensibile all'encoding?

Metodologia: Il Framework VEIL

Gli autori introducono VEIL (Visual Encoding Illusion in Learning), un framework diagnostico progettato per valutare sistematicamente come gli encoding dei grafici influenzino le rappresentazioni apprese. Lo studio valuta quattro encoding standard (linea, area, barra, dispersione) su 31 dataset del benchmark UCR.

La metodologia impiega una pipeline di analisi multifasica:

• Configurazione Sperimentale: Tutti i modelli utilizzano un backbone CNN identico e un protocolo di addestramento (ottimizzatore Adam, early stopping) sugli split standard UCR per garantire che le differenze di prestazione derivino esclusivamente dalle scelte di encoding e non dall'ottimizzazione.
• Similitudine della Rappresentazione (CKA): Viene utilizzato il Centered Kernel Alignment per misurare l'allineamento tra gli spazi delle caratteristiche appresi da diversi tipi di grafici.
• Trasferibilità Cross-Chart: Il linear probing (regressione logistica) viene eseguito sulle caratteristiche estratte da un tipo di encoding per classificare i dati di un altro tipo. Questo misura il limite inferiore di informazione condivisa rilevante per il compito.
• Analisi dell'Attribuzione (Grad-CAM): La Gradient-weighted Class Activation Mapping viene applicata per visualizzare il focus del modello, distinguendo tra l'affidamento alla struttura del segnale, a caratteristiche specifiche dell'encoding o a elementi irrilevanti (ad es., assi).
• Analisi Geometrica e di Separabilità: PCA e UMAP vengono utilizzati per visualizzare la geometria delle caratteristiche, la dimensionalità intrinseca e i pattern di separazione delle classi attraverso gli encoding.
• Indice di Sensibilità all'Encoding (ESI): Metriche scalari ($ES_{CKA}$ e $ESI_{Probe}$) sono derivate per quantificare il grado di dipendenza dall'encoding a livello di dataset.
• Stress Test di Perturbazione: Perturbazioni controllate (sfocatura Gaussiana, fusione delle barre, dissolvenza alfa) vengono applicate per testare la sensibilità del modello a specifici elementi visivi.
• Guida dell'Attenzione HINT: Per testare la mitigazione, gli autori applicano HINT (Human Importance-aware Network Tuning), mascherando le regioni salienti di Grad-CAM durante l'addestramento per costringere il modello ad attendere ad altre regioni temporali.

Risultati Chiave

1. Divergenza Rappresentativa e Sensibilità all'Encoding

Lo studio rileva che gli effetti dell'encoding sono ** bimodali** e fortemente dipendenti dalla complessità del dataset:

• Dataset Semplici: I dataset a classe binaria (ad es., Wine) mostrano punteggi CKA elevati ($\approx 0.89–0.98$) e un alto trasferimento cross-chart, indicando rappresentazioni invarianti rispetto all'encoding.
• Dataset Complessi: I dataset multiclasse (ad es., FordB, Yoga) mostrano una divergenza sostanziale. I punteggi CKA scendono significativamente ($\approx 0.44–0.69$) e il trasferimento cross-chart è debole. I modelli addestrati su questi dataset sembrano specializzarsi nei pattern visivi del loro specifico encoding di addestramento.
• Correlati della Sensibilità: La sensibilità all'encoding è più fortemente associata al numero di classi che alla lunghezza della sequenza. I dataset multiclasse mostrano una sensibilità elevata anche con sequenze brevi, mentre i dataset binari rimangono spesso robusti nonostante le variazioni di lunghezza.

2. Comportamento del Modello e Perturbazioni

• Bias Induttivo: Nessun encoding singolo domina costantemente in tutti i dataset. Invece, i tipi di grafico agiscono come distinti prior induttivi.
• Impatto delle Perturbazioni: Le perturbazioni mirate causano cali di accuratezza non uniformi. I grafici a barre rimangono comparativamente robusti alle interruzioni fini, suggerendo un affidamento su pattern strutturali grossolani, mentre altri encoding sono più sensibili a specifici indizi visivi.
• Spostamenti di Attribuzione: L'analisi Grad-CAM rivela che i modelli spesso si concentrano su caratteristiche specifiche dell'encoding (ad es., bordi delle barre, densità dei punti dispersi), sebbene ciò non provi definitivamente che questi indizi siano "scorciatoie" piuttosto che riflessi legittimi del segnale.

3. Efficacia della Guida dell'Attenzione HINT

L'applicazione della guida dell'attenzione basata su HINT produce risultati misti, confermando che non è una soluzione universale:

• Casi di Successo: Sui dataset divergenti per l'encoding (basso CKA, alto ESI), HINT ha migliorato significativamente le prestazioni (ad es., ToeSegmentation2 +38.46%, Ham +23.81%).
• Casi di Fallimento: Sui dataset invarianti rispetto all'encoding o dove le rappresentazioni erano già efficaci, HINT ha fornito benefici trascurabili o ha degradato le prestazioni (ad es., Computers -36.00%, SonyAIBORobotSurface1 -14.14%).
• Conclusione: La guida dell'attenzione riduce il comportamento sensibile all'encoding solo quando supportata da evidenze convergenti attraverso molteplici diagnostiche (CKA, transfer, UMAP). Dovrebbe essere trattata come un intervento diagnostico piuttosto che come una strategia di mitigazione affidabile.

Contributi e Significato

Il documento presenta tre contributi primari:

1. Formalizzazione del Visual Encoding Hijacking: Gli autori definiscono e distinguono il "dirottamento" (comportamento dipendente dall'encoding che mina l'allineamento) dall'evidenza legittima specifica dell'encoding che riflette fedelmente le proprietà del segnale.
2. Il Framework Diagnostico VEIL: Un approccio sistematico che combina similitudine della rappresentazione, trasferibilità e attribuzione per valutare gli effetti dell'encoding, andando oltre le semplici metriche di accuratezza.
3. Evidenza Empirica del Bias Induttivo: Uno studio su 31 dataset che dimostra come la scelta dell'encoding sia un bias induttivo critico nella TSC basata su immagini, causando una variazione sostanziale nell'allineamento della rappresentazione e nell'attenzione del modello.

Significato:
Il documento inquadra la TSC basata su grafici non semplicemente come una decisione di modellazione, ma come un problema di rappresentazione e misurazione. Estende il concetto di percezione grafica dai lettori umani ai modelli di visione, mostrando che le scelte di design della visualizzazione modellano fondamentalmente ciò che i modelli apprendono. I risultati suggeriscono che l'alta accuratezza nella TSC non implica necessariamente la comprensione semantica delle dinamiche temporali; i modelli potrebbero sfruttare gli artefatti di rendering. Di conseguenza, gli autori raccomandano protocolli di valutazione consapevoli dell'encoding per garantire che il ragionamento del modello sia allineato con le strutture interpretabili dall'uomo.