Resumo Técnico: VEIL – Sequestro de Codificação Visual em Modelos de Visão

Declaração do Problema

O artigo aborda uma lacuna crítica na Classificação de Séries Temporais (TSC) onde sequências numéricas são renderizadas como imagens de gráficos (ex: gráficos de linha, barras, dispersão) para aproveitar poderosas arquiteturas de Redes Neurais Convolucionais (CNN). Embora essa abordagem tenha alcançado um desempenho competitivo, não está claro se os modelos aprendem a dinâmica temporal subjacente dos dados ou se dependem de pistas específicas de codificação visual introduzidas pelo design do gráfico (ex: continuidade de traço, limites de borda, densidade de pontos).

Os autores denominam este fenômeno de Sequestro de Codificação Visual (Visual Encoding Hijacking): um comportamento onde as representações aprendidas alinham-se mais estreitamente com o estilo de renderização do que com a estrutura de classe temporal. Isso cria uma "ilusão de aprendizado", onde os modelos exploram artefatos visuais superficiais em vez de propriedades genuínas do sinal. As principais questões de pesquisa são:

1. Diferentes codificações visuais produzem representações consistentes ou divergentes da mesma série temporal?
2. Os recursos aprendidos de uma codificação são transferíveis para outras, ou são específicos da codificação?
3. Quais evidências visuais os modelos de TSC baseados em CNN utilizam, e o direcionamento de atenção pode mitigar o comportamento sensível à codificação?

Metodologia: O Framework VEIL

Os autores introduzem o VEIL (Visual Encoding Illusion in Learning), um framework diagnóstico projetado para avaliar sistematicamente como as codificações de gráficos influenciam as representações aprendidas. O estudo avalia quatro codificações padrão (linha, área, barra, dispersão) em 31 conjuntos de dados do benchmark UCR.

A metodologia emprega um pipeline de análise multifacetado:

• Configuração Experimental: Todos os modelos utilizam uma espinha dorsal (backbone) de CNN idêntica e um protocolo de treinamento (otimizador Adam, parada antecipada) em divisões padrão do UCR para garantir que as diferenças de desempenho surjam exclusivamente das escolhas de codificação, não da otimização.
• Similaridade de Representação (CKA): O Alinhamento de Kernel Centrado (Centered Kernel Alignment) é usado para medir o alinhamento entre os espaços de características aprendidos de diferentes tipos de gráficos.
• Transferibilidade entre Gráficos: Uma sondagem linear (linear probing - regressão logística) é realizada nas características extraídas de um tipo de codificação para classificar dados de outro. Isso mede o limite inferior de informação compartilhada relevante para a tarefa.
• Análise de Atribuição (Grad-CAM): O Mapeamento de Ativação de Classe Baseado em Gradiente (Gradient-weighted Class Activation Mapping) é aplicado para visualizar o foco do modelo, distinguindo entre a dependência da estrutura do sinal, características específicas da codificação ou elementos irrelevantes (ex: eixos).
• Análise Geométrica e de Separabilidade: PCA e UMAP são usados para visualizar a geometria das características, a dimensionalidade intrínseca e os padrões de separação de classes entre as codificações.
• Índice de Sensibilidade de Codificação (ESI): Métricas escalares ($ES_{CKA}$ e $ESI_{Probe}$) são derivadas para quantificar o grau de dependência da codificação ao nível do conjunto de dados.
• Testes de Estresse por Perturbação: Perturbações controladas (desfoque Gaussiano, fusão de barras, esmaecimento de alfa) são aplicadas para testar a sensibilidade do modelo a elementos visuais específicos.
• Direcionamento de Atenção HINT: Para testar a mitigação, os autores aplicam o HINT (Human Importance-aware Network Tuning), mascarando regiões salientes do Grad-CAM durante o treinamento para forçar o modelo a atender a outras regiões temporais.

Resultados Principais

1. Divergência Representacional e Sensibilidade de Codificação

O estudo descobre que os efeitos de codificação são bimodais e fortemente dependentes da complexidade do conjunto de dados:

• Conjuntos de Dados Simples: Conjuntos de dados de classe binária (ex: Wine) mostram altos scores de CKA ($\approx 0.89–0.98$) e alta transferência entre gráficos, indicando representações invariantes à codificação.
• Conjuntos de Dados Complexos: Conjuntos de dados multiclasse (ex: FordB, Yoga) exibem divergência substancial. Os scores de CKA caem significativamente ($\approx 0.44–0.69$) e a transferência entre gráficos é fraca. Os modelos treinados nesses conjuntos parecem se especializar nos padrões visuais de sua codificação de treinamento específica.
• Correlatos de Sensibilidade: A sensibilidade à codificação está mais fortemente associada à contagem de classes do que ao comprimento da sequência. Conjuntos de dados multiclasse mostram sensibilidade elevada mesmo com sequências curtas, enquanto conjuntos binários frequentemente permanecem robustos apesar de variações de comprimento.

2. Comportamento do Modelo e Perturbações

• Viés Indutivo: Nenhum tipo de codificação domina consistentemente em todos os conjuntos de dados. Em vez disso, os tipos de gráficos atuam como distintos vieses indutivos (inductive priors).
• Impacto da Perturbação: Perturbações direcionadas causam quedas de precisão desiguais. Gráficos de barras permanecem comparativamente robustos a interrupções finas, sugerindo uma dependência de padrões estruturais grosseiros, enquanto outras codificações são mais sensíveis a pistas visuais específicas.
• Mudanças de Atribuição: A análise Grad-CAM revela que os modelos frequentemente focam em características específicas da codificação (ex: bordas de barras, densidade de dispersão) em vez de tendências temporais puras, embora isso não prove definitivamente que essas pistas são "atalhos" em vez de reflexos legítimos do sinal.

3. Eficácia do Direcionamento de Atenção HINT

A aplicação do direcionamento de atenção baseado em HINT produz resultados mistos, confirmando que não é uma solução universal:

• Casos de Sucesso: Em conjuntos de dados divergentes de codificação (baixo CKA, alto ESI), o HINT melhorou significamente o desempenho (ex: ToeSegmentation2 +38.46%, Ham +23.81%).
• Casos de Falha: Em conjuntos de dados invariantes à codificação ou onde as representações já eram eficazes, o HINT proporcionou benefício negligenciável ou degradou o desempenho (ex: Computers -36.00%, SonyAIBORobotSurface1 -14.14%).
• Conclusão: O direcionamento de atenção reduz o comportamento sensível à codificação apenas quando suportado por evidências convergentes através de múltiplos diagnósticos (CKA, transferência, UMAP). Ele deve ser tratado como uma intervenção diagnóstica, não como uma estratégia de mitigação confiável.

Contribuições e Significância

O artigo apresenta três contribuições primárias:

1. Formalização do Sequestro de Codificação Visual: Os autores definem e distinguem o "sequestro" (comportamento dependente da codificação que compromete o alinhamento) de evidências legítimas específicas da codificação que refletem fielmente as propriedades do sinal.
2. O Framework Diagnóstico VEIL: Uma abordagem sistemática combinando similaridade de representação, transferibilidade e atribuição para avaliar efeitos de codificação, indo além de simples métricas de acurácia.
3. Evidência Empírica de Viés Indutivo: Um estudo através de 31 conjuntos de dados demonstrando que a escolha da codificação é um viés indutivo crítico em TSC baseada em imagem, causando variação substancial no alinhamento de representação e na atenção do modelo.

Significância:
O artigo recontextualiza a TSC baseada em gráficos não apenas como uma decisão de modelagem, mas como um problema de representação e medição. Ele estende o conceito de percepção gráfica de leitores humanos para modelos de visão, mostrando que escolhas de design de visualização moldam fundamentalmente o que os modelos aprendem. Os achados sugerem que a alta acurácia em TSC não implica necessariamente compreensão semântica da dinâmica temporal; os modelos podem estar explorando artefatos de renderização. Consequentemente, os autores defendem protocolos de avaliação conscientes da codificação para garantir que o raciocínio do modelo esteja alinhado com estruturas interpretáveis por humanos.