Resumo Técnico: Atalhos de Baixa Frequência em Aprendizado Visual Baseado em Textura

Declaração do Problema

Redes neurais são propensas ao aprendizado de atalhos (shortcut learning), onde os modelos aprendem características que funcionam bem nos dados de treinamento, mas falham em generalizar para conjuntos de teste de distribuição interna (ID) ou fora da distribuição (OOD). Enquanto a pesquisa existente sobre aprendizado de atalhos e viés espectral tem se concentrado amplamente em benchmarks padronizados orientados por forma (ex: CIFAR-10, ImageNet), onde a classificação depende de formas globais de objetos, muitos domínios de aplicação do mundo real são orientados por textura. Nesses domínios (ex: histopatologia, classificação de têxteis, reconhecimento de terreno), a "forma" é mal definida ou irrelevante, e a classificação depende de padrões espaciais repetitivos e de grão fino.

O artigo investiga se o aprendizado de atalhos se manifesta de forma diferente em domínios orientados por textura em comparação com benchmarks padrão. Especificamente, ele questiona: Os modelos orientados por textura dependem de componentes de frequência específicos que atuam como atalhos, e como essa dependência afeta a robustez a corrupções OOD?

Metodologia

Os autores utilizam uma estrutura de diagnóstico baseada em frequência usando a Transformada Discreta de Cosseno (DCT) para analisar a dinâmica de aprendizado.

1. Pipeline de Poda de Frequência:

   • As imagens são transformadas para o domínio da frequência.
   • Os componentes de frequência são agrupados em diagonais (do canto superior esquerdo ao inferior direito), onde as taxas de oscilação e a complexidade espacial aumentam.
   • Os autores aplicam estratégias de poda (pruning) ao zerar conjuntos específicos de diagonais: Componentes de Baixa Frequência (LFCs), Componentes de Frequência Média (MFCs) e Componentes de Alta Frequência (HFCs).
   • Tanto os conjuntos de treinamento quanto os de teste são podados de acordo com a estratégia, e os modelos são treinados do zero para avaliar o impacto no desempenho ID e OOD.

2. Análise de Comportamento Espectral:

   • Contribuições de Acurácia: Os autores medem a "contribuição de acurácia" de componentes de frequência individuais ao podar um por um do conjunto de teste e atribuir a queda de acurácia resultante a esse componente.
   • Definição de Atalho de Baixa Frequência: Um fenômeno onde as contribuições de acurácia do modelo estão concentradas em um pequeno número de LFCs, apesar de a informação de classificação residir em detalhes de alta frequência e grão fino.

3. Configuração Experimental:

   • Datasets: Seis datasets foram utilizados: SP-Colorectal (histopatologia), TextileNet (têxteis), GTOS (terreno), GalaxyMNIST, EuroSAT (uso de solo) e CIFAR-10 (benchmark padrão).
   • Modelos: ResNet-50, MobileNet-V3, ViT-Small, ViT-Tiny e modelos de fundação (DinoV2, CLIP).
   • Corrupções OOD: Foram utilizadas as corrupções do ImageNet-C, categorizadas em baixa frequência (névoa/fog), alta frequência (desfoque gaussiano) e mista (transformação elástica).

Principais Descobertas e Resultados

1. Existência de Atalhos de Baixa Frequência em Domínios Orientados por Textura

• Comportamento Espectral Assimétrico: Em domínios orientados por textura (SP-Colorectal, TextileNet, GTOS), modelos treinados em dados não podados exibem um comportamento espectral altamente assimétrico. Eles tomam a maioria de suas decisões baseadas em poucos Componentes de Baixa Frequência (LFCs).
• Contraste com Dados Orientados por Forma: Ao contrário do CIFAR-10, onde as contribuições de acurácia são mais equilibradas no espectro (dependendo de estruturas suaves que definem a forma), tarefas orientadas por textura dependem de LFCs (ex: sombreamento de fundo, efeitos de câmera), embora a informação discriminativa resida em padrões de alta frequência e grão fino.
• Persistência: Este comportamento de atalho é persistente através de diferentes arquiteturas de modelos (CNNs e Transformers), tamanhos, hiperparâmetros e otimizadores. Também afeta modelos de fundação de visão pré-treinados (DinoV2) e modelos de linguagem (CLIP), embora a severidade varie.

2. Impacto da Poda de LFCs no Desempenho ID

• Eliminação de Atalhos: A poda de LFCs de ambos os conjuntos de treinamento e teste força o modelo a depender de características de maior frequência.
• Melhoria de Acurácia: Esta intervenção elimina o atalho e proporciona um comportamento espectral mais equilibrado, resultando em uma melhora de até 8% na acurácia ID para tarefas orientadas por textura.
• Trade-off: Para tarefas orientadas por forma como o CIFAR-10, a poda de LFCs reduz a acurácia ID porque o modelo perde o acesso às estruturas suaves de baixa frequência que definem as formas dos objetos.

3. Impacto na Robustez OOD

• Vulnerabilidade a Corrupções de Baixa Frequência: Modelos que exibem atalhos de baixa frequência são altamente vulneráveis a corrupções OOD que modificam baixas frequências (ex: névoa). Isso leva a quedas de acurácia de até 70% em relação ao desempenho ID.
• Robustez Melhorada via Poda: A poda de LFCs melhora significamente a robustez a corrupções de baixa frequência (ex: névoa), gerando até 40% de acurácia OOD superior. Ao remover a dependência dos LFCs corrompidos, o modelo torna-se mais robusto.
• Trade-off com Corrupções de Alta Frequência: A melhoria na robustez vem com um compromisso. À medida que os modelos são forçados a depender mais de características de alta frequência (devido à poda de LFC), eles se tornam mais vulneráveis a corrupções de alta frequência (ex: desfoque gaussiano). A acurácia OOD final depende da interação entre a melhoria na generalização via comportamento espectral equilibrado e o aumento da sensibilidade ao ruído de alta frequência.

4. Diferenças de Arquitetura de Modelo

• ViTs vs. CNNs: Vision Transformers (ViTs) exibem um viés mais forte para características de baixa frequência do que as CNNs. Em domínios com ruído de baixa frequência severo (ex: TextileNet com seus fundos brancos e formas corporais), os ViTs sofrem mais severamente com os atalhos de baixa frequência. Consequentemente, a poda de LFCs às vezes diminui a acurácia ID para ViTs nessas tarefas específicas, enquanto melhora consistentemente o desempenho para CNNs.

Significância e Alegações

O artigo afirma identificar e caracterizar um tipo específico de aprendizado de atalho — atalhos de baixa frequência — que é prevalente em domínios orientados por textura, mas distinto dos atalhos baseados em forma observados em benchmarks padrão.

• Novidade: O trabalho estende a análise de frequência além dos datasets centrados em objetos padrão para domínios de aplicação críticos onde a textura é a principal pista semântica.
• Mecanismo: Demonstra que o viés de simplicidade faz com que os modelos se prendam a algumas características simples de baixa frequência (fundos, iluminação) em vez das texturas complexas de alta frequência necessárias para a tarefa.
• Solução: Os autores propõem a poda de frequência (especificamente de LFCs) como uma técnica de regularização simples e eficaz. Este método não apenas mitiga o aprendizado de atalhos, mas também melhora tanto a acurácia ID quanto a robustez a corrupções OOD específicas em domínios orientados por textura.
• Implicações: As descobertas sugerem que os benchmarks padrão atuais podem não capturar totalmente a dinâmica de aprendizado de aplicações reais orientadas por textura e que a análise espectral é uma ferramenta crucial para diagnosticar e melhorar a generalização nesses domínios.

O artigo conclui que, embora a poda de LFCs ofereça um caminho para melhor generalização e robustez, a estratégia ideal depende da interação específica entre as características espectrais do domínio, a arquitetura do modelo e a natureza das corrupções OOD.