Resumo Técnico: Representações Psicovisuais Profundas de Imagens

Declaração do Problema

Os modelos de visão baseados em aprendizado profundo atuais, particularmente as Redes Neurais Convolucionais (CNNs), dependem de pilhas profundas e homogêneas de camadas espaciais para extrair e agregar características. Esse processo é amplamente implícito, resultando em mecanismos de tomada de decisão opacos, onde as representações intermediárias são frequentemente ad hoc e carecem de estrutura explícita. Em contraste, modelos psicovisuais da visão humana sugerem que o cérebro desacopla a extração de características de baixo nível da cognição superior, formando abstrações intermediárias explícitas (por exemplo, objetos, relações, categorias). Embora os esquemas de codificação psicovisual da década de 1990 tenham utilizado com sucesso seleções de frequência perceptualmente salientes para compressão de imagens, esses princípios não foram efetivamente adaptados para o aprendizado de representação de alto nível em frameworks modernos de aprendizado profundo. As abordagens existentes no domínio da frequência no aprendizado profundo focaram principalmente na eficiência computacional (aceleração de convoluções) ou no aprendizado de características de baixo nível, deixando o domínio da frequência subutilizado como um espaço de representação explícito para abstração semântica.

Metodologia

Os autores propõem a Codificação Visual Profunda (DVC), uma adaptação orientada por dados de esquemas de codificação psicovisual, integrada a um novo framework chamado PsychoNet. A metodologia é projetada para mimetizar o processo psicovisual de formação de abstrações intermediárias por meio de processamento no domínio da frequência.

Componentes Principais

1. Blocos Fasores:

   • Função: Esses blocos convertem características espaciais de valor real em representações complexas ricas.
   • Mecanismo: Eles geram componentes imaginários complementares a partir de características reais existentes, utilizando blocos de convolução profunda leves. Esse design rompe a simetria conjugada inerente à Transformada de Fourier de sinais de valor real, permitindo que o modelo aprenda sub-bandas mais específicas e não redundantes.
   • Papel: Eles se especializam na localização de partes morfológicas características de objetos (por exemplo, orelhas de cachorro, rodas de carro), fornecendo as características de nível de parte necessárias para a subsequente abstração.

2. Codificação Visual Profunda (DVC):

   • Função: Um módulo de filtragem de frequência aprendível que executa o passo de abstração.
   • Mecanismo:
     • Ramos Espectrais: O espectro de frequência de entrada é decomposto em sub-bandas retangulares disjuntas (sub-bandas coronais) usando blocos DropCrop, que definem os limites inferior e superior de frequência.
     • Blocos Hadamard: Dentro de cada sub-banda, filtros aprendíveis são aplicados por meio de multiplicação elemento a elemento (produto de Hadamard). Um softmax por canal amplifica as seleções de frequência importantes e suprime as não importantes, emulando o passo de quantização da codificação psicovisual tradicional.
     • Normalização: Uma camada de convolução 1×1 realiza normalização e mistura de canais.
   • Papel: A DVC codifica as características espaciais extraídas pelos Blocos Fasores em representações esparsas e estruturadas no domínio da frequência que correspondem a partes significativas de objetos, subsumindo efetivamente o papel das camadas espaciais profundas.

Framework PsychoNet

O pipeline completo opera como um sistema de duplo domínio:

1. Extração Inicial: Blocos Residuais no estilo ResNet padrão extraem características espaciais de baixo nível.
2. Conversão Complexa: Os Blocos Fasores convertem essas características em representações de valor complexo.
3. Transformação de Frequência: Uma Transformada Rápida de Fourier 2D (FFT) converte as características para o domínio da frequência, seguida por uma operação de expansão/compressão para equilibrar o espectro.
4. Abstração: A DVC é aplicada às características no domínio da frequência. As saídas de cada banda de frequência são agregadas, agrupadas espacialmente e passadas por uma camada linear de valor complexo para classificação.

Contribuições Principais

• Codificação Visual Profunda (DVC): A primeira adaptação orientada por dados de codificação psicovisual projetada para introduzir abstrações semelhantes à visão humana no aprendizado profundo. Ela emprega filtros de frequência limitados por banda e aprendíveis que emergem como seleções esparsas de sub-bandas de frequência coronais na Transformada Discreta de Fourier (DFT).
• Blocos Fasores: Um módulo inovador capaz de aprender características de valor complexo a partir de sinais de valor real, gerando informações de fase, facilitando o processamento eficaz no domínio de Fourier.
• Framework Psicovisual: A montagem da DVC e dos Blocos Fasores em um framework coeso (PsychoNet) que permite processamento interpretável, semelhante ao psicovisual, mantendo ou melhorando o desempenho em benchmarks de classificação.
• Independência de Profundidade: A demonstração de que representações de valor complexo e abstrações aprendidas podem subsumir o papel de camadas espaciais profundas, tornando os modelos menos dependentes da profundidade para escalonamento em comparação com CNNs tradicionais.

Resultados Experimentais

Os autores avaliaram o PsychoNet em tarefas de classificação de imagens naturais no CIFAR-10, CIFAR-100, ImageNet-100 e ImageNet-1K.

• Desempenho: Os modelos PsychoNet igualaram ou superaram o desempenho de baselines ResNet comparáveis (por exemplo, Psycho-B vs. ResNet101) e arquiteturas modernas como ConvNeXt-S (via PsychoDW).
• Eficiência de Escalonamento: Diferentemente dos ResNets, que exigem aumento de profundidade para escalar a capacidade, o PsychoNet alcança desempenho comparável ou superior com significativamente menos camadas. Por exemplo, o Psycho-Eff-B e o Psycho-Eff-L usam 38% e 45,5% menos camadas que o ResNet-101 e o ResNet-152, respectivamente, enquanto igualam suas contagens de parâmetros e FLOPs.
• Interpretabilidade (Análise de Salência):
  • Blocos Fasores: Visualizações usando KPCA-CAM mostram que os Blocos Fasores se especializam na localização de partes morfológicas específicas de objetos (por exemplo, presas, rodas) em vez de produzir ativações difusas.
  • Filtros DVC: Com dados de treinamento suficientes (ImageNet-1K), a DVC aprende padrões de frequência estruturados e esparsos que se assemelham estreitamente a códigos psicovisuais criados manualmente.
  • Interação: A análise HiResCAM revela que a DVC distribui partes de objetos por escala em diferentes sub-bandas de frequência (frequências baixas para sujeitos amplos, médio-altas para partes específicas), espelhando o papel das abstrações na visão humana.

Significado e Alegações

O artigo afirma fornecer a primeira exploração orientada por dados do domínio da frequência para aprendizado de representação de alto nível em visão. Os autores postulam que a codificação psicovisual serve como um proxy funcional para introduzir abstração em modelos de visão sem modelar diretamente mecanismos neurais.

O significado principal reside na demonstração de que a codificação psicovisual é uma base principiante e viável para aprendizado de representação interpretável. Ao impor uma separação estrutural onde os Blocos Fasores isolam partes semânticas de objetos e a DVC as organiza em representações interpretáveis no domínio da frequência, o framework oferece um caminho para modelos de visão cujo raciocínio interno é transparente por design. Os autores observam que, embora o framework seja um conceito de prova e não uma arquitetura definitiva de última geração, ele conecta com sucesso a lacuna entre a extração de características de baixo nível e o raciocínio semântico de alto nível de uma maneira distinta das pilhas espaciais profundas padrão.

Limitações e Trabalho Futuro:
Os autores reconhecem que, embora a DVC organize partes de objetos, o significado semântico mais profundo dessas abstrações em relação a conceitos de raciocínio mais amplos requer investigação adicional. O trabalho futuro visa estender o PsychoNet para tarefas de previsão densa e avaliar o impacto do aliasing nas representações no domínio da frequência.