Shallow Deep Learning Can Still Excel in Fine-Grained Few-Shot Learning

Resumo Técnico: Aprendizado Profundo Raso Ainda Pode Exceler em Aprendizado de Poucas Amostras de Alta Granularidade

Declaração do Problema
O Aprendizado de Poucas Amostras de Alta Granularidade (FGFSL) apresenta um desafio significativo devido à escassez de dados e à alta similaridade entre classes, exigindo que os modelos extraiam características sutis e discriminativas. Embora o aprendizado profundo tenha se tornado o padrão para este domínio, dependendo fortemente de backbones profundos como ResNet-12, essas arquiteturas são frequentemente preferidas porque podem extrair características abstratas. Por outro lado, backbones profundos rasos, como o ConvNet-4, são frequentemente negligenciados. A suposição predominante é que redes rasas são propensas a extrair atributos visuais não abstratos excessivos e carecem da capacidade de codificar instâncias de poucas amostras de forma eficaz. Além disso, métodos existentes que tentam combinar backbones rasos com mecanismos avançados (por exemplo, ConstellationNet) frequentemente falham em abordar adequadamente a perda de informação posicional durante a extração de características e o agrupamento, levando a desempenho subótimo em tarefas de alta granularidade.

Metodologia
Os autores propõem LCN-4 (Location-aware Constellation Network), um paradigma de meta-aprendizado profundo raso construído sobre a arquitetura ConvNet-4. A inovação central reside no Módulo de Agrupamento de Características Consciente de Localização (LAFCM), projetado para compensar as limitações das redes rasas na captura de informações espaciais e estruturais.

A metodologia integra três componentes técnicos-chave:

1. Compensação de Características Não Sequenciais (NFC): Para abordar a limitação das convoluções padrão na captura de características de posição de pixels, os autores introduzem uma compensação geral de codificação de posição de grade. Isso envolve a geração de valores de intervalo de eixo ($x_{pe}, y_{pe}$) e sua concatenação com os mapas de características para criar um sistema de coordenadas de grade inicial. Isso permite que a rede integre com precisão informações estruturais globais e de posição de pixels, que são frequentemente perdidas na extração de características convolucionais padrão.
2. Compensação de Distância de Frequência (FDC): Para aprimorar a codificação de posição na fase de agrupamento, os autores propõem uma técnica geral de incorporação de localização no domínio da frequência. Ao utilizar funções de base de Fourier de várias frequências, o método captura informações em diferentes escalas e resoluções. Essa abordagem destaca várias frequências espaciais dentro das instâncias, auxiliando no refinamento das representações regionais e na resolução de textura.
3. Agrupamento de Características Consciente de Localização: O LAFCM substitui o agrupamento padrão no ConstellationNet. Ele integra fusão de características espaciais, agrupamento de características e localização de características recessivas. O módulo processa características através de um pipeline específico envolvendo convolução, o LAFCM (que inclui os mecanismos NFC e FDC) e um bloco de incorporação posicional de atenção cruzada.

A estratégia de treinamento emprega uma abordagem de dois ramos:

• Ramo 1: Treinado usando treinamento não baseado em cenários (padrão) no conjunto de dados base.
• Ramo 2: Treinado usando meta-treinamento baseado em cenários (episódico).
  A previsão final é derivada avaliando de forma abrangente a similaridade de características ($Z$) em quatro ramos (logit-1, logit-2, feat-1, feat-2) usando uma soma ponderada, com a métrica de Cosseno servindo como medida de similaridade padrão.

Principais Contribuições
O artigo delineia cinco contribuições primárias:

1. Introdução do LCN-4: O primeiro paradigma de meta-aprendizado profundo raso capaz de superar a maioria dos algoritmos de Meta-Aprendizado Profundo de Estado da Arte (SoTA).
2. LAFCM Plug-and-Play: Um módulo inovador que aborda significativamente as deficiências do módulo de constelação em trabalhos anteriores como o ConstellationNet.
3. Compensação de Codificação de Posição de Grade: Um método geral para abordar efetivamente a informação posicional ausente nos mapas de características extraídos por convoluções ordinárias.
4. Incorporação de Localização no Domínio da Frequência: Uma técnica geral para compensação de localização em características de agrupamento, fornecendo entrada eficaz para mecanismos de atenção.
5. Validação do Aprendizado Raso: Uma demonstração de que o aprendizado profundo raso pode excelir no FGFSL quando uma compensação de localização adequada é incorporada, oferecendo uma solução significativa para o reconhecimento de imagens de poucas amostras de alta granularidade.

Resultados Experimentais
Os autores validaram o LCN-4 em três benchmarks representativos de poucas amostras de alta granularidade: CUB-200-2011, Aircraft-Fewshot e VGG-Flowers.

• Desempenho vs. Baselines ConvNet-4: O LCN-4 supera notavelmente os métodos existentes baseados em ConvNet-4. No CUB-200-2011 (5-way-1-shot), alcança 84,43% de precisão, superando o melhor método ConvNet-4 anterior (LCCRN) em 8,21% e o ConstellationNet em 2,74%.
• Desempenho vs. Backbones Profundos: O LCN-4 alcança desempenho comparável ou superior à maioria dos métodos baseados em ResNet-12. Por exemplo, no conjunto de dados Aircraft-Fewshot (5-way-1-shot), o LCN-4 atinge 86,00%, superando várias arquiteturas baseadas em ResNet-12 como VFD, RENet e DeepBDC.
• Estudos de Ablação: Experimentos confirmam que tanto o NFC quanto o FDC são componentes críticos, com seu uso combinado produzindo os resultados mais estáveis e ótimos. Uma análise adicional da estrutura da rede indica que os blocos de Constelação exercem uma influência mais substancial do que os blocos Stem, e o primeiro bloco de Constelação é mais impactante do que o segundo.
• Generalização: O modelo demonstra generalização robusta em diferentes configurações de amostras (1, 3, 5, 7 shots) e configurações de classes (5-way, 6-way), superando consistentemente o baseline ConstellationNet.
• Visualização: Visualizações t-SNE no conjunto de dados Aircraft-Fewshot mostram que o LCN-4 exibe capacidades de agregação e reconhecimento mais fortes em comparação com o ConstellationNet, com taxas de classificação errônea mais baixas.

Significado e Alegações
O artigo afirma desafiar o conhecimento convencional de que backbones profundos são estritamente necessários para FGFSL de alto desempenho. Ao reavaliar a relação entre a profundidade da rede e a capacidade de codificar instâncias de poucas amostras, os autores demonstram que a inferioridade percebida das redes rasas deve-se em grande parte à perda de informação posicional e espacial. Através da integração inovadora de mecanismos conscientes de localização (NFC e FDC), o LCN-4 prova que o aprendizado profundo raso pode alcançar desempenho notável, competindo efetivamente e frequentemente superando arquiteturas mais profundas. O trabalho sugere que, com as compensações arquitetônicas corretas, a eficiência e a simplicidade das redes rasas podem ser totalmente aproveitadas para tarefas complexas de alta granularidade.