Sumário Técnico: DCSCR para Classificação de Conjuntos de Imagens com Poucas Amostras (Few-Shot)

1. Definição do Problema

A Classificação de Conjunto de Imagens (ISC - Image Set Classification) envolve comparar conjuntos desordenados e heterogêneos de imagens com quantidades e qualidades variáveis. Embora o ISC tenha atraído atenção significativa, ele enfrenta dois desafios primários: aprender representações de características eficazes e explorar similaridades entre diferentes conjuntos de imagens.

As abordagens existentes sofrem de limitações específicas:

• Métodos tradicionais de ISC (ex.: divergência de densidade de variedade (Manifold Density Divergence), ISCRC, DLRC) frequentemente dependem de características brutas de pixels ou de baixo nível feitas à mão. Embora se destaquem na modelagem em nível de conceito (ex.: usando invariança afim ou cascos convexos e representação colaborativa), eles carecem da capacidade de aprender características de quadro altamente discriminativas, limitando seu desempenho em cenários não restringidos.
• Métodos profundos de ISC (ex.: GhostVLAD, NAN, FaceNet) utilizam Redes Neurais Convolucionais (CNNs) para aprender poderosas características ao nível de quadro. No entanto, muitos desses métodos agregam os conjuntos de imagens em vetores de características fixos (representações de nível de conceito) utilizando agrupamento estático (pooling) ou mecanismos de atenção. Essa agregação fixa falha em ajustar adaptativamente as características de nível de conceito com base no par específico de conjuntos de imagens sendo comparado. Além disso, métodos profundos frequentemente exibem sobreajuste (overfitting) e baixa generalização em cenários de poucas amostras (few-shot).

O problema central abordado é como aprender simultaneamente características ao nível de quadro (locais e globais) e representações de nível de conceito adaptáveis que se ajustem dinamicamente conforme o alvo de comparação, especificamente para melhorar o desempenho em tarefas de ISC few-shot.

2. Metodologia: Rede DCSCR

Os autores propõem a Representação Colaborativa Específica de Classe Profunda (DCSCR - Deep Class-Specific Collaborative Representation), uma rede que integra redes neurais profundas com a teoria de representação colaborativa específica de classe (CSCR). A arquitetura consiste em três módulos principais e uma estratégia de treinamento de dois níveis.

2.1 Arquitetura da Rede

1. Extrator de Características Profundas (DFE - Deep Feature Extractor):

   • Utiliza camadas convolucionais pré-treinadas de redes avançadas (ex.: ResNet50, GoogleNet) para extrair características locais de quadros.
   • Os parâmetros do DFE são congelados após o pré-treino em grandes bases de dados para evitar o sobreajuste no cenário few-shot.
   • Saída: Mapas de características $X$ e $Y$ para os dois conjuntos de imagens de entrada.

2. Módulo de Aprendizado de Características Globais (GFLM - Global Feature Learning Module):

   • Aborda a limitação das camadas convolucionais em capturar dependências de longo alcance.
   • Emprega um bloco não local (mecanismo de autoatenção) para agregar informações de todos os pixels de uma imagem, capturando características globais de quadro.
   • Aplica Agrupamento Médio Global (GAP - Global Average Pooling) para gerar as representações finais de características globais para cada imagem nos conjuntos.

3. Módulo de Aprendizado de Métrica Baseado em Representação Colaborativa Específica de Classe (CSCRMLM):

   • Esta é a inovação principal para a modelagem de nível de conceito. Em vez de agregar características em um vetor fixo, ele aprende adaptativamente a representação de nível de conceito de um conjunto de imagens com base no conjunto contra o qual está sendo comparado.
   • Camada de Modelagem Virtual: Modela a distância entre dois conjuntos ($X$ e $Y$) encontrando uma imagem virtual $v$ na interseção de seus subespaços de abrangência. As características de nível de conceito são representadas como combinações lineares $X\alpha$ e $Y\beta$, onde $\alpha$ e $\beta$ são pesos adaptativos.
   • Perda de Contraste baseada em CSCR: Uma função de perda personalizada é projetada para otimizar conjuntamente os parâmetros da rede e os pesos de representação colaborativa ($\alpha, \beta$).
     • Minimiza a distância entre conjuntos da mesma classe ($y_{ij}=1$) e maximiza a distância entre conjuntos de classes diferentes ($y_{ij}=0$).
     • Inclui termos de regularização $L_2$ para incentivar o uso de imagens de alta qualidade e suprimir as de baixa qualidade, além de reconstruir subespaços com menos amostras.
     • Restrições garantem que os pesos somem 1.

2.2 Treinamento e Otimização de Dois Níveis (Bi-Level)

Para treinar a rede, os autores propõem um esquema de otimização alternada de duas etapas:

• Treinamento de Nível-1: Pré-treina o DFE e o GFLM usando perda de entropia cruzada padrão nas características globais.
• Treinamento de Nível-2: Alterna entre a otimização dos pesos de representação colaborativa e os parâmetros da rede:
  1. Fixar Parâmetros da Rede ($\theta$): Resolve os pesos ótimos $\alpha$ e $\beta$ usando o Método de Direção Alternante de Multiplicadores (ADMM). Este passo é livre de parâmetros em relação aos pesos da rede neural.
  2. Fixar Pesos ($\alpha, \beta$): Calcula a perda de contraste e atualiza os parâmetros da rede $\theta$ usando Gradiente Descendente Estocástico (SGD).

3. Principais Contribuições

1. Novo Framework DCSCR: Uma abordagem híbrida que combina as vantagens de modelagem de nível de conceito dos métodos tradicionais de representação colaborativa com o poder de aprendizado de características de nível de quadro das redes profundas.
2. Aprendizado de Características Globais: Introdução de um módulo que utiliza autoatenção para aprender adaptativamente características globais de quadro, superando as limitações de campo receptivo local das CNNs padrão.
   3. Aprendizado de Métrica Adaptativo: Um módulo de aprendizagem métrica baseado em CSCR que ajusta automaticamente as características de nível de conceito durante o cálculo de distância, diferentemente dos métodos de agregação fixa. Este módulo não introduz parâmetros treináveis adicionais para os pesos, baseando-se, em vez disso, na otimização via ADMM.
3. Estratégia de Treinamento de Dois Níveis: Um processo de treinamento unificado que otimiza conjuntamente a extração de características profundas e o aprendizado de representação colaborativa.

4. Resultados Experimentais

O método foi avaliado em três conjuntos de dados: Honda/UCSD e CMU MoBo (isc few-shot) e YouTube Faces (YTF) (verificação de larga escala).

• Conjunto de Dados Honda/UCSD:

  • O DCSCR alcançou 97,95% de acurácia (50 quadros), 100,0% (100 quadros) e 100,0% (200 quadros).
  • Superou métodos profundos de estado da arte (NAN, FaceNet) e métodos tradicionais (JMLC, ISCRC).
  • Estudos de ablação mostraram que remover o módulo CSCRMLM causou uma queda significativa no desempenho (aproximadamente 20% inferior ao modelo completo), destacando sua importância.

• Conjunto de Dados CMU MoBo:

  • O DCSCR alcançou 98,41% (50 quadros), 98,57% (100 quadros) e 98,73% (200 quadros).
  • Consistentemente superou as linhas de base, incluindo nonlocal + GAP e nonlocal + DFA.
  • Diferente de métodos como DLRC e PLRC, que apresentaram sensibilidade ao tamanho do conjunto de imagens, o desempenho do DCSCR melhorou ou manteve-se estável conforme o número de quadros aumentava.

• Conjunto de Dados YouTube Faces (YTF):

  • O DCSCR alcançou uma acurácia de verificação de 94,42%, superando a linha de base nonlocal + GAP (94,24%) e métodos de aprendizado de dicionário não paramétricos (nonlocal + DFA).
  • Análise de curva ROC confirmou o desempenho superior sobre as linhas de base.

• Complexidade Computacional:

  • O modelo possui um tamanho total de parâmetros de aproximadamente 25,64M (principalmente provenientes do DFE offline).
  • O módulo CSCRMLM não possui parâmetros, adicionando um custo computacional desprezível (aprox. 1% dos FLOPs totais).
  • O principal custo computacional reside no GFLM e na extração de características offline.

5. Significância e Alegações

O artigo afirma que o DCSCR aborda efetivamente as limitações tanto dos métodos tradicionais quanto dos métodos profundos de ISC ao:

• Preencher a Lacuna: Integrar com sucesso a modelagem adaptativa dos métodos tradicionais com o poder de representação do aprendizado profundo.
• Generalização Few-Shot: Demonstrar generalização superior em cenários few-shot, onde outros métodos profundos tendem ao sobreajuste.
• Modelagem de Nível de Conceito Adaptável: Provar que as características de nível de conceito não devem ser fixas, mas sim ajustadas dinamicamente com base no par de comparação específico, levando a métricas de distância mais precisas.
• Robustez: Mostrar resiliência a variações no tamanho e qualidade do conjunto de imagens, particularmente em ambientes não restritos.

Os autores reconhecem limitações, observando que o desempenho depende da seleção da rede dorsal (backbone) e que o modelo ainda incorre em alto custo computacional relativo ao número de imagens de entrada. Eles sugerem trabalhos futuros envolvendo Vision Transformers e design de modelos leves.