Resumo Técnico: ACIL – Aprendizado de Classe Incremental Ativo para Classificação de Imagens

1. Definição do Problema

O artigo aborda o desafio do Aprendizado de Classe Incremental (CIL) em visão computacional, um cenário onde redes neurais profundas (DNNs) devem aprender novas classes sequencialmente a partir de dados episódicos enquanto retêm o conhecimento de classes aprendidas anteriormente. Um obstáculo primário no CIL é o esquecimento catastrófico, onde a otimização da rede para novas classes apaga o conhecimento das antigas.

As pesquisas existentes em CIL focam principalmente em mitigar o esquecimento, assumindo frequentemente que todos os exemplos de treinamento em cada episódio são totalmente anotados. Os autores argumentam que essa suposição é irrealista e ineficiente por dois motivos:

1. Alto Custo de Anotação: A anotação manual é cara em termos de tempo, mão de obra e especialização.
2. Desperdício de Anotação: Em configurações episódicas, a maior parte dos dados de um episódio atual é inacessível em episódios futuros. Anotar todos os exemplos de um episódio é, portanto, um desperdício de esforço, pois apenas um subconjunto desses exemplos (exemplares) será necessário para prevenir o esquecimento em etapas subsequentes.

O artigo propõe um novo cenário onde, em cada episódio, apenas uma pequena porção dos dados é anotada, enquanto a maioria permanece não rotulada. O objetivo é desenvolver um framework que selecione um conjunto mínimo de exemplos de amostras para serem anotados e propagados para episódios futuros, reduzendo assim os custos de anotação enquanto previne efetivamente o esquecimento catastrófico.

2. Metodologia: O Framework ACIL

Os autores propõem o ACIL (Active Class Incremental Learning), um framework que integra estratégias de Aprendizado Ativo (AL) ao pipeline de CIL. O mecanismo central envolve a seleção de um conjunto de exemplares de tamanho fixo $k$ em cada episódio para ser anotado manualmente e anexado aos dados do próximo episódio.

2.1 Configuração do Problema

• Fluxo de Dados: Os dados de treinamento chegam em $N$ episódios sequenciais. Cada episódio $n$ contém um pequeno conjunto rotulado ($X^L_n$), um grande conjunto não rotulado ($X^U_n$) e um conjunto de exemplares ($E_{n-1}$) do episódio anterior.
• Restrição: O modelo é treinado em $X^L_n$ e $E_{n-1}$. A partir do episódio atual, o sistema deve selecionar um novo conjunto de exemplares $E_n$ de tamanho $k$ para ser anotado.
• Fonte de Seleção: $E_n$ é construído selecionando amostras de $X^U_n$ (dados atuais não rotulados), $E_{n-1}$ (exemplares anteriores) e potencialmente $X^L_n$ (embora os autores notem que $X^U_n$ é priorizado devido ao seu tamanho).

2.2 Estratégia de Divisão de Orçamento

Para equilibrar o aprendizado de novas classes e a retenção do conhecimento antigo, o ACIL divide o orçamento de anotação $k$ entre o conjunto não rotulado atual ($X^U_n$) e o conjunto de exemplares anterior ($E_{n-1}$).

• A divisão é proporcional ao número de classes presentes em cada conjunto ($|C_{episódio}|$ vs. $|C_{exemplar}|$).
• Fórmula:
  $$k_{não\_rotulado} = \left( \frac{|C_{episódio}|}{|C_{episódio}| + |C_{exemplar}|} \right) \cdot k$$
  $$k_{exemplar} = \left( \frac{|C_{exemplar}|}{|C_{episódio}| + |C_{exemplar}|} \right) \cdot k$$
• Isso garante que o conjunto de exemplares $E_n$ mantenha uma representação de todas as classes vistas até o momento, mitigando o esquecimento.

2.3 Estratégia de Amostragem Ativa

A seleção de amostras específicas dentro do orçamento alocado é impulsionada por um critério que combina incerteza e diversidade.

• Incerteza: Medida usando a entropia de Shannon das previsões do modelo.
• Diversidade: Alcançada através do particionamento do conjunto candidato em $B$ clusters (onde $B$ é o orçamento) de modo que a variância dentro de cada cluster seja minimizada.
• Otimização: Os autores formulam um problema de particionamento de conjuntos ponderado para minimizar a variância ponderada dentro das partições, onde o peso é a incerteza da previsão.
  $$\text{argmin}_P \sum_{b=1}^{B} \sum_{x \in X_b} I(x) ||F(x) - c_b||^2$$
  Onde $I(x)$ é a incerteza (entropia) e $F(x)$ é o embedding de características.
• Algoritmo: Um problema NP-difícil aproximado via K-Means Ponderado. A amostra mais próxima do centroide ponderado em cada partição é selecionada para anotação.

2.4 Função de Perda

A DNN é treinada utilizando uma combinação de:

1. Perda de Entropia Cruzada Ponderada ($L_{WCE}$): Aplicada aos dados rotulados ($X^L_n \cup E_{n-1}$) para lidar com o desequilíbrio de classes, com pesos inversamente proporcionais à frequência das classes.
2. Perda de Destilação de Conhecimento ($L_D$): Aplicada ao conjunto de exemplares $E_{n-1}$ para transferir o conhecimento do modelo anterior ($M_{n-1}$) para o modelo atual ($M_n$), prevenindo o esquecimento.
   $$L = L_{WCE} + \lambda L_D$$

3. Principais Contribuições

1. Novo Paradigma de Aprendizado: Introdução de um cenário de CIL onde não se assume a anotação total dos dados episódicos, abordando o alto custo e a ineficiência dos benchmarks atuais de CIL.
2. Framework ACIL: Um algoritmo específico que seleciona exemplares baseando-se em um critério duplo de incerteza e diversidade, utilizando uma estratégia de divisão de orçamento para garantir a cobertura tanto de novas quanto de antigas classes.
3. Eficiência vs. Performance: Demonstração de que o ACIL pode alcançar um desempenho comparável aos métodos de CIL de estado da arte (que assumem anotação total) enquanto reduz drasticamente o número de amostras que exigem anotação humana.

4. Resultados Experimentais

O framework foi avaliado em seis conjuntos de dados de visão: MNIST, SVHN, CIFAR-10, CIFAR-100, COIL e Tiny ImageNet.

• Acurácia: O ACIL superou significativamente os baselines de Aprendizado Ativo (Random, Coreset, BADGE), pois esses métodos falharam em reter o conhecimento de episódios anteriores ao amostrar apenas do conjunto não rotulado atual. O ACIL alcançou acurácia comparável, e em alguns casos ligeiramente superior, aos baselines de CIL de anotação total (iCaRL, GDumb, Rainbow Memory).
• Esforço de Anotação: O ACIL resultou no menor esforço de anotação entre todos os métodos. Por exemplo, no CIFAR-10, o ACIL exigiu aproximadamente 4,13 vezes menos anotações por episódio em comparação com os baselines de CIL, mantendo uma acurácia semelhante.
• Retenção: O ACIL demonstrou uma forte retenção de conhecimento do primeiro episódio, comparável aos métodos de CIL baseados em replay, validando sua capacidade de mitigar o esquecimento catastrófico.
• Robustez: Experimentos variando o tamanho do conjunto de exemplares (orçamento) mostraram que o ACIL mantém tendências de performance consistentes com os baselines de CIL através de diferentes restrições de memória.

5. Significância e Alegações

O artigo afirma que o ACIL oferece uma solução prática para aplicações de aprendizado incremental no mundo real onde:

• A memória é restrita: O tamanho do conjunto de exemplares é fixo, simulando armazenamento limitado.
• A anotação é cara: O framework reduz drasticamente a mão de obra humana necessária para treinar modelos ao longo do tempo.
• Os dados são efêmeros: A capacidade de aprender a partir de um conjunto limitado de dados anotados em cada episódio alinha-se com restrições de privacidade e armazenamento, onde dados passados não podem ser totalmente retidos.

Os autores concluem que, ao selecionar inteligentemente um pequeno subconjunto de amostras informativas para propagar, o ACIL equilibra com sucesso o trade-off entre custo de anotação e performance do modelo, tornando o aprendizado contínuo mais viável para ambientes com recursos limitados. Nota-se que trabalhos futuros podem potencialmente estender este framework para tarefas de regressão.