Resumo Técnico: DAMEL – Aprendizado Multi-Especialista de Duplo Eixo para Aprendizado com Desequilíbrio de Classes

1. Declaração do Problema

Redes neurais profundas (DNNs) frequentemente apresentam dificuldades no aprendizado com desequilíbrio de classes (CIL) encontrado em distribuições de cauda longa do mundo real. Embora técnicas existentes de CIL (por exemplo, reamostragem, reponderação, aprendizado desacoplado) reduzam com sucesso o viés de predição em direção às classes majoritárias, elas frequentemente introduzem uma compensação: um aumento na variância de predição.

Algoritmos recentes de aprendizado multi-especialista tentam mitigar essa variância treinando múltiplos especialistas. No entanto, esses métodos geralmente dependem de procedimentos complexos e multiestágio envolvendo destilação de conhecimento ou estratégias específicas de divisão de dados. Além disso, as abordagens multi-especialistas existentes geralmente agregam as predições de múltiplos especialistas, o que pode não aproveitar plenamente as representações de características diversas aprendidas por cada especialista.

2. Metodologia: DAMEL

Os autores propõem o DAMEL (Aprendizado Multi-Especialista de Duplo Eixo), um algoritmo conceitualmente simples, de estágio único, que reduz tanto o viés quadrático quanto a variância de predição ao aproveitar múltiplos especialistas ao longo de dois eixos distintos: o eixo de representação e o eixo de tempo.

Arquitetura e Treinamento

• Backbone Compartilhado: O DAMEL utiliza $K$ especialistas que compartilham um backbone de CNN profunda (até o último bloco residual) para minimizar custos computacionais. Cada especialista possui um último bloco residual individual e uma camada de classificação.
• Ensemble do Eixo de Representação:
  • Em vez de média de representações ou agregação de predições finais, o DAMEL concatena os vetores de representação ($z_k$) de todos os $K$ especialistas.
  • Um classificador auxiliar balanceado é treinado nessas representações concatenadas usando uma função de perda balanceada por classe (que repondera a perda de entropia cruzada inversamente proporcional à frequência da classe).
  • Crucialmente, os gradientes da perda balanceada por classe são retropropagados apenas para o classificador auxiliar, enquanto o backbone e as cabeças individuais dos especialistas são treinados via perda de entropia cruzada padrão. Isso permite que o classificador auxiliar explore características complementares de todos os especialistas sem forçar o backbone a aprender uma única representação, potencialmente comprometida.
  • Todo o sistema (especialistas + classificador auxiliar) é treinado end-to-end, evitando as tendências de treinamento desacoplado observadas em outros métodos de CIL.

Ensemble do Eixo de Tempo

• Para reduzir ainda mais a variância, o DAMEL agrega pesos da rede ao longo das épocas de treinamento usando uma Média Móvel Exponencial (EMA).
• Atualização por Época: Diferentemente da EMA convencional por iteração ou da Média Ponderada Estocástica de Pesos (SWA), o DAMEL atualiza os pesos da EMA ($\theta_{EMA}$) apenas no final de cada época. Essa estratégia aumenta a diversidade dos pesos agregados, garantindo que atualizações consecutivas sejam menos correlacionadas, capturando estados de modelo mais distintos.
• Inferência: Durante a fase de teste, as predições são feitas exclusivamente usando o classificador auxiliar com os pesos agregados $\theta_{EMA}$. As predições individuais dos especialistas não são utilizadas para a saída final.

3. Contribuições Principais

O artigo destaca cinco contribuições primárias:

1. Ensemble do Eixo de Representação: Um mecanismo inovador que agrega representações de especialistas via concatenação, em vez de média de predições, permitindo que um classificador auxiliar utilize características diversas e complementares de múltiplos especialistas.
2. Preservação da Diversidade: Demonstração de que a concatenação de representações não é meramente um aumento de dimensionalidade, mas um mecanismo para preservar a diversidade de representação específica do especialista e utilizar conjuntamente pistas discriminativas.
3. Ensemble do Eixo de Tempo: A introdução de uma estratégia de agregação de pesos EMA por nível de época, distinta da EMA por nível de iteração e da SWA, que trata pesos agregados temporalmente como um eixo de ensemble adicional para reduzir a variância de predição.
4. Classificador Auxiliar End-to-End: O design de um classificador auxiliar balanceado treinado em representações concatenadas com uma perda balanceada por classe, reduzindo o viés em direção às classes majoritárias enquanto aproveita características diversas em um único estágio de treinamento.
5. Validação Empírica: Extensos experimentos e estudos de ablação demonstrando que a abordagem de duplo eixo reduz conjuntamente o viés quadrático e a variância de predição, superando algoritmos existentes de multi-especialistas e CIL.

4. Resultados Experimentais

O DAMEL foi avaliado em quatro conjuntos de dados de referência: CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT e iNaturalist2018.

• Desempenho: O DAMEL alcançou desempenho de última geração em todos os conjuntos de dados e razões de desequilíbrio ($\gamma = 10, 50, 100$). Por exemplo, no CIFAR-100-LT ($\gamma=100$), o DAMEL com 4 especialistas alcançou 53,1% de precisão geral, superando bases fortes como RIDE (49,1%), ACE (49,6%) e TLC (49,8%).
• Compensação Viés-Variância: A análise quantitativa do viés quadrático e da variância mostrou que o DAMEL reduziu com sucesso ambas as métricas simultaneamente. Enquanto técnicas de reequilíbrio reduziram o viés mas aumentaram a variância, e métodos multi-especialistas reduziram a variância, a abordagem de duplo eixo do DAMEL reduziu ambos.
• Estudos de Ablação:
  • Remover os pesos EMA ou a concatenação de representações degradou significativamente o desempenho.
  • Concatenar representações superou a agregação de predições.
  • EMA por nível de época superou a EMA por nível de iteração e a SWA simples, confirmando a importância da frequência de atualização na construção de um ensemble de eixo de tempo eficaz.
  • Estudos controlados de capacidade provaram que os ganhos de desempenho derivam da diversidade dos especialistas e não simplesmente do aumento da capacidade do modelo ou da dimensionalidade das características.
• Robustez: O método permaneceu eficaz quando combinado com técnicas fortes de aumento de dados (AutoAugment, Cutout) e mostrou estabilidade em várias configurações de hiperparâmetros (número de especialistas, $\beta$ da EMA, escala do classificador).

5. Significado e Alegações

Os autores afirmam que o DAMEL oferece uma solução conceitualmente simples, porém altamente eficaz para a compensação viés-variância no aprendizado com desequilíbrio de classes. Ao evitar destilação multiestágio complexa ou divisão de dados, o DAMEL alcança precisão superior através de um processo de treinamento de estágio único.

O artigo enfatiza que a estratégia de duplo eixo é a inovação central:

• O eixo de representação garante que o classificador tenha acesso a um conjunto rico e diverso de características, reduzindo o viés.
• O eixo de tempo (via EMA por nível de época) estabiliza o modelo e reduz a variância ao média pesos de estados de otimização diversos.

Os autores concluem que, embora sua seleção atual de hiperparâmetros seja heurística, o framework proposto fornece uma abordagem universal e robusta para CIL, mitigando efetivamente as limitações tanto das técnicas tradicionais de reequilíbrio quanto dos algoritmos multi-especialistas existentes.