OUIDecay: Adaptive Layer-wise Weight Decay for CNNs Using Online Activation Patterns

Resumo Técnico: OUIDecay

Declaração do Problema
O decaimento de peso é um mecanismo de regularização padrão para o treinamento de redes neurais convolucionais (CNNs), mas é tipicamente aplicado como um coeficiente fixo compartilhado uniformemente em todas as camadas ao longo do processo de treinamento. Esse tratamento uniforme ignora o fato de que diferentes camadas em CNNs modernas evoluem com dinâmicas estruturais distintas e podem exigir forças de regularização variadas. Um único valor global de decaimento pode ser desnecessariamente restritivo para algumas camadas, enquanto é muito fraco para outras. Embora existam estratégias adaptativas, como o AdaDecay, elas dependem principalmente de informações baseadas em gradientes. Os autores argumentam que a adaptação da regularização poderia se beneficiar de sinais que refletem o comportamento funcional interno da rede (padrões de ativação) em vez de apenas a geometria de otimização.

Metodologia: OUIDecay
O artigo propõe o OUIDecay, um agendador de decaimento de peso adaptativo, por camada e dependente do tempo, impulsionado pelo Indicador de Sobreajuste-Subajuste (OUI). O OUI é uma métrica sem rótulos derivada de padrões de ativação que quantifica a variabilidade estrutural de uma camada da rede.

• A Métrica OUI: O método utiliza uma formulação baseada em lotes do OUI (introduzida em trabalhos anteriores [4]) para garantir estabilidade e eficiência computacional. Para uma camada $i$ dada e um lote de sondagem $B_t$, o método calcula uma máscara de ativação binária para cada unidade. Em seguida, calcula uma "contagem de minoria" para cada unidade (o número de amostras em que a unidade está ativa se for majoritariamente inativa, ou vice-versa). O OUI em nível de camada é a média dessas contagens de minoria normalizadas. Um OUI alto indica que as unidades na camada estão dividindo o lote de forma equilibrada, enquanto um OUI baixo sugere viés estrutural (unidades estão quase sempre ativas ou inativas).
• Agendador Adaptativo: O OUIDecay não busca um valor "ideal" universal de OUI. Em vez disso, utiliza a distribuição relativa dos valores de OUI entre as camadas para redistribuir o decaimento de peso.
  • Em intervalos periódicos ($\tilde{t}$), o agendador calcula $OUI_i(t)$ para todas as camadas monitoradas.
  • Identifica os valores mínimo ($OUI_{min}$) e máximo ($OUI_{max}$) entre as camadas.
  • Os coeficientes de decaimento por camada $\lambda_i(t)$ são atribuídos via redimensionamento linear dentro de um intervalo definido $[s_1, s_2]$ em relação a um decaimento de peso base $\lambda_{base}$. Camadas com valores de OUI mais próximos de $OUI_{min}$ recebem coeficientes próximos a $s_1\lambda_{base}$, enquanto aquelas mais próximas de $OUI_{max}$ recebem coeficientes próximos a $s_2\lambda_{base}$.
• Filosofia de Design: A abordagem é projetada para ser leve e adequada ao treinamento online. Atualiza os coeficientes periodicamente (por exemplo, a cada 500 iterações) em vez de a cada passo, para evitar sensibilidade a flutuações de curto prazo nos lotes. Crucialmente, depende exclusivamente de padrões de ativação, não exigindo dados de validação ou informações de gradiente para a decisão de agendamento.

Principais Contribuições

1. Proposta do OUIDecay: Os autores introduzem um agendador de decaimento de peso por camada para CNNs impulsionado pela formulação baseada em lotes do OUI.
2. Validação Empírica: O artigo fornece evidências empíricas de que, em várias configurações de CNN, o OUIDecay geralmente melhora os resultados de treinamento em comparação tanto com o decaimento de peso fixo quanto com o método adaptativo baseado em gradientes, AdaDecay.

Resultados Experimentais
O método foi avaliado em quatro pares modelo-conjunto de dados: EfficientNet-B0 (Stanford Cars), ResNet50 (Food101), DenseNet121 (CIFAR100) e MobileNetV2 (CIFAR10). A métrica principal foi a melhor perda de validação.

• Desempenho: O OUIDecay alcançou a melhor média de melhor perda de validação em 7 de 8 configurações avaliadas (variando os valores de decaimento de peso base).
• Comparação com Baselines:
  • vs. Decaimento Fixo: O OUIDecay superou consistentemente o decaimento de peso fixo, particularmente nos experimentos com EfficientNet-B0 e MobileNetV2.
  • vs. AdaDecay: O OUIDecay superou o AdaDecay baseado em gradientes na maioria das configurações. Notavelmente, nos experimentos com ResNet50 e decaimento de peso mais alto, o AdaDecay mostrou alta variância e desempenho pior, enquanto o OUIDecay permaneceu estável e eficaz.
  • Exceções: Na configuração DenseNet121/CIFAR100 com um decaimento de peso base mais baixo, o AdaDecay produziu resultados ligeiramente melhores que o OUIDecay, embora o OUIDecay tenha recuperado a liderança com um decaimento de peso base mais alto.
• Eficiência: A sobrecarga computacional de calcular o sinal OUI e atualizar os pesos foi negligenciável, representando menos de 0,2% do tempo total de iteração de treinamento. Estudos de ablação confirmaram que o método é robusto à escolha do intervalo de atualização e do intervalo de escala, com desempenho ótimo observado em frequências de atualização intermediárias.

Significado e Alegações
O artigo afirma que o OUIDecay demonstra que a adaptação do decaimento de peso impulsionada por ativação é uma alternativa prática e eficaz tanto ao decaimento fixo quanto aos métodos adaptativos baseados em gradientes. O significado reside em deslocar o sinal de controle do domínio de otimização (gradientes) para o domínio funcional (ativações), permitindo que o agendador reaja à forma como a rede partitiona estruturalmente os dados de entrada.

Os autores mantêm um escopo modesto, afirmando explicitamente que os resultados são validados dentro das configurações específicas de CNN estudadas e não se generalizam necessariamente para todas as famílias de modelos (por exemplo, Transformers) ou regimes de treinamento. Eles posicionam o OUIDecay não como uma solução definitiva para o problema do decaimento de peso, mas como um passo prático rumo a estratégias de regularização mais flexíveis, leves e online que aproveitam sinais estruturais internos sem exigir dados de validação.