Training Neural Networks with Optimal Double-Bayesian Learning

Resumo Técnico: Treinamento de Redes Neurais com Aprendizado Duplo-Bayesiano Ótimo

Declaração do Problema
O treinamento de redes neurais permanece amplamente um processo empírico, com hiperparâmetros como a taxa de aprendizado e o momento tipicamente selecionados com base em regras práticas, experiência ou buscas sistemicas em grade, em vez de derivação teórica. Embora a importância desses parâmetros na prevenção do sobreajuste e na garantia de generalização imparcial seja amplamente reconhecida, não há uma teoria conclusiva para determinar seus valores ótimos. A literatura atual frequentemente recorre a taxas de aprendizado adaptativas (por exemplo, Adam) ou métodos de segunda ordem, contudo, o "veredito final" sobre o método de treinamento ótimo e os valores específicos de hiperparâmetros permanece não resolvido. A sensibilidade dos resultados de treinamento à taxa de aprendizado — onde valores pequenos arriscam ótimos locais e valores grandes causam oscilação — cria um trade-off difícil de negociar sem um framework principiado.

Metodologia: O Framework Duplo-Bayesiano
O artigo propõe um framework teórico fundamentado em um mecanismo de decisão "duplo-Bayesiano" envolvendo dois processos bayesianos antagônicos. Esta abordagem aborda a incerteza inerente nas medições ao modelar o processo de treinamento como uma resolução de incerteza entre um objeto de medição e seu valor de medição.

1. Fundamentação Teórica:

   • Processos Duais: O framework postula dois processos paralelos: um estimando a certeza de um valor de medição ($P(A)$) e o outro estimando a certeza do objeto de medição ($P(B)$). Esses processos estão ligados pelo teorema de Bayes, mas operam com interpretações distintas de probabilidades condicionais ($P(A|B)$ e $P(B|A)$).
   • Equações Interna e Externa: O framework deriva duas equações. A "equação Bayesiana externa" relaciona as probabilidades a priori à razão das probabilidades a posteriori por meio de uma base logarítmica $\lambda$. A "equação Bayesiana interna" é derivada invertendo a entrada e a base do logaritmo, movendo a expressão logarítmica para as probabilidades a priori.
   • Pontos Fixos e Incerteza: Usando a teoria da informação, o artigo trata o aprendizado como a busca por um ponto fixo onde a estimativa de entrada mapeia para o valor alvo. O modelo introduz um princípio de "incerteza intrínseca": conhecer o ângulo $\phi$ (representando a incerteza do valor de medição) perfeitamente implica incerteza máxima sobre a base $\lambda$ (representando a incerteza do objeto), e vice-versa.

2. Derivação de Hiperparâmetros Ótimos:

   • A Proporção Áurea: A solução para a equação Bayesiana interna ocorre quando os termos de probabilidade se alinham com a proporção áurea ($\phi \approx 0,62$).
   • Momento ($\alpha$): Ao satisfazer a equação interna em $\phi = \pi/4$ e contabilizar o gradiente da equação externa, o artigo deriva um peso de momento teórico: $\alpha = \sqrt{2} \cdot \phi \approx 0,874$.
   • Taxa de Aprendizado ($\eta$): Através de uma derivação de processo dual, a taxa de aprendizado é calculada como $\eta = (1 - \alpha)^2 \approx 0,016$.
   • Mecanismo de Treinamento: O framework sugere que o treinamento envolve alternar entre satisfazer a equação Bayesiana interna (minimizando a incerteza em uma variável) e não satisfazer a equação externa (maximizando a incerteza na contraparte), utilizando efetivamente $\alpha$ como o termo de momento para a iteração anterior e $\eta$ como a taxa de aprendizado para a iteração atual.

Validação Experimental
Para validar os valores derivados teoricamente ($\eta \approx 0,016$, $\alpha \approx 0,874$), os autores conduziram extensos experimentos de busca em grade em quatro tarefas distintas:

• Classificação de Dígitos Manuscritos: Conjunto de dados MNIST usando uma CNN personalizada de 11 camadas.
• Classificação de Tuberculose: Radiografias de tórax (conjunto de dados TBX11K) usando DenseNet121.
• Segmentação de Pulmão: Radiografias de tórax (conjunto de dados COVID-19) usando YOLOv8m-seg.
• Detecção de Células de Malária: Imagens de esfregaço sanguíneo usando YOLOv8m.

Os experimentos variaram sistematicamente as taxas de aprendizado (de 0,0001 a 0,2) e os valores de momento (de 0,0 a 0,925) e compararam o Gradiente Descendente Estocástico (SGD) contra o otimizador Adam. As avaliações incluíram a variação dos tamanhos dos conjuntos de treinamento (100%, 75%, 50%, 25%) e a introdução de ruído nos conjuntos de teste para medir generalização e robustez.

Principais Resultados

• Hiperparâmetros Ótimos: Os resultados da busca em grade mostraram consistentemente que a taxa de aprendizado derivada teoricamente ($\eta \approx 0,016$) e o valor próximo de 0,01 produziram o melhor ou quase o melhor desempenho em tarefas de classificação, segmentação e detecção. O valor de momento derivado ($\alpha \approx 0,874$) também caiu dentro da faixa de melhor desempenho para o SGD.
• SGD vs. Adam:
  • Desempenho: O SGD, quando ajustado com os hiperparâmetros derivados, superou consistentemente o Adam em termos de precisão final de teste, IoU e mAP50 na maioria das tarefas e tamanhos de conjuntos de treinamento.
  • Convergência: O Adam convergiu significativamente mais rápido (2–3 vezes menos épocas) para sua perda mínima de validação, explicando sua popularidade. No entanto, essa velocidade frequentemente veio à custa da generalização.
  • Sobreajuste: Em vários casos, o Adam alcançou uma perda de validação menor, mas falhou em alcançar o melhor desempenho no conjunto de teste, indicando uma maior tendência ao sobreajuste em comparação com o SGD.
• Robustez ao Ruído: Sob condições de teste ruidosas (intensidades de pixels invertidas aleatoriamente), os modelos treinados com SGD demonstraram robustez superior. A lacuna de erro entre SGD e Adam aumentou à medida que os níveis de ruído aumentaram, com o SGD mantendo consistentemente taxas de erro mais baixas.

Significado e Alegações
O artigo alega fornecer uma justificação teórica para a seleção de hiperparâmetros no treinamento de redes neurais, indo além de heurísticas empíricas. Suas principais contribuições são:

1. Derivação Teórica: Oferece uma taxa de aprendizado específica e derivada teoricamente ($\approx 0,016$) e um peso de momento ($\approx 0,874$) baseados em um framework duplo-Bayesiano, ligando a teoria da informação e processos de decisão bayesianos ao treinamento de redes.
2. Reinterpretação do Momento: O framework fornece uma nova explicação para o termo de momento, sugerindo que não é meramente um fator de suavização, mas um componente necessário para resolver incertezas intrínsecas entre dois processos bayesianos paralelos.
3. Superioridade de Generalização: Os resultados sugerem que, embora métodos adaptativos como o Adam ofereçam convergência mais rápida, o SGD otimamente ajustado produz modelos menos enviesados com melhor generalização, particularmente em ambientes ruidosos.
4. Modelo de Tomada de Decisão: A abordagem duplo-Bayesiana é apresentada como um modelo de tomada de decisão inovador, onde o conhecimento é distribuído entre dois processos, e o estado "ótimo" é um equilíbrio de incertezas, análogo ao Princípio da Incerteza de Heisenberg.

Os autores concluem que seu framework oferece novas perspectivas sobre o conceito de optimalidade no treinamento de redes e apoia o uso de SGD com hiperparâmetros específicos e fundamentados teoricamente para alcançar modelos imparciais e robustos.