A Non-Monotone Preconditioned Trust-Region Method for Neural Network Training

Resumo Técnico: Um Método de Região de Confiança Pré-condicionado Não Monotônico para Treinamento de Redes Neurais

Enunciação do Problema
O treinamento de redes neurais (RN) profundas em escala apresenta desafios relacionados ao ajuste de hiperparâmetros, à exploração de pipelines multi-dispositivo e ao manejo de funções objetivo não convexas e ruidosas. Embora métodos de primeira ordem como o Gradiente Descendente Estocástico (SGD) e Adam sejam padrão, eles dependem fortemente do agendamento manual do tamanho do passo e do momento, e não aproveitam naturalmente o paralelismo de modelo, onde uma rede é dividida em blocos sequenciais entre dispositivos. Por outro lado, os métodos de Decomposição de Domínio (DD) oferecem uma maneira de partitionar parâmetros em subdomínios para atualizações paralelas, mas exigem estratégias robustas de globalização para garantir a convergência em cenários não convexos. Abordagens anteriores, como a Estratégia de Região de Confiança Pré-condicionada Aditivamente (APTS), utilizam mecanismos de região de confiança (RC), mas frequentemente sofrem com altas taxas de rejeição de passos no espaço grosseiro, levando a recomputeamentos dispendiosos das direções de busca.

Metodologia: NAPTS
O artigo propõe a Estratégia de Região de Confiança Pré-condicionada Aditivamente Não Monotônica (NAPTS), uma extensão do framework APTS que integra princípios de região de confiança não monotônica (NTR). O método opera através de três fases distintas por iteração:

1. Atualizações Paralelas de Subdomínio: O espaço de parâmetros da RN é partitionado em subdomínios não sobrepostos $\{C_d\}_{d=1}^N$. Em cada iteração $k$, uma passagem forward e backward global armazena em cache valores de ativação e gradientes a jusante. Cada subdomínio executa então $\ell$ passos locais de Adam com restrição (CAdam) em paralelo. Esses passos locais são computados usando informações de fronteira em cache para aproximar gradientes de bloco, garantindo que os subdomínios operem independentemente enquanto respeitam informações globais. Os passos locais são elevados e combinados aditivamente para formar um passo de teste global $s_k$.
2. Globalização Não Monotônica: Diferentemente dos métodos RC padrão que exigem uma diminuição estritamente monotônica da função objetivo, a NAPTS emprega uma janela deslizante das $\nu$ iterações bem-sucedidas mais recentes. Ela define um índice de referência $r(k)$ correspondente ao maior valor objetivo dentro dessa janela. A aceitação do passo é determinada por uma taxa de acordo combinada $\rho_k = \max\{\rho^c_k, \rho^h_k\}$, onde:
   • $\rho^c_k$ mede o acordo entre a diminuição real e a prevista para o passo atual.
   • $\rho^h_k$ mede o acordo em relação ao valor de referência histórico $f(\theta_{r(k)})$ e um termo de história cumulativa $\sigma^h_k$.
     Este mecanismo permite a aceitação de passos que aumentam temporariamente a função objetivo ($f(\theta_k + s_k) > f(\theta_k)$) se estiverem alinhados com tendências de descida de longo prazo, reduzindo assim a rejeição de direções eficazes no espaço grosseiro.
3. Correção e Suavização: Se o passo de teste for rejeitado, um passo de correção $c_k$ é computado como uma combinação convexa de um passo de descida mais íngreme e a proposta original, evitando o desperdício de informações de gradiente previamente computadas. Uma atualização final de NTR refina a iteração e ajusta o raio da região de confiança $\Delta_k$.

Contribuições Principais

• APTS Não Monotônica (NAPTS): A contribuição principal é a integração de princípios NTR ao framework APTS. Isso aborda especificamente o problema da rejeição agressiva de passos no espaço grosseiro em paisagens de treinamento de RN ruidosas e não convexas.
• Não Monotonicidade Controlada: O artigo introduz um critério de aceitação em janela que permite aumentos controlados da função objetivo. Isso previne a aceitação "indiscriminada" de passos, enquanto ainda permite que o algoritmo persista com direções no espaço grosseiro que podem ser temporariamente não melhoradoras, mas globalmente benéficas.
• Paralelismo Eficiente: O método mantém a estrutura de Schwarz aditiva, permitindo treinamento paralelo de subdomínios sem comunicação entre subdomínios durante iterações locais, exigindo apenas sincronização global para o armazenamento em cache de gradientes e agregação de passos.

Resultados
Experimentos foram conduzidos no conjunto de dados CIFAR-10 usando uma RN convolucional (1,2 milhão de parâmetros) treinada em quatro GPUs Nvidia A100.

• Desempenho: A NAPTS alcançou um tempo de treinamento de 115,88 segundos por época, representando uma redução de 30% no tempo de CPU em comparação com a APTS padrão (169,14s/época) e uma melhoria adicional sobre a variante de aceitação agressiva APTS$_A$ (152,39s/época).
• Taxas de Rejeição: O método reduziu significativamente o número de passos rejeitados. A NAPTS registrou aproximadamente 1.921 iterações rejeitadas no total, comparado a 13.972 para a APTS e 6.648 para a APTS$_A$. Isso indica que o mecanismo não monotônico retém com sucesso propostas eficazes no espaço grosseiro que de outra forma seriam descartadas.
• Precisão: Enquanto os métodos de base RC e NTR lutaram para atingir alta precisão de validação, as variantes pré-condicionadas (APTS e NAPTS) alcançaram precisões de validação substancialmente mais altas e perdas de treinamento menores, sugerindo uma otimização aprimorada sem comprometer a generalização.

Significado
O artigo afirma que a NAPTS oferece uma estratégia de globalização robusta especificamente adequada para a natureza não convexa e ruidosa do treinamento de redes neurais em grande escala. Ao relaxar o requisito de monotonicidade estrita, o método evita o custo computacional de rejeitar e recalcular repetidamente as direções de busca. Os autores postulam que essa abordagem aproveita efetivamente a decomposição de domínio para paralelismo de modelo, enquanto fornece adaptação automática do tamanho do passo através de regiões de confiança, reduzindo a necessidade de ajuste manual de hiperparâmetros associado a métodos de primeira ordem. Os resultados sugerem que a NAPTS preserva a precisão dos métodos pré-condicionados enquanto melhora substancialmente a eficiência computacional.