Resumo Técnico: Congelamento Progressivo por Camadas para Redes Binárias Escaláveis em Profundidade

Declaração do Problema

Treinar Redes Neurais Binárias (BNNs), onde tanto os pesos quanto as ativações são restritos a $\{-1, +1\}$, do zero continua sendo um desafio, particularmente conforme a profundidade da rede aumenta. A abordagem de treinamento dominante baseia-se no Estimador de Passagem Direta (STE - Straight-Through Estimator), que substitui uma função de sinal não diferenciável na passagem direta por um gradiente substituto (tipicamente identidade) na passagem reversa. Embora eficaz para redes rasas, o STE sofre de um descompasso fundamental entre o forward e o backward. À medida que as redes se aprofundam, esse descompasso leva a uma severa degradação de precisão.

A literatura existente tenta mitigar isso principalmente refinando o próprio STE (por exemplo, melhores gradientes substitutos, modelagem de gradiente ou escalonamento aprendido). No entanto, esses métodos mantêm a estrutura central de um operador forward rígido pareado com uma passagem backward substituta. Este artigo identifica um eixo diferente de falha: bloqueios de gradiente induzidos por ativação. Em BNNs completas, uma vez que uma ativação é "congelada" (comprometida com um valor binário rígido), sua derivada torna-se zero em quase todos os pontos. Se as ativações forem congeladas em profundidades arbitrárias durante o treinamento, o fluxo de gradiente para as camadas anteriores é interrompido, impedindo o aprendizado eficaz em arquiteturas profundas. Este problema é específico para BNNs completas; Redes de Pesos Binários (BWNs), onde as ativações permanecem contínuas, não sofrem com este bloqueio.

Metodologia: StoMPP

Os autores introduzem o StoMPP (Stochastic Masked Partial Progressive Binarization), um arcabouço de treinamento que controla quando e onde a binarização é aplicada, em vez de melhorar o estimador de gradiente em si.

Mecanismo Central

O StoMPP mantém variáveis de valores reais subjacentes para pesos e pré-ativações. Uma máscara binária determina se cada entrada é tratada como discreta (congelada) ou contínua (não congelada). O método emprega duas estratégias principais:

1. Escalonamento Progressivo por Camada: Diferente da quantização progressiva global (onde os parâmetros são congelados aleatoriamente em toda a rede), o StoMPP congela as camadas sequencialmente da entrada para a saída.

   • Prefixo Congelado: As camadas $1$a$\ell-1$ estão totalmente binarizadas.
   • Camada de Transição: A camada $\ell$ é parcialmente congelada, evoluindo de contínua para binária.
   • Sufixo Não Congelado: As camadas $\ell+1$ a $N$ permanecem totalmente contínuas.
   • Racional: Isso garante que a camada que está passando pelo processo de binarização sempre tenha um sufixo a jusante (downstream) não congelado, preservando um caminho de gradiente válido para a função de perda. Isso evita os bloqueios de gradiente causados pelo congelamento precoce de ativações a jusante.

2. Congelamento Parcial Mascarado Estocástico com Atualização Suave (Soft Refresh): Na camada de transição, a máscara não é definida deterministicamente. Em vez disso, uma fração $p(\tau)$ das entradas é congelada de acordo com um cronograma (por exemplo, cúbico). Crucialmente, o conjunto congelado é "suavemente atualizado" a cada etapa: um pequeno subconjunto de índices ($1/r$) é reamostrado a partir de uma distribuição de Bernoulli. Isso evita o compromisso prematuro com uma configuração congelada específica e permite que o modelo se adapte ao padrão binário emergente.

Tratamento de Gradiente

O método é agnóstico ao tratamento de gradiente das entradas congeladas, suportando dois regimes:

• StoMPP livre de STE: Entradas congeladas recebem gradiente zero ($Surr(u) = 0$). Isso fornece um procedimento de treinamento totalmente livre de STE.
• StoMPP+STE: Entradas congeladas recebem um gradiente de identidade STE padrão ($Surr(u) = 1$). Isso combina a estrutura de progressão com gradientes substitutos.

Os autores realizam estudos de ablação no regime livre de STE para isolar a contribuição da ordem de progressão dos benefícios dos gradientes substitutos.

Principais Contribuições

1. Estrutura StoMPP: Um procedimento de congelamento progressivo por camada com mascaramento estocástico e atualização suave. Ele suporta tanto o treinamento totalmente livre de STE quanto o treinamento híbrido com STE nas entradas congeladas.
2. Papel Decisivo da Ordem de Progressão: O artigo estabelece que, para BNNs completas, a ordem de binarização é crítica.
   • Progressão para Frente (Entrada $\to$ Saída): Tem sucesso em redes profundas.
   • Progressão Reversa (Saída $\to$ Entrada): Causa colapso catastrófico para um desempenho próximo ao acaso.
   • Ordenação Global: Degrada significativamente com a profundidade.
   • Insensibilidade de BWN: Redes de Pesos Binários são amplamente insensíveis à ordenação, confirmando que o modo de falha é específico às ativações binárias bloqueando gradientes.
3. Análise da Dinâmica de Treinamento: Os autores caracterizam a dinâmica de treinamento, observando um padrão de convergência em "dente de serra", onde a precisão cai quando uma nova camada entra na fase de congelamento e se recupera conforme o sufixo não congelado se adapta. Eles demonstram que o escalonamento por camada é robusto à forma do cronograma e às taxas de atualização, ao contrário do escalonamento global.

Resultados Experimentais

A avaliação utiliza um protocolo controlado com uma receita de treinamento mínima (taxa de aprendizado constante, sem decaimento de peso) para isolar o efeito da regra de binarização.

• Escalabilidade de Profundidade: Em BNNs ResNet-50, o desempenho do vanilla STE cai significativamente conforme a profundidade aumenta (por exemplo, de 41,9% na ResNet-18 para 30,8% na ResNet-50 no ImageNet).
  • StoMPP (Livre de STE): Melhora sobre o vanilla STE em +18,0% (CIFAR-10), +13,5% (CIFAR-100) e +3,8% (ImageNet) na ResNet-50.
  • StoMPP+STE: Alcança ganhos ainda maiores, melhorando sobre o vanilla STE em +27,1% (CIFAR-10), +19,8% (CIFAR-100) e +17,7% (ImageNet) na ResNet-50.
• Generalização: O padrão se mantém em ResNet-18/34, MobileNetV2 e ajuste fino de BERT no SST-2. Notavelmente, no SST-2, o vanilla STE colapsa para próximo do acaso (50,9%), enquanto o StoMPP+STE atinge 82,8%.
• Ablações:
  • Ordenação: A ordenação reversa por camada causa o colapso das BNNs (ex: 8,6% no CIFAR-100 ResNet-50), enquanto a ordenação progressiva para frente mantém o desempenho.
  • Hiperparâmetros: O método é robusto à escolha do cronograma (cúbico, linear, etc.) e à taxa de atualização, desde que a progressão por camada seja utilizada.
  • Arquiteturas: O StoMPP é transferível para arquiteturas específicas de binários, como Bi-Real Net, sem modificações, embora as interações de ajuste fino variem.

Significância e Alegações

O artigo afirma que o principal gargalo no treinamento de BNNs profundas não é a qualidade do gradiente substituto, mas o tempo e o local da binarização. Ao impor uma progressão progressiva para frente por camada, o StoMPP evita a formação de bloqueios de gradiente induzidos por ativação que interrompem os sinais de aprendizado em redes profundas.

Os autores enfatizam que esta é uma abordagem ortogonal à melhoria do STE; ela altera o arcabouço de treinamento em vez do estimador de gradiente. Os resultados sugerem que o "colapso de profundidade" observado em BNNs é uma consequência estrutural de bloqueios de gradiente, que podem ser mitigados garantindo um caminho de gradiente contínuo através das camadas a jusante não congeladas durante o processo de binarização. O método é apresentado como um procedimento de treinamento que pode ser combinado com melhorias arquitetônicas existentes ou técnicas de gradiente substituto, oferecendo um caminho para redes profundas totalmente binárias e escaláveis.