Mono-Forward: Revisiting Forward-Forward through Objective-Locality Decomposition

Resumo Técnico: Mono-Forward: Revisão do Forward-Forward através da Decomposição Objetivo–Localidade

Enunciação do Problema
A Retropropagação (BP) permanece o algoritmo dominante para o treinamento de redes neurais profundas, mas sofre com uma sobrecarga de memória substancial e depende da propagação global de erros, um mecanismo frequentemente considerado biologicamente implausível. O algoritmo Forward-Forward (FF), introduzido por Hinton, oferece uma alternativa biologicamente plausível ao substituir a passagem de ida-e-volta por duas passagens de ida (positiva e negativa) e treinar cada camada usando um objetivo local de "bondade". No entanto, o FF consistentemente fica atrás da BP em precisão. Uma questão central não resolvida é se essa lacuna de desempenho decorre das limitações inerentes da aprendizagem local (atualização de parâmetros usando apenas informações locais) ou do objetivo contrastivo de bondade específico usado no FF (que depende de passagens duais positiva-negativa e de uma perda baseada em limiar). O acoplamento rígido dessas duas escolhas de projeto na formulação original do FF dificultou o isolamento da fonte do déficit de desempenho.

Metodologia
Os autores propõem uma decomposição do algoritmo FF para separar seus dois componentes principais: (1) o uso de sinais de erro locais (aprendizagem local por camada) e (2) o objetivo de treinamento contrastivo de bondade. Para investigar se o objetivo ou a localidade é o principal gargalo, os autores introduzem o Mono-Forward (MF).

O MF é uma variante simplificada do FF que preserva a estrutura de aprendizagem local por camada, mas altera fundamentalmente o objetivo de treinamento:

1. Substituição do Objetivo: Em vez do objetivo contrastivo de passagens duais positiva-negativa original do FF, o MF aplica um objetivo padrão de entropia cruzada multiclasse localmente em cada camada.
2. Arquitetura: Cada camada $i$ é equipada com uma "matriz de bondade" específica da camada $M_i \in \mathbb{R}^{n \times m}$ (onde $n$ é o número de neurônios e $m$ é o número de classes). Dado um vetor de ativação $a_i$, a camada computa um vetor de bondade $g_i = a_i^\top M_i$.
3. Treinamento: Uma perda de entropia cruzada local é computada imediatamente a partir dessas pontuações de bondade para atualizar os parâmetros dessa camada específica e sua matriz de bondade. As ativações são então desassociadas e passadas adiante para a próxima camada.
4. Previsão: Na inferência, o MF pode acumular pontuações de bondade em todas as camadas ou confiar exclusivamente nas pontuações de bondade da camada final, sendo esta última mais eficiente em termos de memória.

O artigo também conduz estudos de ablação extensivos para analisar o impacto da propagação global de erros, objetivos de bondade de comparação completa (FC-FF) e normalização L2 inter-camada, demonstrando que o objetivo original do FF é uma fonte significativa de degradação de desempenho em comparação com objetivos padrão de classificação.

Principais Contribuições

• Decomposição do FF: O artigo fornece uma decomposição conceitual mostrando que a lacuna de desempenho entre o FF e a BP não é devida apenas à localidade, mas é substancialmente influenciada pela ineficiência do objetivo contrastivo de bondade original para tarefas de classificação supervisionada.
• Mono-Forward (MF): A introdução do MF como uma base mínima e controlada para aprendizagem local. Ele isola o efeito do objetivo do FF ao substituí-lo por uma perda de entropia cruzada padrão, mantendo atualizações locais de parâmetros.
• Validação Empírica: Experimentos extensivos em MLPs, Redes Neurais Convolucionais (CNNs) e arquiteturas MLP-Mixer em conjuntos de dados incluindo MNIST, FashionMNIST, CIFAR-10/100, PathMNIST e TinyImageNet.
• Análise de Eficiência de Memória: Uma análise detalhada do consumo de memória, destacando que, embora o MF reduza o uso de memória em configurações de MLP, seu custo de memória em CNNs pode exceder o da BP devido ao armazenamento de matrizes de bondade para mapas de características de alta resolução.

Resultados

• Melhorias de Precisão: Em benchmarks de MLP, o MF supera consistentemente o FF padrão e várias variantes do FF (por exemplo, FF Colaborativo, SymBa). Em MLPs, o MF alcança precisão comparável à BP, superando-a ligeiramente em MNIST e FashionMNIST, e permanecendo competitivo em CIFAR-10 e CIFAR-100.
• Desempenho do MLP-Mixer: Em PathMNIST, o MF supera ligeiramente a BP em precisão (89,32% vs. 87,62% em uma configuração específica) enquanto requer apenas 31% da memória consumida pela BP.
• Limitações em CNNs: Quando aplicado a CNNs, o custo de memória do MF escala com a resolução espacial e o número de classes, às vezes excedendo o uso de memória da BP, ao contrário do que ocorre em MLPs totalmente conectados, onde oferece economias significativas.
• Qualidade da Representação: A análise usando precisão de sonda linear, precisão k-NN e razão de Fisher indica que o MF aprende representações por camada mais fortes do que o FF padrão, particularmente em camadas mais profundas, e permanece competitivo com a BP.
• Eficiência de Hardware: O MF demonstra tempo de relógio reduzido por época em CPUs (0,88–0,93x do tempo da BP), mas é mais lento em GPUs (1,18x do tempo da BP) devido à falta de kernels altamente otimizados para objetivos locais por camada em comparação com a retropropagação padrão.

Significado e Alegações
O artigo alega que a limitação primária do algoritmo Forward-Forward em configurações supervisionadas não é a localidade de suas atualizações, mas sim o objetivo contrastivo específico que ele emprega. Ao desacoplar esses fatores, os autores demonstram que a aprendizagem local pode ser altamente eficaz quando combinada com um objetivo padrão de classificação.

O significado do Mono-Forward é duplo:

1. Prático: Oferece um método de treinamento que alcança precisão próxima à da retropropagação com requisitos de memória significativamente reduzidos em arquiteturas específicas (MLPs e MLP-Mixers), potencialmente melhorando a acessibilidade para ambientes com recursos limitados.
2. Analítico: Serve como uma "sonda controlada" para o campo da aprendizagem local. Os autores postulam que comparar um método de aprendizagem local com uma variante que relaxa sua restrição de localidade (introduzindo sinais de erro globais) é uma estratégia útil para identificar se as lacunas de desempenho são causadas pela localidade ou pela escolha do objetivo de treinamento.

Os autores permanecem modestos, reconhecendo que o MF não é um modelo biológico fiel (pois ainda depende de rótulos explícitos e otimização baseada em gradiente) e que sua eficiência é dependente de hardware. Eles não afirmam que o MF é universalmente superior à BP, mas sugerem que objetivos locais adequadamente projetados podem ser vantajosos em configurações específicas, particularmente onde a eficiência de memória é primordial.