Hyperspherical Forward-Forward with Prototypical Representations

1. Declaração do Problema

O algoritmo Forward-Forward (FF), proposto por Geoffrey Hinton, oferece uma alternativa bio-inspirada à retropropagação (BP) substituindo a passagem de trás por uma segunda passagem para frente. Cada camada é treinada de forma gananciosa em um objetivo local para distinguir dados "positivos" (rótulos corretos) de dados "negativos" (rótulos incorretos).

No entanto, o algoritmo FF original sofre de um gargalo crítico de inferência:

• Inferência Ineficiente: Para classificar uma única imagem de teste, a rede deve realizar uma passagem completa separada para cada classe possível a fim de calcular uma pontuação de "bondade" para cada uma.
• Problema de Escalabilidade: Isso resulta em um custo de inferência de $O(C)$, onde $C$ é o número de classes. Para grandes conjuntos de dados como ImageNet-1K (1.000 classes) ou CIFAR-100 (100 classes), isso torna a inferência computacionalmente proibitiva e impraticável para implantação no mundo real.
• Limitação Binária: O FF original trata a aprendizagem como uma tarefa de discriminação binária (positivo vs. negativo) em vez de uma classificação direta de múltiplas classes, limitando sua capacidade de aprender representações separáveis de forma eficiente.

2. Metodologia: Forward-Forward Hiperesférico (HFF)

Os autores propõem o Forward-Forward Hiperesférico (HFF), uma reformulação do algoritmo FF que resolve o gargalo de inferência ao reestruturar o objetivo de aprendizagem local.

Inovações Principais

1. Projeção Hiperesférica:

   • Em vez de usar vetores de ativação brutos, o HFF projeta a saída de cada camada em uma hiperesfera unitária ($S^{D-1}$) via normalização $\ell_2$.
   • $h^{(l)}_{norm} = \frac{h^{(l)}}{\|h^{(l)}\|_2}$.
   • Isso garante que a aprendizagem foque na direção (similaridade angular) dos recursos em vez de sua magnitude, impedindo que as camadas explorem a magnitude do vetor para burlar a função de perda.

2. Representações Prototípicas (Âncoras Geométricas):

   • Cada camada aprende um conjunto de protótipos específicos por classe e de norma unitária $\{v^{(l)}_{c,p}\}$, onde $c$ é a classe e $p$ é o índice do protótipo.
   • Esses protótipos atuam como âncoras geométricas no espaço de recursos hiperesférico, definindo uma região única para cada classe.
   • Diferentemente do FF original, que exige a geração de amostras negativas explícitas, esses protótipos servem como negativos implícitos.

3. Objetivo Direto de Classificação de Múltiplas Classes:

   • O objetivo local é deslocado da discriminação de bondade binária para classificação direta de múltiplas classes.
   • Cálculo de Logits: Para um vetor de recursos normalizado $h^{(l)}_{norm}$, a pontuação para a classe $c$ é calculada usando o LogSumExp (LSE) das similaridades entre o recurso e todos os protótipos dessa classe:
     $$g^{(l)}_{scores}[c] = \frac{1}{\tau} \log \sum_{p=1}^{P} e^{\tau \cdot (h^{(l)}_{norm})^T v^{(l)}_{c,p}}$$
     onde $\tau$ é um parâmetro de temperatura que controla a suavidade da operação de máximo.
   • Função de Perda: Uma perda de margem suave é usada para maximizar a pontuação da classe verdadeira enquanto minimiza as pontuações de todas as outras classes (tratadas implicitamente via LSE das classes negativas):
     $$L^{(l)}_{HFF} = \log(1 + e^{-(g^{(l)}_{scores}[y] - \text{LSE}(g^{(l)}_{scores}[\neg y])))}$$

4. Inferência de Passada Única:

   • Como o modelo produz um vetor de pontuações de classes para todas as classes simultaneamente em cada camada, a inferência requer apenas uma passagem para frente.
   • A previsão final é simplesmente $\hat{c} = \arg\max_c G_{last}(x)[c]$.
   • Isso reduz a complexidade de inferência de $O(C)$ para $O(1)$ em relação ao número de classes.

5. Adaptação Convolucional:

   • O HFF estende-se naturalmente a Redes Neurais Convolucionais (CNNs). Ele desacopla o objetivo local da extração de recursos, evitando a necessidade de incorporação complexa de rótulos ou máscaras espaciais de rótulos exigidas por variantes anteriores do FF.
   • Convoluções auxiliares 1x1 são usadas para ajustar as dimensões dos recursos para a projeção hiperesférica sem alterar a profundidade principal da rede.

3. Contribuições Principais

• Resolução do Gargalo de Inferência: O HFF permite inferência de passada única, tornando o algoritmo Forward-Forward >40x mais rápido que o FF original em conjuntos de dados com muitas classes.
• Precisão Superior: O método alcança resultados state-of-the-art entre métodos sem retropropagação, superando significativamente o FF padrão e outros algoritmos de aprendizagem local (por exemplo, SymBa, FFCL).
• Escalabilidade ImageNet: O HFF está entre os primeiros métodos de aprendizagem local gananciosa a relatar resultados no ImageNet-1K, alcançando 25,70% de precisão Top-1 do zero e 65,96% com aprendizagem por transferência (superando sua linha de base de retropropagação de 65,80% no cenário de transferência).
• Estabilidade Teórica: Os autores fornecem uma análise teórica mostrando que as camadas HFF são contínuas Lipschitz, oferecendo robustez inerente a perturbações de entrada em comparação com o FF original baseado em magnitude.
• Interpretabilidade: A natureza camada-por-camada do HFF permite interpretabilidade de alta granularidade, onde cada camada produz uma previsão de classe válida, e os protótipos fornecem insights geométricos sobre os clusters de classes.

4. Resultados Experimentais

Os autores avaliaram o HFF em MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 e ImageNet-1K.

• Velocidade de Inferência: No CIFAR-100, a inferência HFF é aproximadamente 40x mais rápida que o algoritmo FF de base.
• Convergência: Embora o HFF exija um tempo de treinamento ligeiramente maior que a retropropagação (1,7x), ele converge significativamente mais rápido que o FF original (que leva 9,5x mais tempo que a BP).
• Estudos de Ablação:
  • Posicionamento da Perda: Perda pós-ativação (após ReLU) produz melhor estabilidade que pré-ativação.
  • Protótipos: Um único protótipo por classe ($P=1$) é geralmente suficiente e ótimo para generalização, embora conjuntos de dados complexos possam se beneficiar de $P>1$.
  • Normalização: Projetar recursos na hiperesfera unitária é crucial para o desempenho.

5. Significado

Este trabalho representa um grande avanço no aprendizado profundo biologicamente plausível.

1. Viabilidade Prática: Ao resolver o gargalo de inferência, o HFF torna a aprendizagem local, sem retropropagação, uma candidata viável para aplicações do mundo real, particularmente em ambientes com recursos limitados (por exemplo, dispositivos de borda) onde a retropropagação é intensiva demais em memória.
2. Ponte da Lacuna: O HFF reduz a lacuna de desempenho entre a aprendizagem local e a retropropagação, particularmente em conjuntos de dados de grande escala como o ImageNet, desafiando a noção de que o fluxo global de gradiente é estritamente necessário para aprendizado profundo de alto desempenho.
3. Aprendizado Geométrico: A mudança para espaços de recursos hiperesféricos e aprendizagem prototípica oferece uma nova perspectiva sobre como redes neurais podem aprender representações discriminativas sem sinais de erro globais, alinhando-se mais estreitamente com mecanismos de aprendizagem biológica.

Em conclusão, o Forward-Forward Hiperesférico transforma com sucesso o algoritmo Forward-Forward de uma curiosidade teórica com limitações práticas em uma alternativa escalável, de alto desempenho e eficiente à retropropagação.