Resumo Técnico: HCL-FF

Declaração do Problema

Redes neurais profundas treinadas via retropropagação (BP) alcançaram desempenho de última geração em tarefas de visão, mas sofrem de implausibilidade biológica, altas demandas computacionais (requerendo armazenamento de gradientes e propagação para trás) e representações internas opacas. O algoritmo Forward-Forward (FF) oferece uma alternativa biologicamente plausível ao treinar cada camada independentemente usando um objetivo local de "bondade" (a magnitude das ativações). No entanto, as abordagens FF padrão enfrentam duas limitações críticas:

1. Falta de Coordenação Hierárquica: O FF força camadas rasas a discriminar diretamente classes de alta granularidade, levando a representações subótimas nas camadas iniciais. Diferentemente da BP, que naturalmente aprende uma progressão de pistas de baixo nível para semântica de alto nível, o FF carece de um mecanismo para coordenar essa progressão entre as camadas.
2. O Dilema do Desacoplamento: Para evitar que camadas mais profundas herdem trivialmente o sinal de bondade das camadas anteriores, o FF desacopla a bondade da representação de características via normalização (removendo informações de magnitude). Embora isso previna o sobreajuste a sinais anteriores, deixa as características resultantes semanticamente ambíguas e desregradas, pois o objetivo de otimização visa apenas a magnitude da ativação, e não a estrutura geométrica relativa das características.

Metodologia

Os autores propõem o HCL-FF (Aprendizado Hierárquico e Contrastivo para Forward-Forward), um framework que preserva a independência camada a camada do FF enquanto aborda as limitações acima por meio de duas inovações principais.

1. Aprendizado Hierárquico (Estratégia de Grosso para Fino)

Para resolver a falta de coordenação, o HCL-FF introduz uma estratégia de aprendizado curricular onde a supervisão é organizada do grosso para o fino:

• Alvos de Superclasse: Camadas rasas são supervisionadas usando alvos de superclasses grosseiras, enquanto camadas mais profundas recebem progressivamente rótulos de maior granularidade, culminando na discriminação de classes de alta granularidade na camada final.
• Construção da Hierarquia: A hierarquia de classes é construída via uma abordagem orientada por dados. Um modelo é primeiro pré-treinado sem hierarquia, e um classificador linear é treinado nas características da camada final. Os pesos do classificador servem como protótipos de classe, que são então agrupados usando agrupamento hierárquico aglomerativo para formar uma árvore semântica.
• Função de Perda HierCwC (Hierarchical Channel-Wise Competitive): A função de perda FF padrão é modificada para calcular a bondade no nível de superclasse para camadas rasas. A bondade da superclasse é derivada pela média da bondade por classe dentro de cada grupo de superclasse. Isso reduz a complexidade dos objetivos das camadas iniciais e incentiva que as representações evoluam de estruturas semânticas amplas para discriminação de alta granularidade.

2. Aprendizado Contrastivo (Fundamentação Semântica)

Para resolver o dilema do desacoplamento, o HCL-FF aplica um objetivo contrastivo supervisionado diretamente às características desacopladas da bondade (os vetores de características normalizados $z^{(\ell)}$):

• Projeção de Características: Em cada camada, as características desacopladas da bondade são agrupadas globalmente por média e projetadas em um espaço de incorporação latente.
• Função de Perda Contrastiva Supervisionada: Uma função de perda contrastiva supervisionada padrão é aplicada a essas incorporações, incentivando amostras da mesma classe a agruparem-se e classes diferentes a se separarem.
• Significância: Ao restringir a geometria relacional das características após o desacoplamento da bondade, este objetivo restaura o significado semântico perdido quando as informações de magnitude são removidas. Garante que, embora a escala (bondade) seja desacoplada, a direção (conteúdo semântico) permaneça discriminativa.

3. Framework Geral

A função de perda total para cada camada $\ell$ combina a perda HierCwC e a perda contrastiva:
$$L_{total}^{(\ell)} = L_{HierCwC}^{(\ell)} + \lambda L_{Con}^{(\ell)}$$
onde $\lambda$ é definido como 1. O framework utiliza uma arquitetura Forward-Forward residual baseada em camadas de Convolução Canal a Canal (CW-Conv), onde cada camada opera independentemente sem propagação de gradientes entre camadas.

Principais Contribuições

1. Framework HCL-FF: Um novo framework FF que integra supervisão hierárquica e aprendizado contrastivo para abordar a falta de coordenação e o dilema do desacoplamento.
2. Currículo de Grosso para Fino: Uma estratégia que reduz a complexidade das camadas iniciais ao supervisionar camadas rasas com superclasses, permitindo uma progressão natural de abstração semântica.
3. Fundamentação Contrastiva: A primeira aplicação de aprendizado contrastivo especificamente a características desacopladas da bondade no FF, preservando efetivamente a estrutura semântica sem violar a restrição de independência camada a camada.
4. Desempenho de Última Geração: O método alcança novos resultados de última geração entre métodos baseados em FF em múltiplos benchmarks.

Resultados Experimentais

Os experimentos foram conduzidos em CIFAR-10, CIFAR-100, MNIST, Fashion-MNIST e Tiny-ImageNet.

• Ganhos de Desempenho: O HCL-FF alcança melhorias significativas de acurácia sobre o melhor método FF anterior (DeeperForward):
  • +5,46% no CIFAR-10 (91,68% vs. 86,22%).
  • +17,00% no CIFAR-100 (70,09% vs. 53,09%).
  • +12,51% no Tiny-ImageNet (48,46% vs. 35,95%).
• Comparação com BP: No CIFAR-10, o HCL-FF supera o ResNet-20 treinado com BP padrão (91,68% vs. 91,25%) e reduz a lacuna para variantes BP com número de parâmetros equivalente.
• Estudos de Ablação:
  • Adicionar apenas aprendizado contrastivo melhorou a acurácia do CIFAR-100 em +9,12%, confirmando seu papel na estabilização de características desacopladas.
  • Adicionar apenas aprendizado hierárquico melhorou a acurácia do CIFAR-100 em +6,96%, destacando seu benefício para espaços de rótulos maiores.
  • Aumento de dados forte foi eficaz apenas quando combinado com supervisão hierárquica, pois reduziu a carga sobre as camadas rasas.
• Análise:
  • Acurácia por Camada: O HCL-FF mostra ganhos consistentes de acurácia entre as camadas, enquanto métodos anteriores estagnam cedo.
  • Desacoplamento: Avaliações com sonda linear mostram que o HCL-FF mantém alta acurácia mesmo após normalização, provando que preserva a estrutura semântica em características desacopladas, ao contrário do DeeperForward, onde a acurácia cai significativamente após a normalização.
  • Visualização: Visualizações t-SNE confirmam que o HCL-FF mantém separação clara de classes tanto nas respostas de bondade quanto nas características desacopladas da bondade.

Significância e Alegações

O artigo afirma que o HCL-FF representa um passo significativo rumo a paradigmas de aprendizado escaláveis, eficazes e biologicamente plausíveis. Ao resolver o dilema fundamental do desacoplamento e introduzir coordenação hierárquica, o método demonstra que o treinamento independente camada a camada pode alcançar desempenho comparável, e em alguns casos superior, aos métodos baseados em retropropagação.

Os autores observam que, embora o HCL-FF melhore os métodos FF existentes, ele ainda herda certas restrições, como convergência mais lenta em comparação com BP de ponta a ponta e a exigência de que o número de canais escale com o número de classes (embora isso seja aliviado nas camadas rasas). O trabalho sugere que combinar supervisão hierárquica com fundamentação contrastiva é um caminho viável para superar desafios de longa data no aprendizado sem retropropagação.