Local Synaptic Rules Can Implement a SIGReg Gradient Without Backpropagation

Resumo Técnico: Regras Sinápticas Locais Implementando um Gradiente SIGReg

Problema
O problema central abordado é como redes neurais biológicas podem aprender representações úteis de alta dimensão sem acesso a rótulos explícitos ou aos sinais de erro globais exigidos pela retropropagação (backpropagation). Embora objetivos de Aprendizado Autossupervisionado (SSL), como SIGReg e VICReg, tenham se mostrado eficazes em sistemas artificiais ao maximizar a similaridade entre visões de entrada enquanto previnem o colapso dimensional via regularização de variância e covariância, esses métodos carecem de plausibilidade biológica. Eles tipicamente requerem cálculos de gradiente globais, transporte de pesos e sinais de erro não locais que não existem em mecanismos neurobiológicos conhecidos. Este trabalho busca preencher essa lacuna, demonstrando que regras sinápticas canônicas e localmente disponíveis podem implementar matematicamente o gradiente exato de um objetivo do tipo SIGReg.

Metodologia
Os autores propõem um modelo de circuito onde o aprendizado é impulsionado inteiramente por fatores sinápticos locais: taxas de disparo pré e pós-sinápticas, estatísticas de disparo locais e a contiguidade temporal de fluxos sensoriais naturais. O modelo integra dois mecanismos primários:

1. Plasticidade Dependente do Tempo de Disparo (STDP+): O braço de potenciação da STDP é modelado como uma regra Hebbiana de três fatores. Ele fortalece as sinapses quando um neurônio pré-sináptico dispara pouco antes de um neurônio pós-sináptico. Matematicamente, isso corresponde ao gradiente descendente em uma perda de predição direta ($L_{pred}$), onde a propensão pós-sináptica no tempo $t+1$ atua como um "sinal de ensino" fixo (stop-gradient) para os pesos no tempo $t$.
2. Plasticidade Homeostática de Lanterna (Flashlight Homeostatic Plasticity): Para evitar o colapso dimensional (um modo de falha comum em SSL), o modelo emprega uma população de neurônios "lanterna" (análoga às células granulares do cerebelo) que projetam a saída do codificador $h$ através de uma matriz fixa, aleatória e de sinais mistos $A$.
   • Regulação de Variância: Cada neurônio lanterna emite um sinal retrógrado proporcional ao descompasso entre sua variância e um alvo (unidade). Isso implementa o componente diagonal (variância) do termo de prevenção de colapso.
   • Regulação de Covariância: A inibição lateral de interneurônios (células em cesta/esteladas) impulsionada por pares de lanternas correlacionados implementa o componente fora da diagonal (covariância).
   • Juntos, esses mecanismos homeostáticos implementam o gradiente de um objetivo SIGReg fraco ($L_{Weak}$), que penaliza desvios da covariância projetada em relação à matriz identidade.

A principal contribuição teórica é a construção direta mostrando que a soma da atualização STDP+ e da atualização homeostática é igual ao gradiente negativo do objetivo SIGReg completo ($L_{SIGReg} = L_{pred} + \lambda L_{Weak}$). Os autores explicitamente observam que o braço de depressão da STDP (STDP−) atua como uma projeção esparsa para impor pesos não negativos ($W_{ij} \geq 0$), mas, por si só, desestabiliza o aprendizado e é excluído das principais condições de sucesso.

Principais Contribuições

• Equivalência Matemática: O artigo prova que a STDP+ e a homeostase de lanterna, quando combinadas, implementam o gradiente descendente no objetivo SIGReg sem retropropagação, sinais de erro globais, transporte de peso ou informação de rótulo.
• Plausibilidade Biológica: O mecanismo baseia-se exclusivamente em fatores localmente disponíveis (atividade pré/pós-sináptica, ganho local e estatísticas de variância/covariância) e evita loops de inferência iterativos (ao contrário do sparse coding), operando de maneira estritamente online e de passagem única.
• Tratamento da Não-Negatividade: O trabalho esclarece o papel da STDP− não como um passo de gradiente para o objetivo, mas como um mecanismo para projetar os pesos no ortante não negativo, embora note que uma implementação estável requer uma população inibitória adicional ainda não totalmente modelada.

Resultados Experimentais
Os autores validaram o mecanismo em duas tarefas:

1. Agrupamento Sintético (Synthetic Clustering): Em um conjunto de dados de 3 classes com ruído de alta dimensão, a rede foi exposta a entradas em ordem temporal contígua de classe ou em ordem aleatória.
   • Entrada Ordenada: A rede aprendeu a separar as classes, alcançando uma Razão de Separação de Agrupamento (CSR) de 2.49, uma melhoria de aproximadamente três vezes sobre o baseline.
   • Entrada Aleatória: Com a ordenação aleatória, o CSR permaneceu próximo ao baseline (0.83), demonstrando que a estrutura aprendida surge puramente da contiguidade temporal.
2. Sonda Linear de MNIST: Uma rede de duas camadas treinada em MNIST usando apenas STDP e plasticidade homeostática (sem rótulos durante o treinamento) alcançou 87,3% de acurácia de sonda linear.
   • Ablações: Remover a homeostase causou o colapso do desempenho para próximo do acaso (18,5%). Randomizar a ordem de entrada reduziu a acurácia para 86,5%, indicando que a homeostase sozinha fornece um "piso de branqueamento" (whitening floor), enquanto a ordenação temporal fornece um ganho marginal, mas consistente.
   • Impacto da STDP−: Incluir a STDP− com o corte de pesos (weight clipping) degradou significativamente o desempenho (caindo para ~59–69%), confirmando a afirmação teórica de que a STDP− desestabiliza o sistema sem uma população inibitória compensatória.

Significância e Alegações
O artigo afirma que este trabalho estabelece uma correspondência direta entre regras sinápticas biologicamente observadas de forma independente e objetivos de aprendizado autossupervisionado de estado da arte. Argumenta-se que o cérebro pode utilizar esses mecanismos canônicos para computar os gradientes exatos necessários para aprender representações úteis de maneira não supervisionada.

Os autores enfatizam que este não é um desenvolvimento matemático profundo, mas uma "construção direta" onde cada regra biológica é diferenciada para corresponder a um termo específico do objetivo SIGReg. A significância reside em expandir o conjunto de operações biologicamente plausíveis: mostrar que o SIGReg não é apenas um algoritmo abstrato, mas pode ser realizado através de interações locais e biologicamente fundamentadas. O trabalho sugere que a contiguidade temporal em fluxos sensoriais naturais serve como o sinal de par positivo para SSL, eliminando a necessidade de aumento de dados (data augmentation) explícito ou construção de amostras negativas.

O artigo permanece modesto quanto à escala de profundidade, reconhecendo que aplicar esses objetivos de decorrelação em cada camada leva a um "cascata de branqueamento" (whitening cascade) onde as camadas subsequentes recebem entradas sem estrutura, resultando em degradação de desempenho em redes mais profundas. Sugere-se que trabalhos futuros explorem variantes convolucionais para lidar com escalas espaciais e a integração de populações inibitórias específicas para estabilizar a projeção não negativa.