Resumo Técnico: Difusão de Culpa em Redes de Fluxo Duplo Biologicamente Plausíveis

Declaração do Problema

Circuitos neurais biológicos aderem ao princípio de Dale, onde cada neurônio é puramente excitatório ou puramente inibitório, liberando o mesmo neurotransmissor em todas as sinapses. Em contraste, redes neurais artificiais (ANNs) padrão utilizam pesos com sinais arbitrários, uma simplificação que facilita a atribuição de crédito eficiente via backpropagation, mas carece de fidelidade biológica. Além disso, o backpropagation exige o "problema do transporte de peso" — a passagem reversa deve usar transpostas exatas das matrizes de peso da passagem direta, um mecanismo sem suporte biológico conhecido.

Embora existam diversas alternativas biologicamente plausíveis (ex: Alinhamento de Feedback, Alinhamento de Feedback Direto, Codificação Preditiva), a maioria falha em impor o princípio de Dale, permitindo sinais de pesos arbitrários. A Difusão de Erro (ED), uma regra de aprendizado local onde as atualizações dependem da atividade pré-sináptica, das derivadas pós-sinápticas e de um sinal de erro global, é naturalmente compatível com o princípio de Dale. No entanto, implementações anteriores de ED foram limitadas à classificação binária ou tarefas simples como o MNIST. O desafio central abordado por este trabalho é se uma arquitetura compatível com Dale pode alcançar um desempenho competitivo tanto em classificação supervisionada (incluindo tarefas complexas como CIFAR-10) quanto em aprendizado por reforço (RL), e como fatores dependentes da tarefa influenciam a atribuição de crédito sob essas restrições.

Metodologia

Arquitetura de Fluxo Duplo

Os autores adotam uma arquitetura de fluxo duplo para impor estruturalmente o princípio de Dale. Cada camada é dividida em um fluxo excitatório ($p$) e um inibitório ($n$).

• Passagem Direta (Forward Pass): A pré-ativação para cada fluxo é computada usando quatro matrizes de pesos não-negativas ($W_{pp}, W_{np}, W_{nn}, W_{pn}$). As conexões entre fluxos ($W_{np}, W_{pn}$) são estruturalmente inibitórias (subtraídas), enquanto todos os parâmetros aprendíveis permanecem não-negativos.
• Sobrecarga de Parâmetros: Este design requer $\sim4\times$ mais parâmetros do que uma rede de fluxo único de largura equivalente.

Regra de Atualização de Difusão de Erro (ED)

Em vez de propagar erros via backpropagation, a ED roteia um sinal de erro de saída global diretamente para as unidades ocultas.

• Roteamento de Erro por Módulo: Para estender a ED além da classificação binária, os autores introduzem o roteamento de erro por módulo. A cada unidade oculta $i$ é atribuído um canal de saída fixo $r(i) = i \mod C$ (onde $C$ é a dimensão da saída). O sinal de aprendizado para a unidade $i$ é o componente de erro correspondente ao seu canal atribuído.
• Mecanismo de Atualização: As atualizações de peso são proporcionais ao produto da atividade pré-sináptica e do drive pós-sináptico roteado (sinal de erro modulado pela derivada da ativação). Isso evita o transporte de peso e matrizes de feedback aleatórias, baseando-se em vez disso em uma correspondência estruturada entre unidades ocultas e dimensões de saída.

Inovações Específicas de Domínio

O artigo introduz três inovações específicas para o cenário de classificação (MNIST, CIFAR-10) para abordar modos de falha únicos do aprendizado multiclasse sob as restrições de Dale:

1. Larguras de Sigmoide por Camada: Para combater o problema do desaparecimento do gradiente inerente à difusão de erro com portão sigmoide (que mostrou um decaimento de $25\times$ da saída para a primeira camada oculta), os autores utilizam ativações sigmoides mais largas ($\alpha_i$) em camadas mais profundas.
2. Sinais de Erro de Classe Centrados no Lote: Para classificação de 10 vias, erros de "um contra todos" podem sofrer de fortes desvios por classe. Os autores subtraem a média do mini-lote para cada classe para garantir sinais de erro de média zero, evitando a supressão ou excitação uniforme dos canais de classe.
3. Inicialização Assimétrica: Os pesos excitatórios ocultos são inicializados com uma escala de $1.5\times$ e os pesos inibitórios com uma escala de $0.5\times$ (uma razão esperada de 3:1), enquanto a camada de saída utiliza inicialização simétrica para evitar saturação.

Extensão para Aprendizado por Reforço (ED-PPO)

Para tarefas de RL, a arquitetura de fluxo duplo é integrada com a Otimização de Política Próxima (PPO).

• As redes de política e de valor utilizam a estrutura MLP de fluxo duplo.
• Diferente do cenário de classificação, a extensão de RL utiliza ativações ReLU e normalização RMS, omitindo as inovações específicas de classificação (larguras de sigmoide, centralização de lote).
• Sinais de erro são roteados para unidades ocultas com base nos canais de saída (para política) ou transmitidos (para a rede de valor escalar).

Principais Contribuições

1. Arquitetura Compatível com Dale Escalável: Uma arquitetura ED de fluxo duplo que mantém pesos não-negativos e alcança desempenho competitivo tanto em classificação supervisionada (MNIST, CIFAR-10) quanto em controle contínuo de RL (Brax, Craftax).
2. Atribuição de Crédito Dependente de Tarefa: Um estudo de ablação revelando que a importância relativa dos componentes arquitetônicos se inverte entre as tarefas. No MNIST, as larguras de sigmoide por camada são críticas; no CIFAR-10, os sinais de erro centrados no lote são o fator dominante. Isso expõe que os gargalos de atribuição de crédito mudam qualitativamente com a dificuldade da tarefa.
3. Avaliação Cross-Domain: Demonstração de que o ED-PPO alcança retornos comparáveis ao PPO baseado em backpropagation e ao Alinhamento de Feedback Direto (DFA) em tarefas de locomoção, enquanto supera o DFA na tarefa complexa de exploração aberta Craftax.

Resultados

Desempenho de Classificação

• MNIST: O ED proposto atinge 96,7% de acurácia, comparável ao baseline de DFA (97,6%).
• CIFAR-10: O ED proposto atinge 61,7% de acurácia. Embora seja inferior ao DFA (69,1%), representa uma melhoria significativa sobre o "seed" ED (11,6%) e tentativas anteriores de ED puramente feedforward.
• Reversão de Ablação: Remover as larguras de sigmoide por camada no MNIST causa uma queda catastrófica para 25,3%, enquanto remover o erro centrado no lote tem efeito negligenciável (-0,3%). Inversamente, no CIFAR-10, remover o erro centrado no lote causa uma queda massiva para 13,8%, enquanto remover as larguras causa uma queda menor (-15,1%), porém significativa.

Desempenho de Aprendizado por Reforço

• Locomoção (Brax): O ED-PPO apresenta desempenho competitivo. No HalfCheetah, supera significativamente o BP-PPO padrão (5494 vs 3520) e iguala o DFA-PPO. No Ant, iguala ambas as variantes de PPO. No Humanoid, fica atrás do BP-PPO, mas permanece competitivo.
• Exploração de Aberta (Craftax): O ED-PPO atinge uma pontuação de 20,9, superando significativamente o DFA-PPO (19,8) e aproximando-se do BP-PPO (27,0). Isso sugere que o roteamento estruturado da ED pode ser mais robusto que o feedback aleatório (DFA) em ambientes complexos de exploração aberta.
• Variância: O ED-PPO exibe maior variância que o BP-PPO em alguns ambientes, sugerindo que o roteamento de erro grosseiro introduz estocasticidade.

Análise Post-Hoc

• Atenuação de Gradiente: Observou-se uma atenuação de gradiente de $25\times$ dos gradientes substitutos da saída para a primeira camada oculta, motivando o uso de larguras de sigmoide mais amplas.
• Equilíbrio E/I Emergente: Apesar de uma inicialização assimétrica de 3:1, o treinamento conduz as camadas ocultas para uma razão E/I quase equilibrada ($\sim1:1$), com camadas mais profundas tornando-se ligeiramente dominantes em inibição. Isso espelha observações biológicas de mecanismos homeostáticos.
• Esparsidade Implícita: O piso de peso não-negativo induz esparsidade substancial, com até 68,8% das conexões inibitórias sendo podadas para o piso, sugerindo um gargalo de capacidade estrutural.

Significância e Alegações

O artigo afirma que regras de aprendizado biologicamente plausíveis não precisam ser monolíticas; um núcleo arquitetônico compartilhado (fluxo duplo ED) pode suportar diversas demandas de tarefas quando aumentado com componentes apropriados específicos de domínio.

• Plausibilidade Biológica vs. Desempenho: O trabalho demonstra que impor o princípio de Dale não impede o aprendizado em tarefas complexas, embora incorra em um custo de desempenho (ex: a lacuna de acurácia no CIFAR-10 e a variância no RL).
• Gargalos Dependentes de Tarefa: A reversão da importância da ablação entre MNIST e CIFAR-10 destaca que avaliações de benchmark único podem obscurecer trade-offs críticos de design. O que estabiliza o aprendizado em tarefas simples pode ser insuficiente para tarefas complexas.
• Auto-organização Emergente: A observação de que a rede se auto-organiza para razões E/I equilibradas sem mecanismos homeostáticos explícitos sugere que o aprendizado impulsionado por gradiente sob as restrições de Dale pode replicar a auto-organização biológica.
• Implicações de Hardware: A restrição de pesos não-negativos alinha-se bem com substratos neuromórficos emergentes (ex: fotônicos ou analógicos) onde elementos físicos codificam naturalmente quantidades não-negativas, com o sinal determinado pela identidade da população.

Os autores concluem que, embora a lacuna de acurácia atual em relação ao backpropagation não restrito permaneça, o framework de fluxo duplo ED fornece um caminho viável para o aprendizado biologicamente fiel que escala além de benchmarks simples, oferecendo novos insights sobre como a atribuição de crédito funciona sob restrições biológicas.