Resumo Técnico: O que a Acurácia e o Cosseno de Gradiente Omitam

Declaração do Problema

Apesar do sucesso do aprendizado profundo, treinar redes profundas por meio de mecanismos biologicamente plausíveis e eficientes em termos de hardware continua sendo um desafio em aberto. Métodos de Alinhamento de Feedback (FA) abordam as restrições da retropropagação (BP) — especificamente a simetria de pesos e atualizações sequenciais — substituindo os pesos de retropropagação por matrizes aleatórias fixas. Embora o FA e sua variante, o Alinhamento de Feedback Direto (DFA), tenham mostrado promessa no treinamento de arquiteturas modernas como Transformers, sua avaliação baseia-se em um par de reporte padrão: acurácia da tarefa e similaridade de cosseno agregada entre o sinal de crédito do método e o gradiente de BP.

Este artigo argumenta que este par de reporte padrão é insuficiente e pode aprovar silenciosamente métodos que não treinaram de fato as camadas profundas de uma rede. Os autores identificam dois modos de falha independentes onde as métricas padrão fornecem sinais enganosamente positivos, apesar de a rede falhar em aprender atribuições de crédito úteis nas camadas profundas.

Metodologia e Protocolo de Diagnóstico

Para diagnosticar essas falhas, os autores conduziram uma auditoria controlada comparando três métodos (BP, FA e DFA) em arquiteturas residuais (ResMLP, ViT-Mini, StudentNet) com receitas de treinamento idênticas, diferindo apenas nas regras de propagação de crédito. Eles observaram que as métricas padrão falharam em detectar quando blocos profundos estavam efetivamente não utilizados ou eram prejudiciais.

Com base nessas observações, os autores propõem um protocolo de avaliação diagnóstica de três verificações para substituir ou suplementar o par de reporte padrão:

1. Estabilidade de Escala (Diagnóstico 1): Mede o crescimento residual máximo por bloco ($\rho = \max_l \|h_{l+1}\|/\|h_l\|$) ao final do treinamento.
   • Limiar: Sinalizar se $\rho > 50$.
   • Propósito: Detecta a "explosão do fluxo residual", um precursor do colapso do gradiente de referência.
2. Validade da Referência (Diagnóstico 2): Mede a norma do gradiente de referência BP mais profundo ($\|g_L\|$).
   • Limiar: Sinalizar se $\|g_L\| < 10 \cdot \epsilon$ (onde $\epsilon$ é o denominador de implementação do cosseno, tipicamente $10^{-8}$ para fp32).
   • Propósito: Detecta a Degeneração de Medição. Em arquiteturas de LayerNorm terminal, a explosão residual comprime o gradiente de BP para o piso numérico. Quando isso ocorre, a similaridade de cosseno é computada contra o ruído de ponto flutuante em vez de uma direção significativa, tornando a métrica ininterpretável.
3. Utilidade de Profundidade (Diagnóstico 3): Calcula a lacuna entre a acurácia de teste do modelo treinado e uma linha de base de blocos congelados correspondente à arquitetura (onde os blocos residuais são mantidos na inicialização aleatória, e apenas o embedding, LayerNorm e a cabeça são treinados).
   • Limiar: Sinalizar se a lacuna for inferior a 2 pontos percentuais.
   • Propósito: Detecta se a profundidade treinada contribui genuinamente para a predição. Esta verificação é necessária porque mesmo medições de cosseno válidas não garantem que as atualizações na direção do crédito se componham em um treinamento de profundidade útil.

O protocolo também exige o reporte de cosseno por camada, em vez do reporte agregado, para evitar mascarar a heterogeneidade por camada.

Principais Descobertas e Modos de Falha

O artigo identifica dois modos de falha causalmente independentes que as métricas padrão ignoram:

• Modo 1: Degeneração de Medição (Colapso de Referência).
  • Mecanismo: Em arquiteturas residuais com LayerNorm terminal, o crescimento ilimitado do fluxo residual (impulsionado pela forma da perda local) faz com que o gradiente de referência BP diminua inversamente. Eventualmente, a norma do gradiente cai abaixo do piso numérico da implementação do cosseno.
  • Resultado: A similaridade de cosseno reportada é computada contra um resíduo de ponto flutuante normalizado (ruído) em vez da verdadeira direção de BP. Este modo é prevalente em arquiteturas com LayerNorm terminal (ex: ResMLP, ViT-Mini), mas ausente naquelas sem (ex: StudentNet).
• Modo 2: Colapso de Agregação (Heterogeneidade de Camada).
  • Mecanismo: O cosseno agregado faz a média de cossenos por camada que estão concentrados em extremidades opostas da rede. Por exemplo, o FA frequentemente se alinha apenas nas camadas mais profundas, enquanto o DFA se alinha apenas nas camadas mais rasas (embedding).
  • Resultado: O cosseno agregado parece positivo, sugerindo alinhamento, enquanto as camadas profundas (ou camadas rasas, dependendo do método) contribuem com zero crédito alinhado.
• O Cosseno Não Prediz a Utilidade de Profundidade.
  • Mesmo quando o Modo 1 é mitigado (via penalidades de escala) e a medição do cosseno é válida, o alto alinhamento de cosseno não prediz se as camadas profundas melhoram a acurácia. Os autores demonstraram isso usando sondas de "Ponte de Estado" (State Bridge) e "Ponte de Crédito" (Credit Bridge), que mostraram que métodos com menor alinhamento de cosseno poderiam alcançar maior acurácia do que aqueles com maior alinhamento.

Resultados

Os autores validaram o protocolo em múltiplas arquiteturas e configurações:

• Métricas Padrão Falham: Em configurações representativas (ex: ResMLP no CIFAR-10), o FA e o DFA reportaram acurácia não trivial e cosseno agregado positivo. No entanto, o par padrão não deu sinal de que esses métodos falharam em exceder uma linha de base de blocos congelados.
• Sucesso do Protocolo: O protocolo proposto identificou corretamente todas as falhas.
  • O DFA consistentemente disparou o Modo 1 (explosão de escala e colapso de referência) e a falha de Utilidade de Profundidade em arquiteturas com LayerNorm terminal.
  • O FA frequentemente passou pelas verificações do Modo 1 (a referência permaneceu válida), mas falhou na verificação de Utilidade de Profundidade, indicando que, embora a referência fosse mensurável, o sinal de crédito não treinou efetivamente as camadas profundas.
• Independência Causal: Uma intervenção de penalidade (adicionando uma penalidade de escala à perda local) mitigou o Modo 1 (restaurando a validade da referência) sem corrigir imediatamente o Modo 2 (o alinhamento das camadas profundas permaneceu ruim). Isso confirmou que os dois modos de falha são distintos e requerem diagnósticos separados.
• Generalização: Os padrões de falha mantiveram-se no CIFAR-10 e CIFAR-100, e nas arquiteturas ResMLP e ViT-Mini.

Significância e Alegações

O artigo afirma que o protocolo de avaliação padrão para Alinhamento de Feedback é fundamentalmente falho para arquiteturas residuais profundas. Ao depender de acurácia e cosseno agregado, pesquisadores correm o risco de construir sobre métodos onde as camadas profundas são não funcionais ou até prejudiciais ao desempenho.

A significância deste trabalho reside em:

1. Identificar Falhas Silenciosas: Expõe dois mecanismos independentes (degeneração de medição e colapso de agregação) que tornam as métricas padrão informativas.
2. Fornecer um Protocolo de Diagnóstico: Oferece um conjunto concreto e acionável de verificações (Estabilidade de Escala, Validade de Referência, Utilidade de Profundidade) que praticantes podem usar para verificar se um método de FA realmente treina camadas profundas antes de escalar ou implantar.
3. Esclarecer o Papel do Cosseno: Estabelece que o alinhamento de cosseno com o gradiente de BP, mesmo quando medido validamente, não é um proxy suficiente para a utilidade funcional do treinamento de profundidade.

Os autores enfatizam que passar no protocolo não certifica um método como um substituto universal para a retropropagação, mas falhar nele indica que o método não treinou com sucesso as camadas profundas da arquitetura específica testada. O trabalho visa evitar que o campo escale mecanismos de atribuição de crédito não funcionais.