LAYA: Layer-wise Attention Aggregation for Interpretable Depth-Aware Neural Networks

Resumo Técnico: LAYA (Layer-wise Attention Aggregation)

Problema
As redes neurais profundas (DNNs) tipicamente dependem exclusivamente da representação produzida pela última camada oculta ($h_L$) para gerar previsões. Este design assume implicitamente que o embedding mais profundo encapsula plenamente todas as informações semânticas relevantes extraídas através das transformações precedentes. No entanto, evidências empíricas sugerem que as camadas intermediárias contêm informações ricas e complementares, variando de padrões de baixo nível a abstrações de alto nível. Ao descartar essas representações intermediárias na etapa de saída, as arquiteturas padrão não apenas perdem potencialmente informações discriminativas, mas também obscurecem a contribuição de diferentes níveis de abstração para a decisão final. Além disso, os métodos existentes para interpretar essas contribuições são majoritariamente post-hoc, exigindo análise externa após a inferência, em vez de serem intrínsecos ao mecanismo de previsão do modelo.

Metodologia
O artigo introduz o LAYA (Layer-wise Attention Aggregator), um módulo de saída leve e agnóstico à arquitetura, projetado para substituir o cabeçalho de classificação padrão. Em vez de projetar apenas o embedding final, o LAYA agrega dinamicamente as representações internas de todas as camadas ocultas $\{h_i\}_{i=1}^L$.

O mecanismo opera da seguinte forma:

1. Projeção: Cada representação oculta $h_i$ é mapeada em um espaço latente compartilhado de dimensão $d^*$ através de um adaptador treinável $g_i(\cdot)$, resultando em $z_i = g_i(h_i)$.
2. Pontuação (Scoring): Estas representações projetadas são opcionalmente transformadas por um mapeamento compartilhado $\psi(\cdot)$ (identidade ou um MLP leve) e concatenadas. Um MLP de pontuação processa esta concatenação para produzir escores de relevância não normalizados $s(x) \in \mathbb{R}^L$.
3. Atenção: Os escores são convertidos em coeficientes de atenção condicionados à entrada $\alpha_i(x)$ usando um softmax com escala de temperatura:
   $$\alpha_i(x) = \frac{\exp(s_i(x)/\tau)}{\sum_{j=1}^L \exp(s_j(x)/\tau)}$$
   onde $\tau$ controla a nitidez da distribuição.
4. Agregação e Previsão: A representação agregada final é computada como uma soma ponderada $h_{agg} = \sum_{i=1}^L \alpha_i(x) z_i$, que é então passada para o cabeçalho de saída específico da tarefa para classificação.

Crucialmente, os pesos de atenção $\alpha_i(x)$ são gerados durante o forward pass como parte do processo de previsão, servindo como escores de atribuição de camada intrínsecos sem exigir computações de retropropagação adicionais ou modelos de explicação externos.

Principais Contribuições

1. Revisitando a Camada de Saída: O trabalho destaca a limitação dos cabeçalhos de saída convencionais que ignoram representações intermediárias e propõe uma mudança em direção à agregação consciente da profundidade (depth-aware aggregation).
2. Interpretabilidade Intrínseca: O LAYA fornece um mecanismo onde o processo de decisão do modelo é inerentemente interpretável. Os coeficientes de atenção aprendidos quantificam explicitamente a contribuição de cada camada para a previsão final, eliminando a necessidade de ferramentas de explicação post-hoc como Integrated Gradients ou Grad-CAM para atribuição de nível de camada.
3. Agnosticismo de Arquitetura: O módulo funciona como um substituto direto (drop-in replacement) para cabeçalhos de saída padrão, deixando a rede principal (ex: CNNs, Transformers, MLPs) completamente inalterada.
4. Avaliação Abrangente: O artigo apresenta uma avaliação rigorosa através de três hierarquias de representação distintas: um Perceptron Multicamadas (MLP) no Fashion-MNIST, uma Rede Neural Convolucional (CNN) no CIFAR-10 e um Vision Transformer (ViT) congelado em uma tarefa de classificação de estilo artístico.

Resultos Experimentais

• Desempenho Preditivo: O LAYA alcança um desempenho preditivo competitivo, e em alguns casos superior, em comparação com baselines padrão (LastLayer), concatenação estática (Concat) e mistura global (ScalarMix).
  • No Fashion-MNIST e CIFAR-10, o LAYA alcançou a maior acurácia média entre todos os cabeçalhos testados.
  • No dataset Best Artworks, embora a concatenação estática tenha tido o melhor desempenho, o LAYA superou significativamente o baseline padrão LastLayer, demonstrando que representações intermediárias contêm informações valiosas mesmo em backbones pré-treinados congelados.
• Fidelidade das Explicações: A análise quantitativa usando Faithfulness (correlação de Spearman entre escores de atribuição e efeitos de perturbação leave-one-layer-out) e Deletion@1 (queda de confiança ao remover a camada de maior ranking) mostra que os escores intrínsecos do LAYA são altamente fiéis.
  • No Fashion-MNIST, o escore de fidelidade do LAYA (0,8575) aproximou-se do de métodos baseados em gradiente post-hoc (aprox. 0,89), superando significativamente os pesos globais estáticos.
  • No dataset Best Artworks, o LAYA alcançou o maior escore de Deletion@1 (0,5787), indicando que a camada que ele identificou como mais relevante era, de fato, a mais influente para a previsão.
• Padrões de Interpretabilidade: A análise qualitativa revelou o uso da profundidade dependente da tarefa. Por exemplo, no CIFAR-10, a atenção concentrou-se quase inteiramente na última camada, enquanto no Best Artworks, a atenção distribuiu-se de forma esparsa por blocos específicos e tardios do ViT (ex: blocos 7, 9, 11, 12), variando conforme o estilo artístico.

Significância e Alegações
O artigo postula que o LAYA oferece uma alternativa principada ao "colapso" padrão das representações hierárquicas na etapa de saída. Sua principal significância não reside em dominar universalmente a acurácia de classificação, mas em sua capacidade de combinar um desempenho preditivo competitivo com atribuição de camada dependente da entrada e diretamente inspecionável.

O autor afirma que o LAYA:

• Fornece interpretabilidade intrínseca, tornando transparente a dependência do modelo de níveis de abstração específicos sem ferramentas externas.
• Revela padrões estruturados e dependentes da tarefa de utilização da profundidade, mostrando que diferentes tarefas e até diferentes classes dentro de uma tarefa dependem de diferentes combinações de profundidades de camada.
• Oferece uma base para aplicações futuras, como compressão de modelo guiada por atenção (podagem de camadas com atenção negligenciável), mecanismos de saída antecipada adaptativos (early-exit) e análise diagnóstica de falhas do modelo baseadas em mudanças de atenção.

O trabalho conclui que, embora o foco seja visão computacional, o framework é aplicável a outras arquiteturas de sequência, oferecendo potencialmente novos insights sobre como a informação é refinada através da profundidade em modelos como Transformers.