LAYA: Layer-wise Attention Aggregation for Interpretable Depth-Aware Neural Networks

Riepilogo Tecnico: LAYA (Layer-wise Attention Aggregation)

Problematica
Le reti neurali profonde (DNN) si affidano tipicamente esclusivamente alla rappresentazione prodotta dall'ultimo strato nascosto ($h_L$) per generare previsioni. Questa progettazione assume implicitamente che l'embedding più profondo racchiuda completamente tutte le informazioni semantiche rilevanti estratte attraverso le trasformazioni precedenti. Tuttavia, l'evidenza empirica suggerisce che gli strati intermedi contengano informazioni ricche e complementari, che spaziano dai pattern di basso livello alle astrazioni di alto livello. Scartando queste rappresentazioni intermedie nella fase di output, le architetture standard non solo rischiano di perdere informazioni discriminative, ma oscurano anche il contributo dei diversi livelli di astrazione alla decisione finale. Inoltre, i metodi esistenti per interpretare questi contributi sono ampiamente post-hoc, richiedendo un'analisi esterna dopo l'inferenza, piuttosto che essere intrinseci al meccanismo di previsione del modello.

Metodologia
Il documento introduce LAYA (Layer-wise Attention Aggregator), un modulo di output leggero e indipendente dall'architettura, progettato per sostituire lo standard classificatore finale. Invece di proiettare solo l'embedding finale, LAYA aggrega dinamicamente le rappresentazioni interne di tutti gli strati nascosti $\{h_i\}_{i=1}^L$.

Il meccanismo opera come segue:

1. Proiezione: Ogni rappresentazione nascosta $h_i$ viene mappata in uno spazio latente condiviso di dimensione $d^*$ tramite un adapter apprendibile $g_i(\cdot)$, risultando in $z_i = g_i(h_i)$.
2. Scoring: Queste rappresentazioni proiettate sono opzionalmente trasformate da una mappatura condivisa $\psi(\cdot)$ (identità o un leggero MLP) e concatenate. Un MLP di scoring elabora questa concatenazione per produrre punteggi di rilevanza non normalizzati $s(x) \in \mathbb{R}^L$.
3. Attenzione: I punteggi vengono convertiti in coefficienti di attenzione condizionati dall'input $\alpha_i(x)$ utilizzando una softmax con scalatura di temperatura:
   $$\alpha_i(x) = \frac{\exp(s_i(x)/\tau)}{\sum_{j=1}^L \exp(s_j(x)/\tau)}$$
   dove $\tau$ controlla la nitidezza della distribuzione.
4. Aggregazione e Previsione: La rappresentazione aggregata finale è calcolata come una somma pesata $h_{agg} = \sum_{i=1}^L \alpha_i(x) z_i$, che viene poi passata alla testa di output specifica per il task di classificazione.

Fondamentalmente, i pesi di attenzione $\alpha_i(x)$ vengono generati durante il passaggio in avanti (forward pass) come parte del processo di previsione, fungendo da punteggi di attribuzione dello strato intrinseci senza richiedere calcoli di backpropagation aggiuntivi o modelli di spiegazione esterni.

Contributi Chiave

1. Riconsiderazione dello Strato di Output: Il lavoro evidenzia il limite dei convenzionali strati di output che ignorano le rappresentazioni intermedie e propone un passaggio verso un'aggregazione consapevole della profondità (depth-aware).
2. Interpretabilità Intrinseca: LAYA fornisce un meccanismo in cui il processo decisionale del modello è intrinsecamente interpretabile. I coefficienti di attenzione appresi quantificano esplicitamente il contributo di ogni strato alla previsione finale, eliminando la necessità di strumenti di spiegazione post-hoc come Integrated Gradients o Grad-CAM per l'attribuzione a livello di strato.
3. Indipendenza dall'Architettura: Il modulo funziona come un sostituto diretto (drop-in replacement) per gli standard strati di output, lasciando la rete di base (ad esempio, CNN, Transformer, MLP) completamente invariata.
4. Valutazione Completa: Il documento presenta una valutazione rigorosa attraverso tre distinte gerarchie rappresentazionali: un Perceptron Multistrato (MLP) su Fashion-MNIST, una Rete Neurale Convoluzionale (CNN) su CIFAR-10, e un Vision Transformer (ViT) congelato su un compito di classificazione di stili artistici.

Risultati Sperimentali

• Performance Predittiva: LAYA raggiunge prestazioni predittive competitive, e in alcuni casi superiori, rispetto ai baseline standard (LastLayer), alla concatenazione statica (Concat) e al mixing globale (ScalarMix).
  • Su Fashion-MNIST e CIFAR-10, LAYA ha ottenuto l'accuratezza media più elevata tra tutti i modelli testati.
  • Sul dataset Best Artworks, sebbene la concatenazione statica abbia performato meglio, LAYA ha superato significativamente il baseline standard LastLayer, dimostrando che le rappresentazioni intermedie contengono informazioni preziose anche in backbone pre-addestrati e congelati.
• Fedeltà delle Spiegazioni: L'analisi quantitativa tramite Faithfulness (correlazione di Spearman tra i punteggi di attribuzione e gli effetti di perturbazione leave-one-layer-out) e Deletion@1 (calo di confidenza rimuovendo lo strato con il ranking più alto) mostra che i punteggi intrinseci di LAYA sono altamente fedeli.
  • Su Fashion-MNIST, il punteggio di faithfulness di LAYA (0.8575) si è avvicinato a quello dei metodi post-hoc basati sul gradiente (circa 0.89), superando significativamente i pesi globali statici.
  • Sul dataset Best Artworks, LAYA ha ottenuto il punteggio Deletion@1 più alto (0.5787), indicando che lo strato identificato come più rilevante era effettivamente il più influente per la previsione.
• Pattern di Interpretabilità: L'analisi qualitativa ha rivelato un utilizzo della profondità dipendente dal task. Ad esempio, su CIFAR-10, l'attenzione si è concentrata quasi interamente sull'ultimo strato, mentre su Best Artworks, l'attenzione era distribuita in modo sparso tra specifici blocchi intermedi e tardivi del ViT (ad esempio, i blocchi 7, 9, 11, 12), variando in base allo stile artistico.

Significato e Rivendicazioni
Il documento sostiene che LAYA offra un'alternativa fondata al classico "collasso" delle rappresentazioni gerarchiche allo stadio di output. Il suo significato primario non risiede nel dominare universalmente l'accuratezza della classificazione, ma nella sua capacità di combinare prestazioni predittive competitive con un'attribuzione di strato direttamente ispezionabile e dipendente dall'input.

L'autore afferma che LAYA:

• Fornisce interpretabilità intrinseca, rendendo trasparente la dipendenza del modello da specifici livelli di astrazione senza strumenti esterni.
• Rivela pattern strutturati e dipendenti dal task dell'utilizzo della profondità, mostrando che diversi task e persino diverse classi all'interno di un task si affidano a diverse combinazioni di profondità degli strati.
• Offre una base per applicazioni future quali la compressione del modello guidata dall'attenzione (pruning degli strati con attenzione trascurabile), i meccanismi di early-exit adattivi e l'analisi diagnostica dei fallimenti del modello basata sugli spostamenti di attenzione.

Il lavoro conclude che, sebbene il focus sia sulla visione artificiale, il framework è applicabile ad altre architetture di sequenza, offrendo potenzialmente nuovi spunti su come l'informazione venga raffinata attraverso la profondità in modelli come i Transformer.