Sintesi Tecnica: Dual Attention Residuals (DAR)

Problematica

I recenti progressi nelle architetture Transformer hanno esteso i percorsi residuali lungo due assi complementari: recupero storico e residui multi-stream.

• Recupero Storico: Metodi come Transparent Attention, DenseFormer e Attention Residuals (AttnRes) consentono agli strati successivi di accedere alle rappresentazioni di profondità precedenti. Nel recupero standard a singolo stream, la rappresentazione che determina i pesi di profondità (l' "indirizzo") e il contenuto recuperato (il "valore") originano dalla stessa traiettoria residuale. Ciò crea un "accoppiamento indirizzo-contenuto" in cui il meccanismo di selezione è vincolato dallo stato del singolo stream.
• Residui Multi-Stream: Metodi come Hyper-Connections e mHC espandono il percorso in più traiettorie apprese (stream) per trasportare e miscelare le informazioni.

Sebbene questi approoli siano stati studiati isolatamente, una combinazione diretta — dotare ogni stream di un recuperatore storico indipendente — non riesce a sfruttare l'interazione tra gli stream. In tale configurazione, ogni traiettoria determina la propria selezione di profondità senza l'influenza dell'altro, impedendo ai segnali complementari di uno stream di guidare il recupero dell'altro. Il problema centrale affrontato è se questi due gradi di libertà (selezione della profondità e mantenimento della traiettoria) possano interagire produttivamente per migliorare la diversità delle rappresentazioni e l'efficienza del recupero.

Metodologia: Dual Attention Residuals (DAR)

Gli autori propongono Dual Attention Residuals (DAR), un meccanismo che integra l'interazione multi-stream nel recupero storico per profondità attraverso il routing incrociato reciproco tra stream.

Meccanismo Core

DAR modifica il percorso residuale attorno a ogni ramo Transformer senza alterare il calcolo interno del ramo (attenzione o feed-forward). Per un sistema con due stream ($j \in \{0, 1\}$):

1. Routing Chiave-Valore Reciproco: Per un target stream $j$, i pesi di profondità vengono calcolati utilizzando le chiavi derivate dallo stream opposto ($1-j$), mentre i valori sono recuperati dalla storia dello stesso stream target ($j$).
   • $k^j_r = \text{Norm}(H^{1-j}_r)$ (Chiave dallo stream opposto)
   • $v^j_r = H^j_r$ (Valore dallo stream di sé)
   • Ciò consente allo stream opposto di fornire un segnale complementare per la selezione delle profondità storiche, anche se la rappresentazione dello stream target stesso non corrisponderebbe fortemente alla query.
2. Miscelazione dello Stato e Scritture Gated: Gli stati recuperati da entrambi gli stream vengono miscelati per formare l'input per l'invariante ramo Transformer. L'output del ramo viene poi utilizzato per aggiornare entrambe le traiettorie residuali tramite scritture gated (a porta) e miscelazione vincolata.
   • Un meccanismo di gating ($\alpha$) miscela gli stati recuperati.
   • Un meccanismo di trasporto ($\rho$) e una porta di scrittura ($\beta$) aggiornano lo stato parziale del blocco, garantendo un trasporto stabile degli stati parziali esistenti all'interno di un blocco.

Varianti

• Full DAR: Opera a granularità di strato ($K=1$), dove ogni strato Transformer contribuisce con un'entrata completata alla storia recuperabile.
• Block DAR: Partiziona gli strati in blocchi di dimensione $K$. Recupera dalle storie dei blocchi completati e include opzionalmente lo stato parziale del blocco corrente come candidato. Ciò riduce l'overhead operando su granularità di profondità più grossolane.

Confronti di Design

Il paper valuta diverse varianti di routing per isolare il contributo dell'interazione cross-stream:

• DAR-SelfKV: Sia le chiavi che i valori provengono dallo stesso stream (recupero standard a singolo stream per ogni stream).
• DAR-CrossV: Chiavi dallo stream di sé, valori dallo stream opposto.
• DAR-FixedKV: Assegnazione fissa (Stream 0 chiavi, Stream 1 valori per entrambi).
• DAR (Proposto): Chiavi incrociate reciproche tra stream con valori dello stesso stream.

Contributi Chiave

1. Interazione delle Traiettorie: Il paper dimostra che le traiettorie residuali che evolvono indipendentemente possono servire non solo come percorsi informativi paralleli, ma anche come segnali complementari per la selezione delle profondità storiche.
2. Architettura DAR: La proposta di un meccanismo che realizza questa interazione attraverso chiavi incrociate reciproche tra stream e valori dello stesso stream, lasciando invariati i rami Transformer.
3. Validazione Empirica: Esperimenti completi su modelli densi (da 0.1B a 1B di parametri) e un modello sparse-MoE da 7B, che mostrano miglioramenti costanti rispetto ai residuali standard e a Attention Residuals.
4. Analisi della Ridondanza: Attraverso la geometria delle rappresentazioni (CKA) e l'analisi di intervento, gli autori dimostrano che DAR preserva la diversità per profondità ed evita lo squilibrio funzionale o la ridondanza osservata in design a due stream alternativi.

Risultati Sperimentali

Gli autori hanno valutato DAR sotto budget di addestramento equivalenti rispetto ai collegamenti residuali standard, Attention Residuals (AttnRes) e mHC.

• Validation Loss: DAR ha costantemente ottenuto la validation loss più bassa.
  • Nell'impostazione 1B dense, DAR-Block ha superato sia il baseline residuale che AttnRes-Block.
  • Nell'impostazione 7B sparse-MoE, DAR ha ottenuto la loss più bassa, con curve di addestramento che sono rimaste al di sotto dei baseline durante tutto l'addestramento.
  • Nei modelli densi da 0.1B, 0.3B e 0.5B, le varianti DAR hanno ridotto la validation loss dal 2.03% al 5.12% rispetto al baseline residuale.
• Efficienza: Sebbene DAR comporti un costo computazionale superiore rispetto ai residuali standard (circa il 17.5% di riduzione del throughput nel 7B MoE a causa del recupero cross-stream e del gating), rimane competitivo con AttnRes. L'overhead di memoria è guidato principalmente dal meccanismo di recupero storico, con il routing cross-stream che aggiunge un costo minore e misurabile.
• Studi di Ablazione:
  • Routing: Il guadagno non è spiegato da proiezioni di valore aggiuntive (SepV) o semplice aggregazione di valori cross-stream. Il routing specifico chiave incrociata reciproca / valore dello stesso stream (DAR) ha prodotto le prestazioni migliori.
  • Ridondanza: L'analisi della CKA lineare cross-stream ha mostrato che DAR mantiene una bassa similarità tra profondità non accoppiate, indicando traiettorie distinte. Al contrario, varianti come DAR-SelfKV e mHC-2 mostrano ampie regioni di alta similarità, suggerendo ridondanza.
  • Intervento: L'analisi del "guadagno di salvataggio" (rescue gain) ha rivelato che in DAR, mantenere uno qualsiasi degli stream recupera l'output pulito significativamente meglio rispetto al non mantenerne nessuno. Al contrario, altre varianti (come DAR-SelfKV) mostravano una forte asimmetria, dove uno stream diventava funzionalmente dominante mentre l'altro era sottoutilizzato.

Significato e Rivendicazioni

Il paper sostiene che DAR riesce a portare la flessibilità multi-stream nella ricerca per profondità. Permettendo a una traiettoria di influenzare la selezione della profondità di un'altra, DAR consente al modello di accedere a contesti storici che potrebbero essere persi da un recuperatore a singolo stream.

Gli autori sottolineano che i guadagni di prestazione non sono dovuti semplicemente alla presenza di uno stream aggiuntivo o di una proiezione di valore, ma specificamente al meccanismo di selezione incrociata reciproca tra stream. Questo design preserva la diversità per profondità ed evita lo squilibrio funzionale in cui uno stream domina l'altro, un problema comune nelle alternative a due stream. Il lavoro suggerisce che il recupero storico e le topologie multi-stream non sono mutuamente esclusivi ma possono essere combinati sinergicamente per migliorare l'apprendimento delle rappresentazioni nei Transformer.