Technische Samenvatting: Dual Attention Residuals (DAR)

Probleemstelling

Recente ontwikkelingen in Transformer-architecturen hebben de residu-paden uitgebreid langs twee complementaire assen: historische extractie en multi-stream residu's.

• Historische Extractie: Methoden zoals Transparent Attention, DenseFormer en Attention Residuals (AttnRes) stellen latere lagen in staat om representaties van eerdere dieptes te ontsluiten. In standaard single-stream extractie komen de representatie die de dieptegewichten bepaalt (het "adres") en de inhoud die wordt opgehaald (de "waarde") uit hetzelfde residu-traject. Dit creëert een "adres-inhoud koppeling", waarbij het selectiemechanisme wordt beperkt door de staat van de enkele stream.
• Multi-Stream Residu's: Methoden zoals Hyper-Connections en mHC breiden het pad uit naar meerdere geleerde trajecten (streams) om informatie te transporteren en te mengen.

Hoewel deze benaderingen afzonderlijk zijn bestudeerd, faalt een eenvoudige combinatie — het uitrusten van elke stream met een onafhankelijke historische extractor — om de interactie tussen streams te benutten. In een dergelijke opzet bepaalt elk traject zijn eigen diepteselectie zonder invloed van de andere, waardoor de complementaire signalen van de ene stream de extractie van de andere niet kunnen sturen. Het kernprobleem dat wordt geadresseerd is of deze twee vrijheidsgraden (diepteselectie en trajectbehoud) productief kunnen interageren om de diversiteit van representaties en de efficiëntie van extractie te verbeteren.

Methodologie: Dual Attention Residuals (DAR)

De auteurs stellen Dual Attention Residuals (DAR) voor, een mechanisme dat multi-stream interactie integreert in diepte-gewijze historische extractie via reciproque cross-stream adressering.

Kernmechanisme

DAR wijzigt het residu-pad rond elke Transformer-tak zonder de interne berekening van de tak (attention of feed-forward) te veranderen. Voor een systeem met twee streams ($j \in \{0, 1\}$):

1. Reciproque Key-Value Routing: Voor een doel-stream $j$ worden de dieptegewichten berekend met behulp van keys afgeleid van de tegenovergestelde stream ($1-j$), terwijl de values worden opgehaald uit de geschiedenis van de doel-stream zelf ($j$).
   • $k^j_r = \text{Norm}(H^{1-j}_r)$ (Key van de tegenovergestelde stream)
   • $v^j_r = H^j_r$ (Value van de eigen stream)
   • Dit stelt de tegenovergestelde stream in staat om een complementair signaal te leveren voor het selecteren van historische dieptes, zelfs als de eigen representatie van de doel-stream niet sterk zou matchen met de query.
2. State Mixing en Gated Writes: De geëxtraheerde staten van beide streams worden gemengd om de input voor de onveranderde Transformer-tak te vormen. De output van de tak wordt vervolgens gebruikt om beide residu-trajecten bij te werken via gated writes en constrained mixing.
   • Een gating-mechanisme ($\alpha$) mengt de geëxtraheerde staten.
   • Een transportmechanisme ($\rho$) en een write gate ($\beta$) werken de gedeeltelijke block-staat bij, wat zorgt voor een stabiele transport van bestaande gedeeltelijke staten binnen een block.

Varianten

• Full DAR: Werkt op de laag-granulariteit ($K=1$), waarbij elke Transformer-laag een voltooide entry bijdraagt aan de doorzoekbare geschiedenis.
• Block DAR: Verdeelt lagen in blocks van grootte $K$. Het extraheert uit voltooide block-geschiedenissen en bevat optioneel de huidige gedeeltelijke block-staat als kandidaat. Dit vermindert de overhead door op grovere diepte-granulariteiten te opereren.

Ontwerpvergelijkingen

Het artikel evalueert verschillende routing-varianten om de bijdrage van cross-stream interactie te isoleren:

• DAR-SelfKV: Zowel keys als values komen uit dezelfde stream (standaard single-stream extractie per stream).
• DAR-CrossV: Keys uit de eigen stream, values uit de tegenovergestelde stream.
• DAR-FixedKV: Vaste toewijzing (Stream 0 keys, Stream 1 values voor beide).
• DAR (Voorgesteld): Reciproque cross-stream keys met eigen-stream values.

Belangrijkste Bijdragen

1. Interactie van Trajecten: Het artikel toont aan dat onafhankelijk evoluerende residu-trajecten niet alleen als parallelle informatiewegen kunnen dienen, maar ook als complementaire signalen voor het selecteren van historische dieptes.
2. DAR Architectuur: De voorstel van een mechanisme dat deze interactie realiseert via reciproque cross-stream keys en eigen-stream values, terwijl de Transformer-takken ongewijzigd blijven.
3. Empirische Validatie: Uitgebreide experimenten over dense modellen (0.1B tot 1B parameters) en een 7B sparse-MoE model, die consistente verbeteringen laten zien ten opzien van standaard residu's en Attention Residuals.
4. Analyse van Redundantie: Via representatie-geometrie (CKA) en interventie-analyse tonen de auteurs aan dat DAR de diepte-wijze diversiteit behoudt en de functionele onbalans of redundantie voorkomt die wordt waargenomen bij alternatieve two-stream ontwerpen.

Experimentele Resultaten

De auteurs evalueerden DAR onder gelijke trainingsbudgetten tegenover standaard residu-verbindingen, Attention Residuals (AttnRes) en mHC.

• Validatieverlies: DAR behaalde consequent het laagste validatieverlies.
  • In de 1B dense setting presteerde DAR-Block beter dan zowel de residu-baseline als AttnRes-Block.
  • In de 7B sparse-MoE setting behaalde DAR het laagste verlies, waarbij de trainingscurves gedurende de hele training onder de baselines bleven.
  • Over 0.1B, 0.3B en 0.5B dense modellen verminderden DAR-varianten het validatieverlies met 2.03% tot 5.12% ten opzichte van de residu-baseline.
• Efficiëntie: Hoewel DAR een hogere computationele kosten met zich meebrengt dan standaard residu's (ongeveer 17.5% reductie in throughput in 7B MoE door cross-stream extractie en gating), blijft het competitief met AttnRes. De geheugenoverhead wordt primair gedreven door het historische extractiemechanisme zelf, waarbij de cross-stream routing een kleinere, meetbare kostenpost toevoegt.
• Ablatie-studies:
  • Routing: De winst wordt niet verklaard door extra value-projecties (SepV) of eenvoudige cross-stream value-aggregatie. De specifieke reciproque cross-stream key / eigen-stream value routing (DAR) leverde de beste prestaties.
  • Redundantie: Analyse via Cross-Stream Lineaire CKA toonde aan dat DAR een lage gelijkenis behoudt tussen niet-overeenkomstige dieptes, wat duidt op onderscheidende trajecten. In contrast hiermee vertoonden varianten zoals DAR-SelfKV en mHC-2 brede gebieden met hoge gelijkenis, wat wijst op redundantie.
  • Interventie: "Rescue gain"-analyse onthulde dat in DAR het behouden van één van de streams de schone output aanzienlijk beter herstelt dan het behouden van geen van beide. In contrast hiermee vertoonden andere varianten (zoals DAR-SelfKV) een sterke asymmetrie, waarbij één stream functioneel dominant werd terwijl de andere onderbenut bleef.

Betekenis en Claims

Het artikel claimt dat DAR er succesvol in slaagt om multi-stream flexibiliteit naar diepte-wijze extractie te brengen. Door één traject de diepteselectie van een ander te laten beïnvloeden, stelt DAR het model in staat om historische contexten te ontsluiten die door een single-stream extractor mogelijk gemist zouden worden.

De auteurs benadrukken dat de prestatiewinsten niet louter te danken zijn aan de aanwezigheid van een extra stream of value-projectie, maar specif kind aan de reciproque cross-stream selectie mechanism. Dit ontwerp bewaart de diepte-wijze diversiteit en voorkomt de functionele onbalans waarbij de ene stream de andere domineert, een veelvoorkomend probleem in alternatieve two-stream ontwerpen. Het werk suggereert dat historische extractie en multi-stream topologieën niet wederzijds uitsluitend zijn, maar synergetisch gecombineerd kunnen worden om de Transformer-representatie-lering te verbeteren.