Technische Samenvatting: Delta Attention Residuals

Probleemstelling

Standaard residualverbindingen in diepe transformers accumuleren alle voorgaande sublaaguitkomsten via vaste additieve coëfficiënten ($h_l = h_{l-1} + f(h_{l-1})$). Hoewel dit gradiëntwegen biedt, ontbreekt er een mechanisme om informatie selectief te aggregeren over de diepte. Attention Residuals (Kimi, 2025) stelden voor om vaste aggregatie te vervangen door geleerde softmax-attention over de uitkomsten van eerdere lagen om selectieve cross-layer routing mogelijk te maken.

Deze paper identificeert echter een kritieke faalmodus in standaard Attention Residuals: routingcollapse door bronredundantie. In Attention Residuals zijn de bronrepresentaties ($s_i$) cumulatieve verborgen toestanden ($h_i = \sum v_j$). Naarmate de diepte toeneemt, delen aangrenzende cumulatieve toestanden een groot gemeenschappelijk voorvoegsel, waardoor hun paarsgewijze gelijkenis toeneemt. Deze redundantie vermindert het contrast in routingkandidaten, waardoor de softmax-attentiongewichten worden gedwongen naar een bijna-uniforme verdeling. Empirisch degradeert het maximale routinggewicht in diepe lagen tot ongeveer 0,2, waardoor het mechanisme ineffectief wordt bij het selecteren van informatieve toestanden en in feite een gemiddelde neemt over alle bronnen.

Methodologie: Delta Attention Residuals

Om bronredundantie aan te pakken, stellen de auteurs Delta Attention Residuals voor, die routeren over delta's (de verandering die door elke sublaag wordt geïntroduceerd) in plaats van over cumulatieve toestanden.

Kernmechanisme

In plaats van te routeren over $s_i = h_i$, roteert de methode over $v_i = h_{i+1} - h_i$, wat de specifieke bijdrage van een sublaag vertegenwoordigt. Dit wordt geïmplementeerd via een additieve routing-formulering:
$$\hat{h}_l = \tilde{h}_l + \sum_i \alpha_{i \to l} \cdot v_i$$
Waarbij:

• $\tilde{h}_l$ de huidige residualstream is (standaard behouden).
• $v_i$ de delta-bronnen zijn (uitkomsten per sublaag).
• $\alpha_{i \to l}$ geleerde attentiongewichten zijn die worden berekend via softmax over genormaliseerde delta's.

Granulariteitsvarianten

Het principe wordt toegepast op twee granulariteiten:

1. Delta AttnRes: Routeert over elke individuele sublaaguitkomst (Attention en MLP), waardoor er $2L$ bronnen zijn voor $L$ lagen.
2. Delta Block: Aggregeert opeenvolgende sublaaguitkomsten binnen een blok tot een enkel blokdelta ($\Delta_b$), waardoor het aantal bronnen wordt gereduceerd tot $\approx L/B$ voor efficiëntie.

Belangrijkste Ontwerpvoordelen

1. Structurele Diversiteit: In tegenstelling tot cumulatieve toestanden die convergeren naar bijna-lineaire relaties, zijn delta's structureel divers omdat attention- en MLP-uitkomsten verschillende subruimtes bezetten en verschillende abstractieniveaus vastleggen. Dit behoudt een hoog routingcontrast (maximaal gewicht $\approx 0,6$).
2. Behoud van Residuals: De additieve formulering behoudt de residualstream, waardoor geen informatie verloren gaat op blokgrenzen (in tegenstelling tot vervangende routing, die de stream verwijdert).
3. Veilige Initialisatie: Met op nul gestelde query-gewichten worden de routinggewichten uniform en wordt de routinguitkomst een begrenste verstoring. Dit reduceert het mechanisme tot een identiteitsafbeelding bij initialisatie, waardoor het fine-tunen van voorgeöefende modellen mogelijk is zonder de geleerde residualstream te verstoren.

Belangrijkste Bijdragen

1. Identificatie van Routingcollapse: De paper toont aan dat bronredundantie in cumulatieve-toestand Attention Residuals zorgt voor een degradatie van de routing-scherpte tot $\sim 0,2$ in diepe lagen, wat leidt tot bijna-uniforme attentionverdelingen.
2. Delta Attention Residuals: Een nieuwe architectuur die roteert over delta's in plaats van cumulatieve toestanden. Dit behoudt scherpe routing ($\sim 0,6$) en presteert consistent beter dan zowel standaard residuals als Attention Residuals over schalen van 220M tot 7,6B parameters.
3. Compatibiliteit met Fine-Tuning: De additieve formulering maakt het mogelijk bestaande voorgeöefende transformers om te zetten in Delta Attention Residuals via standaard fine-tuning, waardoor het probleem van de "vallei in het verlieslandschap" wordt overwonnen, waarbij modellen tijdens fine-tuning geen gebruik maken van cross-layer gewichten.

Experimentele Resultaten

De auteurs evalueerden de methode op modellen met Qwen3-architectuur die vanaf nul werden getraind op FineWeb-Edu en vervolgens werden gefine-tuned op downstream-taken.

• Training vanaf Nul:

  • Prestaties: Delta-methoden presteerden consistent beter dan baselines. Bij de schaal van 1044M bereikte Delta AttnRes een validatieperplexiteit van 29,13 (tegenover 29,70 voor de baseline, een verbetering van -1,9%). Bij de schaal van 7,6B bereikte Delta Block 16,00 PPL (tegenover 17,43 voor de baseline, een verbetering van -8,2%).
  • Falen van Alternatieven: Standaard Attention Residuals (AttnRes) degradeerden aanzienlijk bij grotere schalen (bijvoorbeeld +6,9% slechter dan de baseline bij 1044M) door de cumulatieve informatieverlies door vervangende routing en periodieke resets.
  • Efficiëntie: Hoewel Delta AttnRes per sublaag de beste perplexiteit biedt, veroorzaakt het een hoge geheugendruk. Delta Block (groepering op blokniveau) biedt een praktische standaard, waarbij de kwaliteit van Delta AttnRes wordt benaderd met aanzienlijk lagere geheugen- en doorvoerkosten (bijvoorbeeld 26% geheugendruk versus 3,5x voor volledige Delta AttnRes bij 1044M).

• Fine-Tuning:

  • Bij het fine-tunen van een voorgeöefend Qwen3-0,6B-model bereikte Delta Block een gemiddelde nauwkeurigheid van 55,6% op 8 downstream-benchmarks, beter dan de standaard baseline (55,0%) en AttnRes (54,1%).
  • Cruciaal vermijdt Delta Block de grote verliesspike die bij AttnRes bij initialisatie werd waargenomen; het convergeert soepel dankzij de eigenschappen van veilige initialisatie.

• Routinganalyse:

  • Visualisaties bevestigen dat Delta Block scherpe routing behoudt (maximaal gewicht $\sim 0,6$–$1,0$) door de diepte heen, terwijl AttnRes in diepe lagen collapseert tot $\sim 0,2$.
  • Diepe lagen in Delta-modellen concentreren gewichten selectief op specifieke vroege uitkomsten (inclusief token-embeddings), terwijl AttnRes attention diffuus verdeelt.

Betekenis en Claims

De paper beweert dat Delta Attention Residuals het fundamentele probleem van bronredundantie in cross-layer routing oplossen. Door te routeren over "wat veranderde" (delta's) in plaats van "wat zich ophoopte" (cumulatieve toestanden), maakt de methode selectieve, hoog-contrast routing mogelijk die effectief schaalt naar diepe netwerken.

De auteurs benadrukken dat deze aanpak orthogonaal is ten opzichte van andere architecturale verbeteringen. De primaire betekenis ligt in:

1. Schalbaarheid: Het maakt diepere, effectievere cross-layer verbindingen mogelijk zonder de degradatie die bij eerdere op attention gebaseerde residualmethoden werd waargenomen.
2. Praktijktoepasbaarheid: De additieve formulering en veilige initialisatie maken naadloze integratie van cross-layer routing in bestaande voorgeöefende checkpoints mogelijk via fine-tuning, een capaciteit die eerder werd gehinderd door instabiliteit bij initialisatie.
3. Efficiëntie: De Delta Block-variant biedt een hoogpresterende, laag-overhead oplossing die geschikt is voor training op grote schaal, waarbij routing-expressiviteit wordt gebalanceerd met computatiebeperkingen.