Technische Samenvatting: Multi-Head Attention als Ensemble van Nadaraya-Watson Schatters

1. Probleemstelling

Hoewel de empirische superioriteit van Multi-Head Attention (MHA) ten opzichte van single-head attention in Transformer-architecturen goed is vastgesteld, blijven de statistische mechanismen die aan deze prestatiekloof ten grondslag liggen theoretisch onderbelicht. Bestaande literatuur heeft een algebraïsche equivalentie vastgesteld tussen single-head softmax attention en Nadaraya-Watson (NW) kernel-regressie. Deze equivalentie is echter niet uitgebreid naar de multi-head setting om uit te leggen waarom meerdere heads de prestaties verbeteren.

Specifiek suggereert de standaard ensemble-leertheorie dat het middelen van schatters de variantie verlaagt. Deze rechtvaardiging is echter ontoereikend voor MHA omdat:

1. Single-head attention (als NW-schatter) al een variantie-arme kernel-smoorder is, in tegenstelling tot variantie-rijke basisleerders (zoals beslisbomen) waarbij de variantievermindering door ensemble-methoden het meest dramatisch is.
2. De variantievermindering in MHA afhankelijk is van de decorrelatie van de heads. Als heads identiek zijn, levert middelen geen voordeel op; als ze divers zijn, wordt het voordeel gemaximaliseerd.

Het artikel adresseert het gebrek aan een rigoureuze statistische theorie die de voorwaarden verklaart waaronder MHA de fout verlaagt, de rol van head-diversiteit, en de optimale architecturale configuratie (aantal heads versus dimensie per head) onder een vast computatiebudget.

2. Methodologie

Het artikel ontwikkelt een rigoureus statistisch kader door MHA te behandelen als een gestructureerd ensemble van NW-schatters. De methodologie verloopt via de volgende stappen:

• Algebraïsche Grondslag: Het bouwt voort op de gevestigde identiteit dat een enkele attention-head algebraïsch identiek is aan een NW-schatter met een exponentiële kernel en bandbreedte $h = 1/\sqrt{d_k}$, waarbij $d_k$ de projectiedimensie is.
• Ensemble-Decompositie: De MHA-uitvoer wordt geformaliseerd als een gewogen som van $H$ NW-schatters, waarbij elke schatter opereert in een distinct, geleerd projectie-onderruimte van de key-ruimte, gedefinieerd door matrices $W_K^h$.
• Bias-Variantie-Covariantie-analyse: De auteurs leiden een exacte decompositie af van de Mean Squared Error (MSE) voor het MHA-ensemble. Deze decompositie scheidt expliciet de ensemble-bias, de gewogen som van individuele head-varianties, en de cross-head covariantie-termen.
• Geometrische Analyse van Diversiteit: Om de relatie tussen heads te kwantificeren, maakt het artikel gebruik van de hoofdhoeckels tussen de onderruimten die worden opgespannen door de key-projectiematrices ($Range(W_K^h)$). De overlap tussen deze onderruimten wordt gemeten via de cross-Gram-matrix $G_{hh'} = (W_K^h)^\top W_K^{h'} / d_k$.
• Optimalisatie onder Beperkingen: Het artikel lost de optimale architectuur op door de afgeleide MSE-grens te minimaliseren, onderworpen aan een totale dimensie-budgetbeperking ($H \cdot d_k = D$), waarbij de afweging wordt gemaakt tussen bias (beïnvloed door bandbreedte) en variantie (beïnvloed door het aantal heads).

3. Belangrijkste Bijdragen en Resultaten

A. De Ensemble NW-Decompositie (Stelling 3.1)

Het artikel bewijst dat de MSE van MHA bestaat uit drie termen:
$$MSE_H = (\text{Ensemble Bias})^2 + \sum \alpha_h^2 V_h + \sum_{h \neq h'} \alpha_h \alpha_{h'} C_{hh'}$$
Cruciaal is dat de analyse aantoont dat de cross-head covariantie ($C_{hh'}$) de kritieke factor is die de statistische efficiëntie bepaalt. Variantievermindering is niet automatisch; deze treedt alleen op als de covariantietermen voldoende klein zijn (d.w.z. als de heads gedecorreleerd zijn).

B. De Head Diversity Index (HDI) en Stelling 4.2

De auteurs introduceren de Head Diversity Index (HDI), een spectrale maatstaf die berekenbaar is vanuit de singuliere waarden van de cross-Gram-matrices:
$$HDI = 1 - \frac{2}{H(H-1)} \sum_{h < h'} \|G_{hh'}\|_F^2$$

• Resultaat: De geïntegreerde MSE is monotoon niet-stijgend met betrekking tot de HDI.
• Implicatie: Maximale variantievermindering wordt bereikt wanneer projectie-onderruimten orthogonaal zijn (HDI = 1), terwijl identieke projecties (HDI = 0) geen variantievermindering opleveren. Dit biedt een theoretische maatstaf voor de "diversiteit" van attention-heads.

C. De Decorrelatie-Optimaliteitstelling (Stelling 5.1)

Het artikel karakteriseert de optimale projectiematrices die de MSE minimaliseren.

• Resultaat: De MSE wordt geminimaliseerd wanneer de key-projectiematrices een benaderde orthogonaliteitsvoorwaarde voldoen: $(W_K^h)^\top W_K^{h'} \approx 0$ voor $h \neq h'$.
• Betekenis: Dit biedt de eerste rigoureuze theoretische verklaring voor het empirisch waargenomen fenomeen van head-specialisatie (waarbij verschillende heads aandacht schenken aan verschillende linguïstische kenmerken zoals syntaxis of semantiek). Het artikel betoogt dat trainingsdruk heads naar orthogonale onderruimten drijft om de HDI te maximaliseren en de ensemble-fout te minimaliseren.

D. Wet van Optimale Architectuur-Schaling (Stelling 6.1)

Onder een vast budget $D = H \cdot d_k$ leidt het artikel de optimale toewijzing van dimensies af tussen het aantal heads ($H$) en de dimensie per head ($d_k$).

• Resultaat: De optimale per-head dimensie $d_k^*$ groeit slechts logaritmisch met de steekproefgrootte $n$ ($d_k^* \sim (\log n)^{2/(4+d)}$), terwijl het optimale aantal heads $H^*$ bijna lineair groeit met het budget $D$.
• Implicatie: De theorie ondersteunt het ontwerpprincipe om vele kleine heads te gebruiken in plaats van enkele grote heads, mits de heads gedecorreleerd kunnen worden.

E. Gestructureerde Weging (Stelling 7.1)

Voorbij uniform middelen ($\alpha_h = 1/H$) past het artikel algemene ensemble-wegingstheorie toe.

• Resultaat: Als heads worden gesorteerd op kwaliteit (consistentierates), kan geometrische weging (of Fibonacci-weging) een snellere MSE-daling bereiken dan uniform middelen, met name wanneer de head-kwaliteit heterogeen is.

4. Betekenis en Beweringen

Het artikel beweert de eerste rigoureuze statistische theorie te bieden die de effectiviteit van Multi-Head Attention verklaart door de lens van ensemble-leer en kernel-regressie. De primaire betekenis ligt in:

1. Unificerende Theorie: Het verenigt drie stromingen van eerdere werken: single-head NW-regressietheorie, algemene ensemble-wegingstheorie, en de decorrelatie-variantievermindering-isomorfie die wordt aangetroffen in biologische systemen (mierenkolonies) en Random Forests.
2. Mechanisme van Specialisatie: Het herformuleert "head-specialisatie" niet als een toevallig bijproduct van schaal, maar als de empirische manifestatie van een statistische optimaliteitsvoorwaarde (orthogonale projecties die covariantie minimaliseren).
3. Architecturale Gids: Het leidt een schalingswet af die suggereert dat voor grote datasets het verhogen van het aantal heads gunstiger is dan het vergroten van de dimensie van individuele heads, mits het totale dimensiebudget vaststaat.
4. Universeel Principe: Het artikel postuleert dat MHA de instantiatie is van een universeel principe in de Transformer: Gekrandomiseerde identieke agenten + diversiteit afdwingende mechanismen (orthogonale projecties) $\rightarrow$ emergente optimaliteit via variantievermindering.

De auteurs concluderen dat de mierenkolonie, de Random Forest en de Transformer drie realisaties zijn van dezelfde wiskundige waarheid met betrekking tot collectieve intelligentie en variantievermindering door decorrelatie.