📊 statistics

Influence Malleability in Linearized Attention: Dual Implications of Non-Convergent NTK Dynamics

Deze studie toont aan dat de niet-convergente NTK-dynamiek van lineaire attention leidt tot een fundamenteel compromis waarbij de hoge 'influence malleability' zowel de aanpassingsvermogen aan taakstructuren verbetert als de kwetsbaarheid voor adversarial manipulatie vergroot.

Oorspronkelijke auteurs: Jose Marie Antonio Miñoza, Paulo Mario P. Medina, Sebastian C. Ibañez

Gepubliceerd 2026-03-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jose Marie Antonio Miñoza, Paulo Mario P. Medina, Sebastian C. Ibañez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernboodschap: Waarom "Aandacht" anders werkt dan gewone hersenen

Stel je voor dat je een kunstenaar bent die een schilderij moet maken. Er zijn twee manieren om dit te doen:

De "Stijve" Manier (Gewone Netwerken): Je hebt een strakke lijst met regels. Je kijkt naar de foto's die je hebt, en je past je regels heel langzaam en voorzichtig aan. Als je een nieuwe foto krijgt, verander je je regels maar een heel klein beetje. Dit is stabiel, maar misschien niet altijd de slimste manier om een complex schilderij te maken.
De "Aandacht"-Manier (Attention Mechanisms): Dit is wat moderne AI (zoals de modellen die dit artikel bestuderen) doet. In plaats van vaste regels, kijkt de kunstenaar direct naar elke foto in zijn geheugen en vraagt zich af: "Welke foto's lijken het meest op dit nieuwe plaatje?" Hij past zijn hele kijk op de wereld direct aan op basis van wat hij ziet.

Het grote geheim uit dit artikel:
Wetenschappers dachten dat als je deze "Aandacht"-kunstenaars groot genoeg maakt, ze uiteindelijk net zo stabiel en voorspelbaar zouden worden als de "Stijve" kunstenaars. Dit artikel zegt: Nee, dat doen ze niet. Ze blijven voor altijd flexibel, en dat is zowel hun kracht als hun zwakte.

De Drie Belangrijkste Punten

1. De "Onrustige" Kunstenaar (Niet-convergentie)

In de wiskunde van AI is er een theorie (de NTK-theorie) die zegt: "Als je een netwerk heel groot maakt, gedraagt het zich als een statisch recept."

Het experiment: De auteurs vergrootten hun modellen (van klein tot gigantisch).
Het resultaat: De "Stijve" modellen werden steeds meer zoals het recept. Maar de "Aandacht"-modellen werden juist anders naarmate ze groter werden. Ze bleven hun kijk op de wereld continu aanpassen.
De metafoor: Stel je voor dat je een kompas hebt. Een gewoon kompas wijst altijd naar het noorden (stabiel). Een "Aandacht"-kompas kijkt naar de wind, de wolken en de vogels, en wijst elke seconde naar een andere richting. Hoe groter het kompas, hoe meer het blijft draaien. Het komt nooit tot rust.

2. De "Kleefkracht" van de Gegevens (Invloedsmalleerbaarheid)

Dit is het meest interessante deel. De auteurs introduceerden een nieuw woord: Invloedsmalleerbaarheid.

Wat is het? Het is de mate waarin een model zijn mening verandert als je één foto in zijn geheugen een beetje verwart (bijvoorbeeld een vlekje erop zet).
De vergelijking:
- Een Stijf model is als een oude, stenen muur. Als je een steen eruit haalt of een beetje zand erop strooit, blijft de muur staan. Hij is niet makkelijk te veranderen.
- Een Aandacht-model is als een huis van kaarten. Als je één kaartje een beetje verschuift, kan het hele huis van kaarten van vorm veranderen.
De bevinding: Aandacht-modellen zijn 6 tot 9 keer gevoeliger voor veranderingen in de trainingsdata dan gewone modellen. Ze zijn extreem flexibel.

3. De Twee Gezichten van de Flexibiliteit (De Dubbelzinnige Implicatie)

Deze extreme gevoeligheid heeft twee kanten, net als een tweesnijdend zwaard:

Het Goede (De Superkracht): Omdat het model zo goed kijkt naar de specifieke details van de data, kan het patronen vinden die andere modellen missen. Als je data perfect is, leert het model sneller en maakt het betere voorspellingen. Het past zich perfect aan de taak aan.
Het Slechte (Het Zwakke Punt): Omdat het model zo afhankelijk is van elke individuele foto, is het ook kwetsbaar voor hackers. Als een hacker één foto in de trainingsset een heel klein beetje manipuleert (een "adversarial example"), kan het hele model in de war raken en verkeerde beslissingen gaan nemen. Het is te makkelijk te "ompraten".

Waarom gebeurt dit? (De Wiskundige Reden)

De auteurs ontdekten dat de manier waarop Aandacht werkt, een wiskundige "vermenigvuldiging" veroorzaakt.

Stel je voor dat de data een ruitje is. Een gewoon netwerk kijkt naar één kant van het ruitje.
Aandacht kijkt naar het ruitje, vermenigvuldigt dat met zichzelf, en doet dat nog eens.
Dit zorgt ervoor dat kleine ruisjes in de data enorm worden opgeblazen. Om dit probleem op te lossen en het model "stabil" te maken, zou je een model nodig hebben dat biljoenen keren groter is dan wat we nu hebben. Omdat we dat niet kunnen bouwen, blijven deze modellen altijd in die "onrustige", flexibele staat.

Conclusie voor de Alledaagse Mens

Dit artikel vertelt ons dat de kracht van moderne AI (zoals chatbots en beeldherkenning) direct voortkomt uit een gebrek aan stabiliteit.

Voor de gebruiker: Dit is goed nieuws voor de prestaties. Die modellen zijn slim omdat ze flexibel zijn.
Voor de veiligheid: Dit is een waarschuwing. Omdat ze zo flexibel zijn, zijn ze ook makkelijker te misleiden. Als je een AI wilt bouwen die onmisbaar is, moet je oppassen dat je haar niet te gevoelig maakt voor nep-informatie.

Kortom: Aandacht is als een genie dat voortdurend van mening verandert. Het maakt het briljant, maar ook onvoorspelbaar en kwetsbaar.

Titel: Invloedsmalleerbaarheid in Linearized Attention: Dual Implicaties van Niet-Convergente NTK-dynamiek

Auteurs: Jose Marie Antonio Miñoza, Paulo Mario P. Medina, Sebastian C. Ibañez
Publicatiedatum: Maart 2026 (Preprint)

1. Het Probleem

Hoewel attention-mechanismen (zoals in Transformers) de diep learning-revolutie hebben gedreven, ontbreekt er een strikte theoretische onderbouwing voor hun leerprocessen. Traditionele theorieën, zoals de Neural Tangent Kernel (NTK), voorspellen dat zeer brede neurale netwerken trainen in een "lazy training"-regime (kernel-regime), waarbij de kenmerken (features) statisch blijven en de kernel tijdens het trainen constant is.

De kernvraag die dit paper beantwoordt, is of attention-mechanismen zich gedragen volgens deze NTK-theorie wanneer de breedte van het netwerk toeneemt. Bestaande theorie suggereert dat brede netwerken naar een vaste kernel convergeren, maar dit paper stelt dat attention-mechanismen fundamenteel anders functioneren en niet convergeren naar hun oneindig-brede limiet, zelfs niet bij grote breedtes.

2. Methodologie

De auteurs gebruiken een combinatie van theoretische analyse en empirische experimenten om deze dynamiek te onderzoeken:

Linearized Attention Architectuur: Ze definiëren een parameterloos attention-mechanisme: $f_{att}(X) = X X^T X$ . Dit is een lineaire benadering van standaard softmax-attention (met identiteitsprojecties en een gelineariseerde softmax). Dit ontwerp maakt een exacte karakterisering van de kernel mogelijk.
NTK-analyse: Ze analyseren de afstand tussen het getrainde eindige netwerk ( $f_m$ ) en de oneindig-brede NTK-predictor ( $f_{NTK}$ ).
Influence Malleability (Invloedsmalleerbaarheid): Een nieuw concept dat wordt geïntroduceerd om de gevoeligheid van het model voor trainingsdata te kwantificeren. Het meet hoe snel de "invloed" van specifieke trainingsvoorbeelden op een voorspelling verandert (flip) wanneer de data wordt verstoord (bijv. door adversarial attacks).
Experimenten: Vergelijking tussen een standaard 2-laags ReLU-netwerk (2L-ReLU) en een netwerk met linearized attention (MLP-Attn) op datasets MNIST en CIFAR-10. Er worden diverse perturbatiestrategieën gebruikt (FGSM, PGD, MIM) om de stabiliteit van invloed te testen.

3. Belangrijkste Bijdragen

Niet-convergentie Resultaat: Het paper bewijst empirisch en theoretisch dat linearized attention niet convergeert naar zijn oneindig-brede NTK-limiet. In tegenstelling tot ReLU-netwerken, waarbij de NTK-afstand afneemt naarmate de breedte ( $m$ ) toeneemt, blijft de afstand bij attention-netwerken hoog of neemt zelfs toe.
Spectrale Amplificatie (Theorema 4.7): De auteurs leiden een theoretische oorzaak af: de attention-transformatie kubiceert de conditienummer ( $\kappa$ $κ$ ) van de Gram-matrix ( $G = XX^T$ $G = X X^{T}$ ).
- Voor convergentie is een breedte vereist van $m = \Omega(\kappa(G)^6)$ .
- Voor natuurlijke beelddatasets (waar $\kappa(G) \approx 10^3$ ) betekent dit dat $m \approx 10^{18}$ nodig zou zijn voor convergentie, wat ver buiten praktische bereik ligt.
Invloedsmalleerbaarheid: Ze introduceren "influence malleability" als een meetbaar signaal van attention's gevoeligheid. Attention-netwerken vertonen 6 tot 9 keer hogere malleerbaarheid dan standaard ReLU-netwerken. Dit betekent dat hun reliance op specifieke trainingsvoorbeelden dynamisch en sterk verandert bij perturbaties.
Dual Implicaties (Trade-off): De niet-convergentie en hoge malleerbaarheid hebben twee kanten:
- Voordeel: De data-afhankelijke kernel kan de benaderingsfout (bias) verlagen door zich aan te passen aan de taakstructuur (als de data schoon is).
- Nadeel: Dezelfde gevoeligheid maakt het model kwetsbaarder voor adversarial manipulatie van trainingsdata.

4. Resultaten

NTK-afstand: Op MNIST en CIFAR-10 toont de 2L-ReLU een monotoon dalende NTK-afstand (convergentie naar kernel-regime). De MLP-Attn toont een niet-monotoon of stijgend patroon, wat bevestigt dat het in het feature learning-regime opereert (waar representaties tijdens training evolueren).
Flip Rates: Bij het testen van invloedsmalleerbaarheid (hoe vaak verandert een voorbeeld van "hulpzaam" naar "schadelijk" na perturbatie):
- MNIST: MLP-Attn heeft een flip rate van ~28.9% (PGD) versus 3.3% voor 2L-ReLU.
- CIFAR-10: MLP-Attn heeft ~19.1% versus 3.1% voor 2L-ReLU.
- Dit bevestigt dat attention structureel gevoeliger is voor data-veranderingen.
Adversarial Training: Wanneer ReLU-netwerken worden getraind met adversarial training, neemt hun malleerbaarheid sterk toe (van 3.3% naar 43.4%), wat aantoont dat malleerbaarheid kan worden opgewekt door training, maar dat attention dit inherent bezit door zijn architectuur.
Verlieslandschap: Analyse toont aan dat MLP-Attn een bredere, vlatere minimum vindt in het verlieslandschap (kenmerkend voor feature learning), terwijl ReLU naar een scherper, smaller minimum convergeert.

5. Betekenis en Conclusie

Dit paper biedt een fundamenteel nieuw inzicht in waarom attention-mechanismen zo krachtig maar ook kwetsbaar zijn:

Theoretische Shift: Het weerlegt de aanname dat brede attention-netwerken in het "lazy training"-regime opereren. Ze blijven actief in het "feature learning"-regime, ongeacht de breedte.
Oorzaak van Kwetsbaarheid: De hoge gevoeligheid voor adversarial attacks is geen bijproduct van slechte training, maar een direct gevolg van de architectuur die de Gram-matrix kubiceert en zo de conditie van het probleem verslechtert.
Praktische Implicatie: De "invloedsmalleerbaarheid" is een tweesnijdend zwaard. Het stelt modellen in staat om zich flexibel aan te passen aan complexe datastructuren (lagere bias), maar vereist strikte datakwaliteit om manipulatie te voorkomen.
Toekomstige Richting: De bevindingen suggereren dat NTK-theorie met voorzichtigheid moet worden toegepast op attention-architecturen. Voor robuuste systemen moet rekening worden gehouden met de inherente gevoeligheid van attention voor trainingsdata, of er moeten mechanismen worden ontwikkeld om deze malleerbaarheid te reguleren (bijv. via regularisatie of truncatie van de Gram-matrix).

Kortom, de kracht van attention ligt in zijn vermogen om te leren (feature learning), maar deze kracht komt direct voort uit zijn onvermogen om te convergeren naar een statische kernel, wat het inherent kwetsbaar maakt voor data-manipulatie.