💻 computer science

Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures

Dit artikel toont aan dat, ondanks fundamenteel verschillende microscopische mechanismen, zowel Transformer- als Mamba-architecturen een gedeelde, bijna-marginale infrarode collectieve dynamiek ontwikkelen die wordt gekenmerkt door een slow-mode continuüm, waardoor de universaliteit van een dergelijke organisatie verder reikt dan Transformers en voorspellingen vanuit de Cognitive Field Theory ondersteunt.

Oorspronkelijke auteurs: Byung Gyu Chae

Gepubliceerd 2026-08-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Byung Gyu Chae

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het uitgestrekte landschap van kunstmatige intelligentie zoeken onderzoekers al lang naar manieren om te begrijpen hoe machines leren om te onthouden. Er zijn twee dominante families van modellen opgekomen om sequenties van informatie te verwerken, zoals woorden in een zin of frames in een video. De eerste familie, bekend als Transformers, vertrouwt op een mechanisme genaamd zelf-aandacht (self-attention), waardoor het model de belangrijkheid van elk stukje informatie ten opzichte van elk ander stukje informatie tegelijkertijd kan wegen. De tweede familie, vertegenwoordigd door nieuwere modellen zoals Mamba, gebruikt een andere aanpak gebaseerd op toestandsruimte-dynamiek (state-space dynamics), waarbij het model een interne toestand behoudt die in de loop van de tijd evolueert en zijn geheugen bijwerkt terwijl het elk nieuw stukje data verwerkt. Jarenlang hebben wetenschappers zich afgevraagd of deze twee fundamenteel verschillende manieren van denken over tijd en geheugen er in werkelijkheid toe zouden kunnen leiden dat ze diep binnen de machine hetzelfde onderliggende gedrag vertonen. Deze vraag is van belang omdat als verschillende architecturen convergeren naar dezelfde patronen, dit suggereert dat het vermogen om te leren en te onthouden wordt beheerst door universele principes in plaats van alleen door de specifieke technische keuzes van de ontwerpers.

Een onderzoeker zette zich scharpe om deze hypothese te testen door in een getraind Mamba-model te kijken om te zien hoe hun geheugen werkelijk werkt. De focus lag op een specifieke eigenschap genaamd de "tijdschaal-toestandsdichtheid" (time-scale density of states), wat in essentie een kaart is die laat zien hoeveel verschillende snelheden van geheugen het model bezit. Stel je een bibliotheek voor waar boeken niet worden gesorteerd op onderwerp, maar op hoe snel ze uit het geheugen van een lezer vervagen. Sommige boeken worden binnen enkele seconden vergeten, andere binnen minuten, en sommige blijven jarenlang hangen. De onderzoeker wilde de verdeling van deze "vervagingssnelheden" in het Mamba-model onderzoeken. De onderzoeker wist dat Mamba beschikt over een ingebouwd geheugenmechanisme dat in lagen kan worden onderzocht: eerst de ruwe, interne geheugensnelheden die in het ontwerp zijn gecodeerd; daarna hoe die snelheden veranderen afhankelijk van de specifieke input die het ontvangt; en tot slot de collectieve geheugensnelheid van de gehele blok na alle complexe berekeningen te hebben voltooid.

De onderzoeker ontdekte dat deze drie lagen niet hetzelfde zijn. Het ruwe interne geheugen van het Mamba-model begint met een breed scala aan snelheden, maar terwijl het model informatie verwerkt, schaalt het deze snelheden selectief bij op basis van wat het leest. Deze input-afhankelijke aanpassing is een uniek kenmerk van Mamba, waardoor het de interne klok kan vertragen of versnellen afhankelijk van de context. Echter, de meest verrassende bevinding kwam toen de onderzoeker naar de uiteindelijke, collectieve output van de gehele modelblok keek. Ondanks de complexe reorganisatie van snelheden binnenin, settlede het uiteindelijke resultaat in een zeer specifiek, stabiel patroon. Wanneer de onderzoeker de geheugensnelheden over verschillende sequentielengtes mat, werd vastgesteld dat het model consistent een breed, continuüm van zeer trage geheugens ontwikkelde. Deze trage geheugens verdwenen niet; in plaats daarvan vormden ze een glad, voorspelbaar continuüm dat duidelijker en meer gedefinieerd werd naarmate het model langere sequenties aan data verwerkte.

Om te begrijpen of dit een eigenaardigheid van het Mamba-ontwerp was of een algemene regel voor intelligente systemen, vergeleek de onderzoeker de bevindingen met het gedrag van Transformer-modellen. Transformers hebben niet dezelfde interne toestandsruimte-machinerie als Mamba; zij vertrouwen op aandachtmechanismen in plaats daarvan. Toch, toen de onderzoeker de collectieve geheugensnelheden van de Transformers mat, vond hij een opvallend vergelijkbaar patroon. Beide architecturen, ondanks het gebruik van volkomen verschillende microscopische methoden om informatie te verwerken, ontwikkelden een bijna vlakke verdeling van geheugensnelheden die licht gewogen was naar de allerlangzaamste, langdurigste geheugens. In de taal van de natuurkunde is dit een "bijna-marginale" toestand, wat betekent dat de modellen zich precies op de rand bevinden van een oneindig geheugen, waardoor ze informatie voor lange perioden kunnen vasthouden zonder vast te lopen.

De studie bevestigt dat deze organisatie van traag geheugen niet slechts een kenmerk is van één specifiek type neuraal netwerk. De onderzoeker toonde aan dat zelfs wanneer Mamba zijn geheugen expliciet opbouwt met een andere wiskundige structuur dan Transformers, beide systemen hun collectieve dynamiek op dezelfde manier organiseren. De onderzoeker vond dat het geheugengedrag van het Mamba-model stabiliseert rond een specifieke waarde, wat wijst op een robuust, reproduceerbaar patroon dat verschijnt ongeacht de sequentielengte, mits de sequentie lang genoeg is om het volledige beeld te onthullen. Dit suggereert dat het vermogen om langetermijngeheugen te behouden een fundamentele eigenschap is van geleerd sequentieproces, die van nature ontstaat in verschillende architecturale vormen. De bevindingen breiden ons begrip van hoe kunstmatige intelligentie werkt uit, door te laten zien dat deze krachtige modellen, onder de oppervlakte-verschillen in ontwerp, een gemeenschappelijke, diepe structuur delen voor het omgaan met tijd en geheugen.

Titel: Infrarood Universaliteit van Collectieve Dynamica over Transformer- en State-Space-architecturen heen

Probleemstelling
Een fundamentele open vraag in deep learning is of verschillende neurale architecturen, ondanks het gebruik van verschillende microscopische computationele mechanismen, gemeenschappelijke collectieve dynamische gedragingen ontwikkelen. Recente analyses van Transformer-taalmodellen onthulden een bijna vlakke, zwak infrarood-versterkte tijdsschaal-toestandsdichtheid (TDOS) in hun relaxatiespectra, geassocieerd met bijna-marginale langetermijngeheugen-dynamica ( $K(t) \sim 1/t$ ). Het blijft echter onduidelijk of deze infraroodorganisatie een specifiek artefact is van het self-attention mechanisme of een algemener principe van geleerd sequentieproces. Om dit te testen, is een vergelijking vereist met een architectuur die een kwalitatief ander mechanisme voor temporele computatie hanteert. State-space modellen, in het bijzonder Mamba, bieden een dergelijk contrast door gebruik te maken van input-afhankelijke selectieve state-space dynamica in plaats van self-attention.

Methodologie
De studie maakt gebruik van een multi-niveau spectrale analyse op een gepretraind Mamba-370M model om microscopisch state-space geheugen te onderscheiden van macroscopische collectieve organisatie. De methodologie verloopt via drie verschillende dynamische niveaus:

Intrinsiek State-Space Spectrum: De auteur analyseert het eigenwaardespectrum van de geleerde state-space generator ( $A$ ), waarbij intrinsieke relaxatiesnelheden worden gedefinieerd als $\lambda^{int}_i = -\text{Re}(a_i)$ . Dit vertegenwoordigt de hiërarchie van tijdsschalen die direct in de modelparameters is gecodeerd vóór input-conditionering.
Input-geconditioneerd Effectief Spectrum: De studie onderzoekt de effectieve relaxatiesnelheden $\lambda^{eff}_{i,t} = \Delta_t(x) \lambda^{int}_i$ , waarbij de input-afhankelijke selectieve tijdstap $\Delta_t(x)$ de intrinsieke snelheden tijdens inferentie herschaalt. Dit legt vast hoe het selectieve mechanisme de relaxatieschalen dynamisch reorganiseert op basis van de input-sequentie.
Volledig Blok Collectief Spectrum: De auteur berekent de Jacobiaan van de volledige Mamba-bloktransformatie ( $J_\ell = \partial \text{vec}(H_{\ell+1}) / \partial \text{vec}(H_\ell)$ ). De collectieve relaxatiesnelheden worden gedefinieerd als $\lambda^{block}_\alpha = -\ln |\zeta_\alpha|$ , waarbij $\zeta_\alpha$ de eigenwaarden zijn van de volledige blok-Jacobiaan. Dit meet de collectieve respons van het gehele blok, inclus[ief] projecties, gating, niet-lineariteiten en residu-propagatie.

De collectieve Tijdsschaal-Toestandsdichtheid (TDOS), $\rho(\lambda)$ , wordt geconstrueerd uit deze snelheden. De analyse varieert systematisch de behouden sequentielengte ( $L$ ) van 8 tot 512 tokens om de convergentie en stabiliteit van de infraroodsector te testen. De infrarood schalingsexponent $\beta$ wordt bepaald via cumulatieve modus-statistieken ( $N(<\lambda) \propto \lambda^{1+\beta}$ ) over een vast, goed opgelost interval om binning-artefacten te vermijden. Deze resultaten worden direct vergeleken met eerdere metingen van Transformer-modellen (specifiek Pythia-410M) met gebruik van dezelfde volledige blok-Jacobiaan constructie.

Belangrijkste Resultaten

Hiërarchische Reorganisatie: De intrinsieke, effectieve en volledige blok-spectra zijn niet identiek. Hoewel de geleerde SSM-generator een brede intrinsieke hiërarchie van relaxatiesnelheden bevat, reorganiseren het selectieve mechanisme en de daaropvolgende bloktransformaties deze hiërarchie aanzienlijk. Het volledige blok-collectieve spectrum is een onderscheidende emergente eigenschap, geen directe kopie van het microscopische SSM-spectrum.
Emergentie van een Collectief Infrarood Continuüm: De volledige blok Mamba-dynamica ontwikkelt een reproduceerbaar traag-modus continuüm. Naarmate de sequentielengte toeneemt, wordt de infraroodsector progressief beter opgelost en gladder, uitbreidend naar kleinere relaxatiesnelheden.
Infrarood Schalingsexponent: Cumulatieve spectrale analyse onthult een zwak negatieve machtswet-schaling $\rho(\lambda) \sim \lambda^\beta$ . Voor lange sequenties ( $L \ge 64$ ) stabiliseert de exponent nabij $\beta_M \simeq -0.17$ . Dit komt overeen met een geheugenkern $K(t) \sim t^{-(1+\beta)} \approx t^{-0.83}$ , wat dicht bij het marginale $1/t$ regime ligt.
Architectuur-onafhankelijkheid: Ondanks de fundamenteel verschillende microscopische mechanismen (self-attention versus selectieve state-space), vertonen Transformers en Mamba nauw verwante collectieve infraroodorganisaties. Transformers vertonen een representatieve exponent van $\beta_{Tr} \sim -0.1$ , terwijl Mamba stabiliseert nabij $\beta_M \sim -0.17$ . Beide architecturen bezetten een "nabij-marginaal" regime gekenmerkt door een brede, bijna vlakke, maar zwak infrarood-versterkte TDOS.

Betekenis en Claims
Het artikel claimt een onderscheid te maken tussen expliciet microscopisch state-space geheugen en collectieve infraroodorganisatie, en laat zien dat verschillende sequentie-architecturen nauw verwante bijna-marginale trage-modus dynamica kunnen ontwikkelen. De primaire betekenis ligt in het aantonen dat deze infraroodorganisatie niet uniek is aan het self-attention mechanisme van Transformers, maar ook in state-space modellen emergeert, ondanks hun verschillende computationele wortels.

De auteur stelt dat dit suggereert dat bijna-marginale trage-modus dynamica een algemeen dynamisch principe kan zijn van geleerd sequentieproces, waarmee de observatie van collectieve infraroodorganisatie verder wordt uitgebreid dan enkel Transformers. Deze bevinding vormt een onafhankelijke test van de dynamische structuur beschreven door de Cognitive Field Theory, die langdurig macroscopisch geheugen associeert met de infraroodorganisatie van collectieve relaxatiemodi. De resultaten wijzen erop dat hoewel microscopische implementaties verschillen, de macroscopische collectieve dynamica van geleerde sequentiemodellen kan convergeren naar een vergelijkbaar, fysiek betekenisvol regime.

Meer zoals dit