Timesteps of Mamba Align with Human Reading Times

Technische Samenvatting: Timesteps van Mamba komen overeen met menselijke leestijden

Probleemstelling
Menselijke taalverwerking ontvouwt zich over de tijd, en een centrale vraag in de computationele psycholinguïstiek is hoe kunstmatige taalmodellen (LM's) deze temporele dimensie representeren en of hun interne dynamiek overeenkomt met de menselijke cognitieve verwerking. Hoewel eerdere studies de link tussen Transformer-gebaseerde modellen en menselijke leestijden primair hebben gelegd via surprisal (de negatieve log-waarschijnlijkheid van een woord gegeven de context), berust deze benadering op het doel van de voorspelling van het volgende woord. Deze studie onderzoekt een alternatieve architectuur, Mamba (een State-Space Model of SSM), die beschikt over een intrinsiek begrip van interne timesteps die de toestandsveranderingen (state transitions) dynamisch moduleren als reactie op de input. De auteurs vragen zich af of deze input-afhankelijke timesteps, die conceptueel de duur van de toestandsevolutie representeren, correleren met de tijd die menselijke lezers besteden aan het verwerken van woorden.

Methodologie
De studie hanteert een veelzijdige aanpak waarbij empirische regressieanalyse wordt gecombineerd met een formele theoretische analyse van de Mamba-architectuur.

1. Datasets: De auteurs maakten gebruik van twee natuurlijke lees-tijd-datasets:

   • Natural Stories: Self-paced reading data van 181 moedertaalsprekers Engels die 10 verhalen lazen.
   • OneStop: Eye-tracking data van 180 moedertaalsprekers die 30 artikelen lazen (zowel geavanceerde als elementaire versies), waarbij de eerste-passage-tijd (first-pass time) en de duur van de regressiepaden (regression-path duration) werden geanalyseerd.

2. Predictoren en Modellen:

   • Primaire Predictor: De discretisatie-timestep ($\Delta t$) van Mamba-modellen (Mamba-130M en Mamba-2.8B). In Mamba is $\Delta t$ een scalar (of vector) die dynamisch door de input-token wordt bepaald via een geleerde functie (Vergelijking 5). De auteurs aggregeerden deze tot een woordniveau-metriek ($\bar{\Delta}t$) door te middelen over dimensies en de maximale waarde te nemen voor subword-tokens.
   • Controle variabelen: Om de voorspellende kracht van $\Delta t$ te isoleren, controleerden de auteurs voor laag-niveau kenmerken (woordlengte, corpusfrequentie, positie in de zin) en stelden zij voorspellers van leestijd vast: Mamba surprisal en GPT-2 surprisal.
   • Regressieanalyse: Lineaire regressiemodellen werden gefit om log-getransformeerde leestijden te voorspellen. Prestaties werden geëvalueerd via 10-voudige kruisvalidatie (50 keer herhaald) via de gemiddelde kwadratische fout (MSE). De significantie van $\Delta t$ werd getest door modellen met en zonder de variabele te vergelijken via permutatietests, met een Holm-correctie voor meervoudige vergelijkingen over de lagen heen.

3. Formele en Interventionele Analyse:

   • Linguïstische Gevoeligheid: Correlaties werden berekend tussen $\bar{\Delta}t$ en linguïstische kenmerken (zinspositie, syntactische afstand).
   • Long-Range Dependency: Een interventie-gebaseerde "passkey retrieval"-taak werd gebruikt om te beoordelen welke lagen essentieel zijn voor het behouden van informatie over lange contexten.
   • Theoretische Afleiding: De auteurs analyseerden het eigenspectrum van de transitie-matrix van Mamba om de capaciteiten van geheugenretentie te karakteriseren. Bovendien introduceerden zij een ruisterm in de toestandsovergangsgelijkheden om theoretisch af te leiden dat de grootte van $\Delta t$ overeenkomt met de conditionele entropie (onzekerheid) van de verborgen toestandsovergang.

Belangrijkste Resultaten

• Voorspellende Kracht: De discretisatie-timestep $\bar{\Delta}t$ is een significante predictor van menselijke woord-voor-woord leestijden. De voorspellende kracht van de best presterende laag (bijv. Laag 17 in Mamba-130M voor Natural Stories) is vergelijkbaar met die van de GPT-2 surprisal ($R^2 \approx 0,22$).
• Unieke Variantie: Cruciaal is dat $\bar{\Delta}t$ een significante predictor blijft wanneer er wordt gecontroleerd voor GPT-2 surprisal en andere laag-niveau variabelen. Dit geeft aan dat Mamba's interne verwerkingstijd een deel van de variantie in menselijk leesgedrag vangt dat niet wordt verklaard door standaard surprisal-gebaseerde modellen.
• Laagspecialisatie:
  • De meeste lagen vertonen gevoeligheid voor lokale linguïstische kenmerken (bijv. zinsgrenzen, syntactische afstand).
  • Lagen 16 en 17 vertonen een afwijkend gedrag: ze zijn minder gevoelig voor lokale zinsstructuur maar correleren sterk met verhaal-niveau informatie en de positie in het verhaal. Deze lagen vertoonden ook de hoogste voorspellende kracht voor Natural Stories.
  • Interventie-experimenten bevestigden dat het uitschakelen van de lagen 16 en 17 de prestaties op taken met lange-afstand-afhankelijkheden (passkey retrieval) significant verslechtert, wat suggereert dat deze lagen cruciaal zijn voor het behouden van de lange-termijn context.
• Theoretische Afstemming:
  • Geheugenretentie: De eigenvalue-analyse van de transitie-matrix $exp(A)$ laat zien dat Lagen 16 en 17 een hoger aandeel eigenwaarden nabij 0,5 hebben (vergeleken met de algehele verdeling die piekt nabij 0), wat theoretisch hun rol in lange-termijn geheugenretentie ondersteunt.
  • Onzekerheid: Theoretische analyse suggereert dat grotere $\Delta t$-waarden corresponderen met een hogere onzekerheid in toestandsovergangen. De data laten zien dat $\Delta t$ piekt bij zinsgrenzen, wat punten zijn van hoge onzekerheid met betrekking tot de aankomende context, wat overeenkomt met de behoefte van het model om zijn toestand agressiever bij te werken.

Significantie en Claims
Het artikel beweert dat Mamba een "nieuwe, waardevolle lens" biedt voor het bestuderen van menselijke real-time taalverwerking. In tegenstelling tot Transformers, die sequenties parallel verwerken (of via aandachtmechanismen die geen duur van verwerking inherent coderen), modelleert de Mamba-architectuur expliciet tijd door middel van dynamische timesteps.

De auteurs stellen dat:

1. Afstemming: De interne "verwerkingstijd" ($\Delta t$) van een SSM-gebaseerd model stemt overeen met de menselijke cognitieve belasting, wat suggereert dat het mechanisme van het dynamisch aanpassen van de snelheid van toestandsovergangen een plausibele computationele analogie is voor menselijke leesdynamiek.
2. Geheugen en Ruis: Het model stelt onderzoekers in staat om te onderzoeken hoe verschillende lagen de balans tussen kort- en langetermijninformatiebehoud wegen (via het eigenspectrum) en hoe "ruis" (onzekerheid in toestandsovergangen) interacteert met continue geheugenrepresentaties.
3. Voorbij Surprisal: De bevindingen demonstreren dat factoren die verder gaan dan woord-voorspelbaarheid (surprisal) — specifific met name de dynamische duur van toestandupdates — relevant zijn voor menselijk leesgedrag.

De studie concludeert dat hoewel de exacte leer-dynamiek waarom $\Delta t$ piekt bij specifieke linguïstische grenzen een openstaande vraag blijft, de empirische en theoretische afstemming tussen de Mamba-timesteps en menselijke leestijden een nieuw kader biedt voor het begrijpen van taalverwerking onder geheugenbeperkingen.