Technische Samenvatting: Heroverweging van Statusvolging in Recurrente Modellen via Dynamiek van Foutcontrole

Probleemstelling

Het heersende theoretische kader voor statusvolging in recurrente architecturen heeft zich bijna uitsluitend gericht op expressiviteit: het bepalen of een vaste architectuur theoretisch een reeks symbolische transitie-regels kan realiseren. Hoewel recente werken de theoretische capaciteit van diverse modellen (bijv. State-Space Modellen, Lineaire Attention) hebben vastgesteld om specifieke symbolische transities te representeren, tonen empirische resultaten een aanzienlijke kloof tussen theoretische expressiviteit en praktische robuustheid. Modellen falen vaak bij het stabiel volgen van statussen onder lengte-extrapolatie of herhaalde uitrol, zelfs wanneer ze de theoretische capaciteit bezitten om dit te doen.

Dit artikel betoogt dat foutcontrole – de dynamiek die de drift van verborgen statussen langs richtingen regelt die symbolische statussen onderscheiden – een even kritische, maar over het hoofd geziene, as van analyse is. Het centrale probleem is dat theoretische expressiviteit niet garandeert dat het mogelijk is om opgehoopte fouten te corrigeren die een verborgen status naar een incorrecte symbolische representatie duwen.

Methodologie

Theoretisch Kader

De auteurs formaliseren statusvolging met behulp van een taxonomie van recurrente modellen gedefinieerd door een recursieve laag:
$$h_t = \phi(g(h_{t-1}, x_t) \odot (A(x_t)h_{t-1})) + b(x_t)$$
Ze categoriseren modellen in twee primaire klassen op basis van de status-Jacobaan:

1. Affiene Modellen: De statusovergang is affien in $h_{t-1}$ (d.w.z. de Jacobaan $\partial h_t / \partial h_{t-1}$ is niet afhankelijk van $h_{t-1}$). Deze klasse omvat State-Space Modellen (SSM's) zoals Mamba, AUSSM en Lineaire RNN's.
2. Status-afhankelijke Modellen: De overgang is niet-lineair afhankelijk van de huidige status (bijv. gegate RNN's, tanh RNN's).

De auteurs introduceren een symbolische deelruimte $U$, opgespannen door de verschillen tussen verborgen-statusrepresentaties van onderscheiden symbolische statussen ($U := \text{span}\{c_g - c_{g'}\}$). Ze bewijzen dat voor elke statusbehoudende sequentie (waarbij de symbolische actie de identiteit is), een exacte affiene terugkeermapping moet fungeren als de identiteit op $U$. Bijgevolg kunnen affiene modellen geen fouten langs $U$ contracteren; ze behouden de statusrepresentatie exact, maar bieden geen mechanisme om een verstoord status terug te trekken naar zijn correcte centroid.

Analytische Metrieken

Om het falen van affiene trackers te kwantificeren, definiëren de auteurs een onderscheidingsratio $q(t)$:
$$q(t) = \frac{R(t)}{M(t)}$$
Waarbij:

• $R(t)$ de spreiding binnen de klasse is (variantie van verborgen statussen rond hun klassencentroid).
• $M(t)$ de scheiding tussen klassen is (minimale afstand tussen klassencentroïden).
• $q(t)$ de spreiding meet relatief tot de marge.

Ze stellen vast dat volgen alleen "leesbaar" blijft zolang $q(t)$ onder een drempelwaarde $\tau$ blijft (specifiek $0.5$ voor een decoder op basis van de dichtstbijzijnde centroid).

Experimentele Opzet

De auteurs evalueren een spectrum van recurrente architecturen op groep-statusvolgingstaken, die het behouden van een lopend product van groepselementen vereisen:

• Taken: Pariteit ($C_2$), Cyclische Groep ($C_6$) en Symmetrische Groep ($S_3$). $S_3$ is niet-abels, waardoor orde-gevoelige compositie onvermijdelijk is.
• Modellen: Een diverse reeks inclusief Mamba, Mamba-3, AUSSM, Negative Mamba, Lineaire RNN's, Token-gated RNN's, tanh RNN's en State-gated RNN's.
• Protocol: Modellen worden getraind met curriculum learning tot lengte 60 en geëvalueerd op extrapolatie tot lengte 1000. Ze voeren ook experimenten met foutinjectie uit om de dynamiek van foutherstel te meten.

Belangrijkste Bijdragen

1. Theoretisch Bewijs van Affiene Neutraliteit

Het artikel bewijst Stelling 1: Als een affien recurrent netwerk symbolische statussen exact behoudt, fungeert zijn terugkeermapping als de identiteit op de symbolische deelruimte $U$. Dit impliceert dat affiene modellen geen selectief fouten kunnen contracteren langs de richtingen die symbolische statussen scheiden. Zodra een statusbehoudende affiene mapping is vastgesteld, heeft deze geen "vrijheidsgraden" meer over om drift te corrigeren.

2. Karakterisering van Falen met Beperkte Horizont

De auteurs demonstreren dat, hoewel affiene modellen geen fouten kunnen corrigeren, ze volgen kunnen handhaven voor een beperkte horizont die wordt bepaald door opgehoopte fouten.

• Corollarium 1 toont aan dat voor benaderende affiene trackers, de fout langs $U$ lineair over de tijd accumuleert ($e_U(t) \approx e_U(0) + t\bar{\eta}$).
• Het volgen stort in wanneer de onderscheidingsratio $q(t)$ de leesbaarheid-drempel overschrijdt. Dit overgangstijdstip, $T_{cross}$, voorspelt kwantitatief de maximale doorlooplengte ($mp$) van het model.
• Twee faalmodi worden geïdentificeerd: Saturatie (waarbij $q(t)$ boven de drempel begint) en Klim (waarbij $q(t)$ lineair groeit tot het overschrijden).

3. Empirische Validatie van Dynamiek van Foutcontrole

Door middel van uitgebreide experimenten stelt het artikel een dichotomie vast:

• Status-afhankelijke modellen (bijv. tanh RNN, State-gated RNN) vertonen conditionele foutcontractie. Ze kunnen selectief verstoringen langs $U$ verkleinen, $q(t) < 0.5$ onbepaald handhaven en robuust volgen tot de maximaal geteste lengte (1000).
• Affiene modellen missen deze selectieve contractie. Ze falen ofwel direct (saturatie) ofwel na een voorspelbare horizon (klim) naarmate de opgehoopte spreiding binnen de klasse de scheidingsmarge erodeert.

4. Deelruimte Decompositie

Door de spreiding binnen de klasse te decomponeren in componenten parallel ($U$) en orthogonaal ($U^\perp$) aan de symbolische deelruimte, tonen de auteurs aan dat het falen van affiene modellen specifiek wordt aangedreven door de groei van spreiding binnen $U$. Status-afhankelijke modellen onderdrukken succesvol spreiding in $U$, waardoor fouten in de orthogonale deelruimte blijven waar ze de symbolische discriminatie niet beïnvloeden.

Resultaten

• Robuustheidsgap: Status-afhankelijke modellen volgen consequent symbolische statussen tot lengte 1000 voor alle taken ($C_2, C_6, S_3$). Daarentegen vertonen affiene modellen verschillende graden van instabiliteit. Bijvoorbeeld, Mamba en Mamba-3 falen op $S_3$ zelfs bij korte lengtes, terwijl Negative Mamba en Token-gated RNN's langere horizons tonen op $C_2$ en $S_3$, maar uiteindelijk instorten.
• Voorspellende Kracht: Het punt waarop de onderscheidingsratio $q(t)$ de leesbaarheid-drempel overschrijdt ($T_{cross}$) correleert sterk ($r \approx 0.87$) met de downstream maximale doorlooplengte ($mp$) over 113 getrainde modellen.
• Niet-lineariteit is Belangrijk: Het vermogen om robuust te volgen hangt af van het feit dat de Jacobaan van de activatiefunctie status-afhankelijk is. Puntniet-lineariteiten (tanh, ReLU) en paar-operatoren (max/min, GroupSort) maken robuust volgen mogelijk, terwijl gehele-vector normalisaties (LayerNorm, sfeerprojectie) falen en zich effectief gedragen als affiene mappings op de symbolische deelruimte.
• De $C_2$ Randgeval: Het artikel merkt op dat sommige affiene modellen slagen in de pariteitstaak ($C_2$) niet omdat ze fouten corrigeren, maar omdat de binaire marge groot genoeg is om "neutrale oscillatie" te tolereren (fouten die van teken wisselen maar binnen de marge blijven). Deze tolerantie krimpt naarmate de groeporde toeneemt, wat verklaart waarom affiene modellen falen op $C_6$ en $S_3$.

Betekenis en Aanspraken

Het artikel claimt een verschuiving van het paradigma van recurrente statusvolging van een theorie van expressiviteit naar een theorie van foutcontrole.

• Theoretische Beperking: De auteurs stellen dat robuust statusvolgen niet uitsluitend wordt bepaald door het vermogen van een architectuur om symbolische regels te representeren (expressiviteit), maar cruciaal door het vermogen om foutdynamiek te controleren. Affiene modellen zijn fundamenteel beperkt omdat het behouden van statusrepresentaties hen dwingt neutraal te zijn op de zeer richtingen waar foutcorrectie nodig is.
• Praktische Implicatie: Het falen van affiene modellen (zoals SSM's) bij lengte-extrapolatie is geen tekortkoming in training, maar een structurele beperking. Ze leren "oplossingen met beperkte horizont" die worden bepaald door opgehoopte fouten in plaats van robuust, oneindig-horizont statusvolgen.
• Ontwerprichtlijn: Om robuust volgen te bereiken, moeten architecturen status-afhankelijke transities incorporeren die toelaten dat de Jacobaan fouten contracteert langs de symbolische deelruimte. Het artikel suggereert dat de specifieke vorm van niet-lineariteit minder belangrijk is dan of het status-afhankelijke modulatie van de symbolische richtingen mogelijk maakt.

De auteurs concluderen dat, hoewel affiene modellen voldoende kunnen zijn voor taken binnen het domein of korte horizons, ze structureel onbekwaam zijn voor het robuuste, lang-horizont statusvolgen dat vereist is voor complexe symbolische redenering zonder mechanismen voor status-afhankelijke foutcorrectie.